天才一秒記住【閃文書庫】地址：www.shanwen.tw
在AI領域，開源已成為推動技術進步和創新的重要力量。近日，科技巨頭特斯拉的創始人埃隆·馬斯克再次展現了他在AI領域的雄心壯志，宣佈開源其旗下AI創企xAI開發的大語言模型Grok-1。這一舉動不僅使得Grok-1成為當前引數量最大的開源大語言模型，更在業界引發了廣泛關注。
馬斯克一直對OpenAI的開放性持懷疑態度，此次開源Grok-1可謂是對OpenAI的一次有力回應。在社交平臺上，馬斯克含沙射影地表示：“我們想了解更多OpenAI的開放部分。”這番言論無疑加劇了業界對於AI開源與閉源之爭的關注度。
Grok-1的開源不僅意味著其模型權重和架構將遵循Apache 2.0協議向公眾開放，更重要的是，它允許使用者自由地使用、修改和分發軟體，無論是個人還是商業用途。這種開放性不僅有助於推動AI技術的普及和應用，更能激發更廣泛的研究和創新活力。
值得注意的是，Grok-1作為一個擁有3140億引數的混合專家（Mixture-of-Experts，MOE）大模型，其規模之大令人咋舌。相比之下，OpenAI的GPT-3.5模型僅有1750億引數。如此龐大的引數量使得Grok-1在語言理解和生成能力上具備了強大的優勢。這也意味著，要使用和測試Grok-1，使用者需要擁有足夠GPU記憶體的機器。據網友表示，這可能需要一臺擁有628 GB GPU記憶體的機器，這無疑提高了使用該模型的門檻，但也從側面反映了其技術含量的高度。
在Grok-1的開發過程中，xAI團隊展現出了極高的技術實力和創新精神。他們首先訓練了一個330億引數的原型語言模型Grok-0，並在標準語言模型測試基準上取得了接近LLaMA2（70B）的能力。隨後，他們對模型的推理和編碼能力進行了重大改進，最終開發出了功能更為強大的Grok-1。在HumanEval編碼任務和MMLU中，Grok-1均取得了優異的成績，超過了包括ChatGPT-3.5在內的其他計算類模型。
與其他大模型相比，Grok-1的獨特之處在於它是一款從頭訓練的大模型。xAI團隊使用自定義訓練堆疊在JAX和Rust上進行訓練，沒有針對特定任務進行微調。這使得Grok-1在通用性和靈活性方面具備了更高的優勢。此外，Grok-1還能透過X平臺實時瞭解世界，這使得它能夠回答被大多數其他AI
本章未完，請點選下一章繼續閱讀！若瀏覽器顯示沒有新章節了，請嘗試點選右上角↗️或右下角↘️的選單，退出閱讀模式即可，謝謝！