文｜烏鴉智能說
4月18日，Meta公司推出其開源大語言模型“Llama”（直譯是“羊駝”）系列的最新產(chǎn)品——Llama 3。此次發(fā)布共發(fā)布樂兩款開源Llama 3 8B與Llama 3 70B模型，供外部開發(fā)者免費使用。Llama 3的這兩個版本，也將很快登陸主要的云供應(yīng)商。
根據(jù)Meta的說法，Llama 3 8B和Llama 3 70B是目前同體量下，性能最好的開源模型。強大的性能離不開龐大的訓(xùn)練數(shù)據(jù)。據(jù)Meta透露，Llama 3是在由24000塊GPU組成的定制集群上，使用15萬億個token訓(xùn)練的，數(shù)據(jù)規(guī)模幾乎是Llama 2的七倍。
Llama 3的推出，對開發(fā)者社區(qū)意義重大。Hugging Face聯(lián)創(chuàng)兼CEO Clément Delangue表示：“Llama 1和Llama 2現(xiàn)在已經(jīng)衍生出了30,000個新模型。我迫不及待地想看到Llama 3將會給AI生態(tài)帶來怎樣的沖擊了?！?/p>
具體來說，Llama 3的主要亮點有：
? 在大量重要基準(zhǔn)測試中均具有最先進性能；
? 基于超過15T token訓(xùn)練，大小相當(dāng)于Llama 2數(shù)據(jù)集的7倍還多；
? 訓(xùn)練效率比Llama 2高3倍；
? 安全性有明顯進步，配備了Llama Guard 2、Code Shield等新一代的安全工具。
/ 01 / 性能全面領(lǐng)先的Llama 3
從發(fā)布的信息看，Llama 3公布了10項標(biāo)準(zhǔn)測試基準(zhǔn)的表現(xiàn)，其中在與70億參數(shù)級的Mistral 7B模型和Google Gemma 7B模型對比中，Llama 3在9項標(biāo)準(zhǔn)測試基準(zhǔn)上都有著更好的表現(xiàn)。
其中，包括MMLU（測試知識水平）、ARC（測試技能獲?。?、DROP（測試對文本塊的推理能力）、GPQA（涉及生物、物理和化學(xué)的問題）、HumanEval（代碼生成測試）、GSM-8K（數(shù)學(xué)應(yīng)用問題）、MATH（數(shù)學(xué)基準(zhǔn)）、AGIEval（問題解決測試集）和BIG-Bench Hard（常識推理評估）。
從上圖不難看出，Llama 3 8B的成績在九項測試中領(lǐng)先同行，其中Gemma-7B模型于今年2月發(fā)布，一度被稱為全球最強開源大模型。Llama 3 70B則在MMLU、HumanEval和GSM-8K上戰(zhàn)勝了Gemini 1.5 Pro，同時在五項測試上全面優(yōu)于Claude 3系列的中杯模型Sonnet。
值得一提的是，Meta還組織了一個貼近用戶實際使用體驗的測試。根據(jù)Meta的說法，該測試集包含 1,800 個提示，涵蓋 12 個關(guān)鍵場景：尋求建議、頭腦風(fēng)暴、分類、封閉式問答、編碼、創(chuàng)意寫作、提取、塑造角色/角色、開放式問答、推理、重寫和總結(jié)。
測試數(shù)據(jù)顯示，70B 版本的 Llama 3 在指令調(diào)優(yōu)后，在對比 Claude Sonnet、Mistral Medium、GPT-3.5 和 Llama 2 的比賽中，其勝率分別達到了 52.9%、59.3%、63.2%、63.7%
Llama 3一經(jīng)發(fā)布便引發(fā)了熱議。埃隆·馬斯克在楊立昆的X下面評論：“還不錯。”英偉達高級研究經(jīng)理、具身智能負(fù)責(zé)人Jim Fan認(rèn)為，即將推出的Llama 3-400B+模型將成為社區(qū)獲得GPT-4級別模型的重要里程碑。它將改變許多研究工作和草根初創(chuàng)公司的計算方式。
據(jù)Meta披露，Llama 3即將在亞馬遜云（AWS）、Databricks、谷歌云、Hugging Face、Kaggle、IBM WatsonX、微軟云Azure、NVIDIA NIM和Snowflake等多個平臺上推出。這一過程得到了AMD、AWS、戴爾、英特爾和英偉達等公司的硬件支持。
近期，Meta也將計劃推出Llama 3的新功能，包括更長的上下文窗口和更強大的性能，并將推出新的模型尺寸版本和公開Llama 3的研究論文。
/ 02 / 最強開源模型怎樣煉成？
Llama 3優(yōu)越的性能，離不開Meta在訓(xùn)練數(shù)據(jù)上的投入。根據(jù)Meta透露，Llama 3訓(xùn)練數(shù)據(jù)規(guī)模高達15 萬億token，幾乎是Llama 2的七倍。
不僅如此，為了滿足多語種的需求，Llama 3超過 5%的預(yù)訓(xùn)練數(shù)據(jù)集，由涵蓋 30 多種語言的高質(zhì)量非英語數(shù)據(jù)組成。
為了確保 Llama 3 接受最高質(zhì)量數(shù)據(jù)的訓(xùn)練，Meta還開發(fā)、使用了啟發(fā)式過濾器、NSFW 過濾器、語義重復(fù)數(shù)據(jù)刪除方法和文本分類器來保證數(shù)據(jù)質(zhì)量。
相比數(shù)據(jù)規(guī)模，數(shù)據(jù)來源更加令人關(guān)注。畢竟，此前Meta因訓(xùn)練數(shù)據(jù)不足而產(chǎn)生焦慮，甚至一度爆出消息，在最近的一次高層管理會議中，Meta高管甚至還建議收購出版社 Simon & Schuster以采購包括史蒂芬金等知名作家作品在內(nèi)的長篇小說為其AI模型提供訓(xùn)練數(shù)據(jù)。
在此次發(fā)布Llama 3中，對于數(shù)據(jù)來源，Meta只說了“收集于公開來源”。不過根據(jù)外媒的說法，Llama 3使用的訓(xùn)練數(shù)據(jù)，有很大一部分是AI合成的數(shù)據(jù)。有趣的是，兩個版本的數(shù)據(jù)庫日期還略微有點不同，8B版本截止日期為2023年3月，70B版本為2023年12月。
除了提高數(shù)據(jù)規(guī)模和質(zhì)量外，Meta花了很多精力在優(yōu)化訓(xùn)練效率上，比如數(shù)據(jù)并行化、模型并行化和管道并行化。當(dāng)16000個GPU集群上進行訓(xùn)練時，Meta最高可實現(xiàn)每個GPU超過 400 TFLOPS的計算利用率。
同時，為了延長 GPU 的正常運行時間，Meta開發(fā)了一種先進的新訓(xùn)練堆棧，可以自動執(zhí)行錯誤檢測、處理和維護。
此外，Meta還極大地改進了硬件可靠性和靜默數(shù)據(jù)損壞檢測機制，并且開發(fā)了新的可擴展存儲系統(tǒng)，以減少檢查點和回滾的開銷。這些改進使總體有效培訓(xùn)時間超過 95%。綜合起來，這些改進使Llama 3的訓(xùn)練效率比Llama 2提高了約三倍。
為了優(yōu)化Llama 3的聊天和編碼等使用場景，Meta 創(chuàng)新了其指令微調(diào)方法，結(jié)合了監(jiān)督微調(diào)、拒絕采樣、近似策略優(yōu)化和直接策略優(yōu)化等技術(shù)。這些技術(shù)不僅提升了模型在復(fù)雜任務(wù)中的表現(xiàn)，還幫助模型在面對難解的推理問題時能生成正確的解答路徑。
在外界關(guān)注的安全性上，Meta采用了一種新的系統(tǒng)級方法來負(fù)責(zé)任地開發(fā)和部署Llama 3。他們將Llama 3視為更廣泛系統(tǒng)的一部分，讓開發(fā)人員能夠完全掌握模型的主導(dǎo)權(quán)。
指令微調(diào)在確保模型的安全性方面也發(fā)揮著重要作用。Meta的指令微調(diào)模型已經(jīng)通過內(nèi)部和外部的努力進行了安全紅隊（測試）。Meta的紅隊方法利用人類專家和自動化方法來生成對抗性提示，試圖引發(fā)有問題的響應(yīng)。比如，他們進行了全面的測試，來評估與化學(xué)、生物、網(wǎng)絡(luò)安全和其他風(fēng)險領(lǐng)域相關(guān)的濫用風(fēng)險。
通過以上的種種努力，才最終打造了最強開源大模型Llama 3。據(jù)國外媒體道理，Meta希望Llama3能趕上OpenAI的GPT-4。
由此可見，開源和閉源的爭論遠(yuǎn)遠(yuǎn)沒有到停下的時候。如今，Meta用Llama 3給出自己的回應(yīng)，接下來就看OpenAI如何應(yīng)對了？