文|盒飯財經(jīng) 趙晉杰
編輯|王靖
立志研發(fā)通用大模型底座的李開復(fù)，正在陷入一場套殼Meta開源大模型LLaMA的質(zhì)疑之中。
近期，今年3月份從阿里離職投身AI大模型創(chuàng)業(yè)的賈揚清爆料稱，在幫助海外客戶適配國內(nèi)某一新模型中，被朋友告知該模型用的其實是LLaMA架構(gòu)，僅在代碼中更改了幾個變量名。
盡管賈揚清并未點出開發(fā)上述新模型的具體公司名稱，但種種跡象都指向了李開復(fù)的零一萬物。11月6日，零一萬物剛剛發(fā)布了“Yi”系列開源大模型——Yi-34B和Yi-6B。
針對外界質(zhì)疑，11月15日，零一萬物在回應(yīng)盒飯財經(jīng)中承認(rèn)，在訓(xùn)練模型過程中，沿用了 GPT/LLaMA的基本架構(gòu)，但“就零一萬物的觀察和分析，大模型社區(qū)在技術(shù)架構(gòu)方面現(xiàn)在是一個處于接近往通用化逐步收攏的階段，基本上國際主流大模型都是基于Transformer的架構(gòu)……國內(nèi)已發(fā)布的開源模型也絕大多數(shù)采用漸成行業(yè)標(biāo)準(zhǔn)的GPT/LLaMA的架構(gòu)。”
如果把模型訓(xùn)練過程比做一道菜，“架構(gòu)只是決定了做菜的原材料和大致步驟……要訓(xùn)練出好的模型，還需要更好的‘ 原材料’（數(shù)據(jù)）和對每一個步驟細(xì)節(jié)的把控（訓(xùn)練方法和具體參數(shù)）?！绷阋蝗f物進(jìn)一步解釋道。
在賈揚清站出來爆料之前，有關(guān)零一萬物模仿LLaMA架構(gòu)的指控已經(jīng)開始在開源社區(qū)內(nèi)發(fā)酵。
9天前，convai高級人工智能應(yīng)用專家埃里克·哈特福德在Huggingface上發(fā)帖稱，“Yi-34B 模型基本采用了LLaMA的架構(gòu)，只是重命名了兩個張量?！?/p>
8天后的11月14日，Yi 團(tuán)隊開源總監(jiān)Richard Lin在該帖下回復(fù)稱，哈特福德對張量名稱的看法是正確的，零一萬物將把它們從Yi重命名為Llama。
在今天盒飯財經(jīng)收到的最新回復(fù)中，零一萬物提到：“對于沿用LLaMA部分推理代碼經(jīng)實驗更名后的疏忽，原始出發(fā)點是為了充分測試模型，并非刻意隱瞞來源。零一萬物對此提出說明，并表達(dá)誠摯的歉意，我們正在各開源平臺重新提交模型及代碼并補(bǔ)充LLaMA協(xié)議副本的流程中，承諾盡速完成各開源社區(qū)的版本更新。”
李開復(fù)個人在今天下午也發(fā)朋友圈對此事做了回應(yīng)。
素有國內(nèi)“AI教父”之稱的李開復(fù)，在大模型浪潮中收獲外界寄予的更大期望之余，也不可避免迎來外界更嚴(yán)苛的審視。
盡管零一萬物已經(jīng)公開承認(rèn)其借鑒了LLaMA架構(gòu)，但并不能就此直接給李開復(fù)的大模型扣上“套殼”或者“抄襲”的帽子。
同樣開發(fā)大模型的國內(nèi)創(chuàng)業(yè)者李振告訴盒飯財經(jīng)，界定某一大模型是否存在套殼行為，取決于具體的實現(xiàn)細(xì)節(jié)和底層技術(shù)。“如果零一萬物大模型使用了與Meta LLaMA相同的模型架構(gòu)、訓(xùn)練方法和數(shù)據(jù)集，那么它可能在某種程度上是套殼的。但是，如果它使用了不同的技術(shù)或進(jìn)行了額外的改進(jìn)，那么就不能簡單地說是套殼?！?/p>
根據(jù)零一萬物的聲明，其投注了大部分精力調(diào)整訓(xùn)練方法、數(shù)據(jù)配比、數(shù)據(jù)工程、細(xì)節(jié)參數(shù)、baby sitting（訓(xùn)練過程監(jiān)測）技巧等。
即便模型架構(gòu)相似，但在不同的數(shù)據(jù)來源和數(shù)據(jù)訓(xùn)練方法加持下，最終訓(xùn)練出來的大模型性能依然會表現(xiàn)各異?！扒按竽Ｐ蜁r代，AI的主流是以模型為中心的單任務(wù)系統(tǒng)，數(shù)據(jù)基本保持不變。進(jìn)入大模型時代，算法基本保持恒定，而數(shù)據(jù)在不斷增強(qiáng)增大?！痹诋a(chǎn)業(yè)專家劉飛看來，相比算法和算力，數(shù)據(jù)可能是眼下阻礙國產(chǎn)大模型追趕OpenAI步伐的更大鴻溝，“魔鬼都藏在這些數(shù)據(jù)訓(xùn)練的細(xì)節(jié)里。”
尤其值得一提的是，參數(shù)量的大小與最終模型呈現(xiàn)的效果之間，兩者“投入產(chǎn)出并不成正比，而是非線性的?！比斯ぶ悄軐＜叶±诒硎荆皵?shù)據(jù)多只是一個定性，更重要的是考驗團(tuán)隊數(shù)據(jù)清洗的能力，否則隨著數(shù)據(jù)增多，數(shù)據(jù)干擾也將隨之變大?！?/p>
這也為新晉大模型團(tuán)隊以更小參數(shù)量，在性能上反超更大參數(shù)量的模型提供了某種理論可能性。
11月6日Yi-34B預(yù)訓(xùn)練模型發(fā)布后，李開復(fù)將其形容為“全球最強(qiáng)開源模型”，以更小模型尺寸評測超越了LLaMA2-70B、Falcon-180B等大尺寸開源模型。
Yi-34B
但隨著越來越多國產(chǎn)大模型在各類測試榜單中登頂，逐一超越業(yè)內(nèi)公認(rèn)最強(qiáng)的GPT-4，有關(guān)這些大模型是靠實力拿下的高分，還是借助了刷榜手段，再次引發(fā)外界爭議。
知名大模型測試集C-Eval就在官網(wǎng)置頂聲明，稱評估永遠(yuǎn)不可能是全面的，任何排行榜都可能以不健康的方式被黑客入侵，并給出了幾種常見的刷榜手法，如對強(qiáng)大的模型（例如GPT-4）的預(yù)測結(jié)果蒸餾、找人工標(biāo)注然后蒸餾、在網(wǎng)上找到原題加入訓(xùn)練集中微調(diào)模型等等。
造成國產(chǎn)大模型屢登測試榜單第一的一大客觀原因，在劉飛看來，是因為到目前為止，并沒有真正公認(rèn)的客觀評判標(biāo)準(zhǔn)和方法。上一代AI的“單任務(wù)模型”有公認(rèn)的數(shù)據(jù)集作為黃金標(biāo)準(zhǔn)，但在新興的大模型時代，“由于大模型多任務(wù)、開放式的新特性，變得難以預(yù)先定義，數(shù)據(jù)質(zhì)量的測試既繁重，也難以全面。”劉飛說。
不過，哪怕不少國產(chǎn)大模型是借鑒LLaMA架構(gòu)訓(xùn)練而來，其對國內(nèi)公司而言仍有不可替代的價值。
李振表示，外部公司在接入一個大模型平臺時，除了考慮模型的性能和效果外，模型的開放性和可定制性也是需要考慮的重要因素，具體到某些區(qū)域，還要特別重視數(shù)據(jù)隱私和安全合規(guī)問題。
盡管目前國內(nèi)公司可以直接接入Meta LLaMA模型，但是由于Meta LLaMA是一個國際性的大模型平臺，它需要遵守更多的國際法規(guī)和限制。此外，如果涉及到敏感領(lǐng)域或數(shù)據(jù)，還需要獲得特定的授權(quán)或許可，甚至不排除海外開源技術(shù)隨時關(guān)停、切換高額收費或限制地區(qū)訪問的風(fēng)險。因此在李振看來，相比冒險接入Meta LLaMA，國內(nèi)公司直接調(diào)用國產(chǎn)大模型是更為經(jīng)濟(jì)劃算的選擇。
通過借鑒LLaMA 基本架構(gòu)，李開復(fù)的零一萬物在訓(xùn)練模型速度上快速起步。
今年3月，李開復(fù)正式宣布將親自帶隊，成立一家AI2.0公司，研發(fā)通用大模型。經(jīng)過三個月籌辦期，7月份，該公司正式定名“零一萬物”，并組建起數(shù)十人的大模型研發(fā)團(tuán)隊。團(tuán)隊成型四個月后，零一萬物便在11月份推出了“Yi”系列大模型產(chǎn)品，并借助Yi-34B霸榜多個大模型測試集。
據(jù)投資界報道，在亮相大模型產(chǎn)品之際，零一萬物已完成由阿里云領(lǐng)投的新一輪融資，投后估值超10億美元，躋身中國大模型創(chuàng)業(yè)公司獨角獸行列。
零一萬物快速崛起的背后，離不開李開復(fù)的個人IP加持，就連官網(wǎng)都公開感謝“李開復(fù)博士過往40年在人工智能領(lǐng)域的科研和產(chǎn)業(yè)經(jīng)驗”。
零一萬物官網(wǎng)
出任過谷歌全球副總裁兼大中華區(qū)總裁，并在微軟全球副總裁期間開創(chuàng)了微軟亞洲研究院的李開復(fù)，通過在2009年創(chuàng)立創(chuàng)新工場，完成了從明星職業(yè)經(jīng)理人到VC投資人的身份轉(zhuǎn)變。
過去十多年間，創(chuàng)新工場投資超過300多個項目，其中不乏曠視科技、美圖、知乎、第四范式、地平線等行業(yè)知名公司。
在2019年被晚點問及創(chuàng)新工場回報最好的基金是哪一期時，李開復(fù)回答：“投AI項目最多的回報最好……比如曠視回報400倍、VIPKID回報1200倍?！?/p>
靠著數(shù)十年如一日對AI的宣揚布道，李開復(fù)一度被稱為中國的“AI教父”。盡管其在AI方面的投資可圈可點，但李開復(fù)扮演的角色顯然不同于山姆·阿爾特曼這樣用劃時代的產(chǎn)品來引領(lǐng) AI 行業(yè)的企業(yè)家。
在2018年9月推出的新書《AI·未來》中，李開復(fù)曾談及中美兩國競爭差距，大膽預(yù)言：“人工智能實干時代競爭力的天平將傾向商業(yè)化執(zhí)行、產(chǎn)品質(zhì)量、創(chuàng)新速度和大數(shù)據(jù)，而這些要素恰是中國優(yōu)于美國之處。”在書中，李開復(fù)甚至寫到“15年前從‘學(xué)習(xí)’起步的中國互聯(lián)網(wǎng)初創(chuàng)公司從美國商業(yè)模式中獲得靈感，激地相互競爭……當(dāng)這一代中國企業(yè)家學(xué)會利用人工智能時，將徹底顛覆游戲規(guī)則?！?/p>
在ChatGPT引發(fā)的新一輪AI顛覆性變革現(xiàn)實面前，越來越多人開始重新打量中美在AI方面的差距。
具體到大模型方面，丁磊甚至認(rèn)為，相比算法、算力和數(shù)據(jù)，“真正有領(lǐng)導(dǎo)力的AI管理者，像山姆·阿爾特曼這樣有能力推動新技術(shù)落地應(yīng)用的技術(shù)管理人才，才是國內(nèi)更缺的一塊短板。”
除了需要向外界展現(xiàn)如阿爾特曼一般的高超技術(shù)管理能力之外，李開復(fù)的大模型夢還遭遇著諸多挑戰(zhàn)。
如何盡快追趕上OpenAI的步伐，是橫亙在李開復(fù)等一眾大模型創(chuàng)業(yè)跟隨者面前的最大拷問。
在國產(chǎn)大模型突飛猛進(jìn)的大半年間，OpenAI同樣進(jìn)步神速，相繼推出了GPT-4、GPT-4V、GPT-4 Turbo。
阿爾特曼還在帶領(lǐng)OpenAI繼續(xù)狂飆。今年10月份，阿爾特曼首次對外明確，OpenAI已經(jīng)啟動GPT-5、GPT-6的訓(xùn)練，并將繼續(xù)沿著多模態(tài)方向持續(xù)迭代。
在國產(chǎn)大模型還在努力追上ChatGPT步伐之時，其相比OpenAI更先進(jìn)模型的差距，反而有了逐漸擴(kuò)大的趨勢。
值得一提的是，2020年發(fā)布GPT-3時，OpenAI曾詳細(xì)公開了模型訓(xùn)練的所有技術(shù)細(xì)節(jié)。中國人民大學(xué)高瓴人工智能學(xué)院執(zhí)行院長文繼榮表示，國內(nèi)很多大模型其實都有GPT-3的影子。
但隨著OpenAI在GPT-4上一改開源策略，逐漸走向封閉，一些國產(chǎn)大模型就此失去了可供復(fù)制的追趕路徑。
放眼國內(nèi)，即便宣稱做到了一眾測試榜單第一，但留給零一萬物的挑戰(zhàn)仍難言樂觀。
在發(fā)布Yi-34B預(yù)訓(xùn)練模型后，李開復(fù)宣稱內(nèi)部已經(jīng)啟動下一個千億參數(shù)模型的訓(xùn)練。與之相比，國內(nèi)不少大模型公司已經(jīng)完成了千億模型的上市發(fā)布。
除了需要提速追趕先行者外，如何在商業(yè)落地上勝出，將是李開復(fù)需要解決的更大挑戰(zhàn)。
經(jīng)歷過AI 1.0 時代的李開復(fù)，在投身大模型創(chuàng)業(yè)后，便對外提到自己“做的應(yīng)用一定是朝著能夠快速有收入，而且能夠產(chǎn)生非常好的利潤、收入是高質(zhì)量的、可持續(xù)的，而不是一次性在某一個公司上打下一個單子。”
實現(xiàn)上述商業(yè)化的突破口被李開復(fù)放在了C端應(yīng)用上，李開復(fù)同樣相信AIGC時代將誕生比移動互聯(lián)網(wǎng)大十倍的平臺機(jī)會，將出現(xiàn)把既有的軟件、使用界面和應(yīng)用重寫一次，改寫用戶交互和入口的新機(jī)遇?！叭缤琖indows帶動了PC普及，Android催生了移動互聯(lián)網(wǎng)的生態(tài)，AIGC也將誕生新一批AI-first的應(yīng)用，并催生由AI主導(dǎo)的商業(yè)模式。”
想要實現(xiàn)上述宏偉愿景，除了需要將旗下通用大模型打造得足夠先進(jìn)之外，還需要在一眾國產(chǎn)大模型競爭中脫穎而出。
恒業(yè)資本創(chuàng)始合伙人江一認(rèn)為，這波AI大模型浪潮中，國內(nèi)最終能夠存活下來的通用大模型玩家，“可能有個3家就已經(jīng)不錯了。因為訓(xùn)練大模型需要大量投入，要燒很多錢，而且還不一定能追得上GPT-4?！?/p>
無論Windows還是Android，每個時代也只拼殺出了一個，李開復(fù)該如何讓零一萬物成為AIGC時代的“唯一”呢？