正在閱讀:

百川VS智譜,誰能成為中國的OpenAI?

掃一掃下載界面新聞APP

百川VS智譜,誰能成為中國的OpenAI?

盲目copy OpenAI 的階段已經(jīng)過去。

圖片來源:界面新聞| 匡達(dá)

文|商業(yè)數(shù)據(jù)派 郝鑫

編輯|劉雨琦

6月初,外媒曾發(fā)出了“誰是中國的OpenAI”的拷問,經(jīng)歷了大模型創(chuàng)業(yè)潮之后,大浪淘沙,最終留下的不過寥寥數(shù)人。

清華大學(xué)幾個十字路口外的賽爾大廈,是明星創(chuàng)業(yè)者王小川的百川智能,搜狐網(wǎng)絡(luò)大廈是學(xué)院派出身的智譜AI。二者在經(jīng)歷了市場的檢驗(yàn)后,成為了最有希望的兩個候選人。

兩棟樓的爭奪戰(zhàn),似乎已經(jīng)悄然打響了。

從融資上看,智譜AI和百川智能都在今年,完成了多輪大額融資。

(光錐智能制圖:根據(jù)公開資料整理)

今年,智譜AI累計總?cè)谫Y金額超25億元人民幣,百川智能總?cè)谫Y金額達(dá)到3.5億美元(約23億人民幣)。公開信息顯示,智譜 AI 最新估值已經(jīng)超100億人民幣,最高或達(dá)150億,是國內(nèi)估值最快超過百億人民幣的公司之一;最新一輪融資后,百川智能估值已經(jīng)超過10億美金(約66億人民幣)。

從團(tuán)隊構(gòu)成上看,智譜AI和百川智能師出同門,智譜AI總裁王紹蘭與搜狗創(chuàng)始人王小川,同為清華系創(chuàng)業(yè)團(tuán)隊。

從技術(shù)追趕速度來看,二者也不分伯仲。智譜AI的GLM-130B剛問世就打敗了GPT-3,而最新發(fā)布的Baichuan 2在各維度領(lǐng)先Llama 2,開拓了中國開源生態(tài)發(fā)展。

種種跡象顯示,智譜AI和百川智能已經(jīng)成為了中國大模型賽道沖出的“黑馬”,激烈的角逐下,究竟鹿死誰手?

OpenAI的信徒:智譜AI

智譜AI與OpenAI的淵源可以追溯到2020年,那一年被智譜AI CEO張鵬視為心中真正的“AI大語言模型元年”。

智譜AI周年慶日的當(dāng)天,喜悅的空氣氛圍中,時不時能嗅到GPT-3出世帶來的些許焦慮。達(dá)到1750億個參數(shù)的GPT-3是嚴(yán)格意義上的第一個大語言模型。

彼時,張鵬既震驚于GPT-3的涌現(xiàn)能力,也陷入了“要不要跟隨”的思考之中,不管是當(dāng)時還是現(xiàn)在,All in超大規(guī)模參數(shù)大模型方向都是一件極其冒險的事情。權(quán)衡過后,智譜AI決定把OpenAI作為自己的對標(biāo)對象,投入到超大規(guī)模預(yù)訓(xùn)練模型的研發(fā)當(dāng)中。

(光錐智能制圖:根據(jù)公開資料整理)

在技術(shù)路徑選擇上,智譜AI與OpenAI具有同樣的獨(dú)立思考性。

當(dāng)時存在BERT、GPT和T5幾種大模型預(yù)訓(xùn)練框架。三種路徑,在訓(xùn)練目標(biāo)、模型結(jié)構(gòu)、訓(xùn)練數(shù)據(jù)來源、模型大小幾方面都各有優(yōu)劣。

假如把大模型訓(xùn)練過程比作一場英文考試,BERT擅長通過詞句之間關(guān)系來做題,通過理解去考試,其復(fù)習(xí)資料主要源于課本和維基百科;GPT擅長通過預(yù)測下一個詞來做題,通過大量寫作練習(xí)來準(zhǔn)備考試,其復(fù)習(xí)資料主要來自各種各樣的網(wǎng)頁;T5則采取了一種將題目形式化的策略,先把題目翻譯成漢語再去解題,在復(fù)習(xí)時,不僅閱讀課本,還刷了大量題庫。

眾所周知,谷歌選擇了BERT,OpenAI選擇了GPT,智譜AI沒有盲目跟從,在這兩種路線基礎(chǔ)上提出了 GLM(General Language Model)算法框架。該框架實(shí)則實(shí)現(xiàn)了BERT、GPT優(yōu)劣互補(bǔ),“既能在理解的同時,還能完成續(xù)寫和填空”。

GLM由此成為了智譜AI追逐OpenAI最大的底氣,在此框架之下陸續(xù)長出了GLM-130B、ChatGLM-6B、ChatGLM2-6B等GLM系列大模型。實(shí)驗(yàn)數(shù)據(jù)顯示,GLM系列大模型在語言理解精度、推理速度、內(nèi)存占比和大模型適配應(yīng)用方面都優(yōu)于GPT。

OpenAI是當(dāng)前國外能提供基礎(chǔ)模型服務(wù)最為完備的機(jī)構(gòu),其商業(yè)化主要分為兩類,一類是API調(diào)取收費(fèi),一類是ChatGPT訂閱制收費(fèi)。在商業(yè)化方面,智譜AI也遵循了大致的思路,處于國內(nèi)大模型商業(yè)化較為成熟的企業(yè)梯隊。

據(jù)光錐智能梳理發(fā)現(xiàn),結(jié)合中國企業(yè)的落地情況,智譜AI的商業(yè)模式分為API調(diào)取收費(fèi)和私有化收費(fèi)模式。

總體提供的模型種類分別有語言大模型、超擬人大模型、向量大模型與代碼大模型,在每個大模型選項下包括了標(biāo)準(zhǔn)定價、云端私有化定價和本地私有化定價。對比OpenAI,智譜AI缺乏了語音、圖像大模型服務(wù)的提供,但增加了超擬人大模型,這也迎合了中國數(shù)字人、智能NPC等行業(yè)的需求。

(光錐智能制圖:根據(jù)公開資料整理)

光錐智能向開發(fā)者了解到,“目前,百度文心千帆平臺的特點(diǎn)是完善,通義千問的特點(diǎn)是靈活,智譜AI則是市場主流廠商中API收費(fèi)最便宜的公司之一”。

智譜AI的ChaGLM-Pro的收費(fèi)為0.01元/千tokens,并贈送18元的免費(fèi)額度,ChaGLM-Lite收費(fèi)降至0.002元/千tokens。作為參考,OpenAI GPT-3.5收費(fèi)為0.014元/千tokens,阿里通義千問-turbo收費(fèi)為0.012元/千tokens,百度文心一言 emie-bot-turbo的收費(fèi)標(biāo)準(zhǔn)為0.008元/千 tokens。

正如張鵬所言,智譜AI也正在經(jīng)歷以O(shè)penAI為目標(biāo)到“不再追隨OpenAI”的新階段。

產(chǎn)品業(yè)務(wù)方面,不同于OpenAI只專注于ChatGPT的升級打造,智譜AI選擇了三面出擊。

據(jù)其官網(wǎng)顯示,當(dāng)前智譜AI的業(yè)務(wù)主要分為了三大塊,分別為大模型MaaS平臺、AMiner 科技情報平臺和認(rèn)知數(shù)字人。由此形成了三大AI產(chǎn)品矩陣,大模型產(chǎn)品、AMiner產(chǎn)品以及數(shù)字人產(chǎn)品。其中,大模型產(chǎn)品不僅涵蓋了基本對話機(jī)器人,還有編程、寫作、繪畫垂類的機(jī)器人劃分。

(圖源:智譜AI官網(wǎng))

與此同時,智譜AI還在通過投資的方式繼續(xù)向應(yīng)用側(cè)上探。截至目前,智譜AI對外投資了聆心智能和畫壁智能,并于今年九月份再次增持了聆心智能股份。

聆心智能同樣孵化自清華大學(xué)計算機(jī)系,雖系出同源,但聆心智能更偏向于應(yīng)用,其開發(fā)出的AiU興趣互動社區(qū)就是基于智譜AI的超擬人大模型。其產(chǎn)品的開發(fā)思路類似于國外的Character AI,通過創(chuàng)造不同性格與人設(shè)的AI角色,與之進(jìn)行互動聊天,更加偏向于C端應(yīng)用,強(qiáng)調(diào)娛樂的屬性。

從OpenAI轉(zhuǎn)向LIama:百川智能

光錐智能發(fā)現(xiàn),相比于OpenAI,百川更像Llama。

首先是站在原有的技術(shù)、經(jīng)驗(yàn)基礎(chǔ)之上,發(fā)布和迭代速度非常快。

百川智能成立半年,便接連發(fā)布了baichuan-7B/13B,Baichuan2-7B/13B四款開源可免費(fèi)商用大模型及Baichuan-53B、Baichuan2-53B兩款閉源大模型。截至9月25日開放Baichuan2-53B API接口,過去的168天里,百川智能平均以月為單位的速度發(fā)布一款大模型。

(光錐智能制圖:根據(jù)公開資料整理)

  Meta靠LLama2重新贏回AI陣地,百川智能則憑借Baichuan2系列開源模型打敗LLama2名聲大噪。

據(jù)測試結(jié)果表明,Baichuan2-7B-Base 和 Baichuan2-13B-Base,在MMLU、CMMLU、GSM8K等幾大權(quán)威評估基準(zhǔn)中,以絕對優(yōu)勢領(lǐng)先LLaMA2,相比其他同等參數(shù)量大模型,表現(xiàn)也十分亮眼,性能大幅度優(yōu)于LLaMA2等同尺寸模型競品。

事實(shí)證明,百川智能大模型也的確經(jīng)得過考驗(yàn)。據(jù)官方數(shù)據(jù),Baichuan在開源社區(qū)總下載量已經(jīng)超過500萬次,月下載量達(dá)到300多萬次。

光錐智能發(fā)現(xiàn),百川智能系列模型在Hugging Face開源社區(qū)的最高下載量有11萬多,在中外開源大模型中仍具有競爭力。

(圖源:Hugging Face官網(wǎng))

 其開源之所以具有優(yōu)勢與其較強(qiáng)的兼容性也有關(guān)系,百川智能曾在公開場合介紹,其整個大模型底座結(jié)構(gòu)更加接近Meta的LLAMA的結(jié)構(gòu),故而從開源設(shè)計上就對企業(yè)和廠商很友好。

“開源之后,生態(tài)會圍繞LLaMA去構(gòu)建,在國外有很多開源項目是跟著LLaMA去推動的,這也是我們的結(jié)構(gòu)為什么跟LLaMA更加接近。”王小川道。

據(jù)光錐智能了解到,百川智能在架構(gòu)設(shè)計上采用了熱插拔(Hot-pluggable),可支持百川模型與LLAMA模型、百川模型不同模塊之間的隨意切換,比如用LLAMA訓(xùn)練一個模型后,無需修改,就直接能把這個模型放到百川中使用。這也解釋了現(xiàn)在多數(shù)互聯(lián)網(wǎng)大廠使用百川模型,和云廠商引入百川系列模型的原因。

歷史走過的路,既通向過去,也通向未來,王小川的大模型創(chuàng)業(yè)便是如此。

源于搜狗創(chuàng)始人的身份和搜索技術(shù)經(jīng)驗(yàn),創(chuàng)業(yè)初期,王小川獲得了不少人這樣的評價,“小川,是最適合搞大模型的啊”。

在搜索經(jīng)驗(yàn)和框架中構(gòu)建大模型成為了百川智能的底色。

百川智能技術(shù)聯(lián)創(chuàng)陳煒鵬曾表示,搜索研發(fā)與大模型開發(fā)有許多類似之處,“百川智能將搜索的經(jīng)驗(yàn)快速遷移到大模型的研發(fā)中,這就類似一個’造火箭’系統(tǒng)化工程,將復(fù)雜的系統(tǒng)做拆解,通過過程評估來推動團(tuán)隊的協(xié)同,提升團(tuán)隊的效果”。

王小川也在發(fā)布會現(xiàn)場談道:“因?yàn)榘俅ㄖ悄苤坝兴阉骰?,因此天然懂得如何從萬億網(wǎng)頁中間去精選最好的頁面,可以做到去重、反垃圾。在數(shù)據(jù)處理中,百川智能也借鑒了之前搜索的經(jīng)驗(yàn),能小時級完成千億數(shù)據(jù)的清洗和去重工作”。

其大模型搜索的內(nèi)核在Baichuan-53B中展現(xiàn)得淋漓盡致。在處理大模型“幻覺”問題上,結(jié)合搜索技術(shù)沉淀,百川智能在信息獲取、提升數(shù)據(jù)質(zhì)量、搜索增強(qiáng)等方面做了優(yōu)化。

在提升數(shù)據(jù)質(zhì)量上,百川智能的核心思路是“始終取優(yōu)”,以低質(zhì)、優(yōu)質(zhì)為標(biāo)準(zhǔn)將數(shù)據(jù)進(jìn)行分類,確保Baichuan2-53B始終使用優(yōu)質(zhì)數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練;在信息獲取方面,Baichuan2-53B對多個模塊進(jìn)行了升級,包括指令意圖理解、智能搜索和結(jié)果增強(qiáng)等關(guān)鍵組件,通過深入理解用戶指令,精確驅(qū)動查詢詞的搜索,最終結(jié)合大語言模型技術(shù),優(yōu)化模型結(jié)果生成的可靠性。

盡管以開源為始,但百川智能已經(jīng)開始探索商業(yè)化路徑。官方資料顯示,百川智能的目標(biāo)有兩個方向,橫向維度的目標(biāo)是“構(gòu)建中國最好的大模型底座”,縱向維度的目標(biāo)是在搜索、多模態(tài)、教育、醫(yī)療等領(lǐng)域增強(qiáng)。

如今的商業(yè)化,集中在了Baichuan2-53B,官網(wǎng)顯示,該模型的API調(diào)取采用了分時段收費(fèi)標(biāo)準(zhǔn)。0:00-8:00收費(fèi)為0.01元/千tokens,8:00-24:00收費(fèi)為0.02元/千token,相比較之下,白天的收費(fèi)價格要高于晚上。

(圖源:百川智能官網(wǎng))

結(jié)尾

爭論誰是中國的OpenAI這一問題,在大模型發(fā)展的早期沒有太大的意義。智譜AI、百川智能等諸多初創(chuàng)公司已經(jīng)意識到盲目跟隨OpenAI的腳步并不可取,例如智譜AI已經(jīng)明確了“不做中國GPT”的技術(shù)路徑。再者,在開源蔚然成風(fēng),正在形成包圍之勢的當(dāng)下,OpenAI的絕對技術(shù)優(yōu)勢地位似乎也并不是牢不可破。

智譜AI、百川智能曾不約而同地提到,超級應(yīng)用才是更廣闊的市場,也是中國大模型企業(yè)的舒適區(qū),不再停留原地,比如一位接近智譜AI人士曾向媒體爆料,智譜AI團(tuán)隊已經(jīng)堅定2B路線,瞄準(zhǔn)信創(chuàng)市場,并在5個月里,快速擴(kuò)張團(tuán)隊,從200人增至500人,以為后續(xù)的2B業(yè)務(wù)儲備人力。

而百川智能在商業(yè)化路徑上,則選擇了參照Llama2的開源生態(tài),也已經(jīng)開始小步迭代。

肉眼可見的是,僅半年時間,百川智能和智譜AI就已經(jīng)走過了技術(shù)無人區(qū),來到了面向產(chǎn)業(yè)落地的商業(yè)化階段。對比AI1.0的創(chuàng)業(yè)熱潮,技術(shù)打磨期長達(dá)3年(2016-2019年),而正是由于在商業(yè)落地上受阻,才導(dǎo)致了一大批AI公司在2022年集體走向沒落,倒在了黎明前。

吸取了上一階段的教訓(xùn),同時也源于大模型技術(shù)的通用性更便于落地,以百川智能和智譜AI為代表的創(chuàng)業(yè)公司,正養(yǎng)兵秣馬,為下一階段做好技術(shù)、產(chǎn)品和人才儲備。

不過,場馬拉松也才聽到第一聲槍響,言結(jié)果為時尚早。但至少對賽道的第一階段分解已經(jīng)完成,目標(biāo)明確后,比拼的更是耐心和毅力。這一點(diǎn),無論對于百川智能、智譜AI還是OpenAI,都一樣。

本文為轉(zhuǎn)載內(nèi)容,授權(quán)事宜請聯(lián)系原著作權(quán)人。

OpenAI

  • ChatGPT大規(guī)模中斷,部分用戶受到影響
  • OpenAI買下域名chat.com

評論

暫無評論哦,快來評價一下吧!

下載界面新聞

微信公眾號

微博

百川VS智譜,誰能成為中國的OpenAI?

盲目copy OpenAI 的階段已經(jīng)過去。

圖片來源:界面新聞| 匡達(dá)

文|商業(yè)數(shù)據(jù)派 郝鑫

編輯|劉雨琦

6月初,外媒曾發(fā)出了“誰是中國的OpenAI”的拷問,經(jīng)歷了大模型創(chuàng)業(yè)潮之后,大浪淘沙,最終留下的不過寥寥數(shù)人。

清華大學(xué)幾個十字路口外的賽爾大廈,是明星創(chuàng)業(yè)者王小川的百川智能,搜狐網(wǎng)絡(luò)大廈是學(xué)院派出身的智譜AI。二者在經(jīng)歷了市場的檢驗(yàn)后,成為了最有希望的兩個候選人。

兩棟樓的爭奪戰(zhàn),似乎已經(jīng)悄然打響了。

從融資上看,智譜AI和百川智能都在今年,完成了多輪大額融資。

(光錐智能制圖:根據(jù)公開資料整理)

今年,智譜AI累計總?cè)谫Y金額超25億元人民幣,百川智能總?cè)谫Y金額達(dá)到3.5億美元(約23億人民幣)。公開信息顯示,智譜 AI 最新估值已經(jīng)超100億人民幣,最高或達(dá)150億,是國內(nèi)估值最快超過百億人民幣的公司之一;最新一輪融資后,百川智能估值已經(jīng)超過10億美金(約66億人民幣)。

從團(tuán)隊構(gòu)成上看,智譜AI和百川智能師出同門,智譜AI總裁王紹蘭與搜狗創(chuàng)始人王小川,同為清華系創(chuàng)業(yè)團(tuán)隊。

從技術(shù)追趕速度來看,二者也不分伯仲。智譜AI的GLM-130B剛問世就打敗了GPT-3,而最新發(fā)布的Baichuan 2在各維度領(lǐng)先Llama 2,開拓了中國開源生態(tài)發(fā)展。

種種跡象顯示,智譜AI和百川智能已經(jīng)成為了中國大模型賽道沖出的“黑馬”,激烈的角逐下,究竟鹿死誰手?

OpenAI的信徒:智譜AI

智譜AI與OpenAI的淵源可以追溯到2020年,那一年被智譜AI CEO張鵬視為心中真正的“AI大語言模型元年”。

智譜AI周年慶日的當(dāng)天,喜悅的空氣氛圍中,時不時能嗅到GPT-3出世帶來的些許焦慮。達(dá)到1750億個參數(shù)的GPT-3是嚴(yán)格意義上的第一個大語言模型。

彼時,張鵬既震驚于GPT-3的涌現(xiàn)能力,也陷入了“要不要跟隨”的思考之中,不管是當(dāng)時還是現(xiàn)在,All in超大規(guī)模參數(shù)大模型方向都是一件極其冒險的事情。權(quán)衡過后,智譜AI決定把OpenAI作為自己的對標(biāo)對象,投入到超大規(guī)模預(yù)訓(xùn)練模型的研發(fā)當(dāng)中。

(光錐智能制圖:根據(jù)公開資料整理)

在技術(shù)路徑選擇上,智譜AI與OpenAI具有同樣的獨(dú)立思考性。

當(dāng)時存在BERT、GPT和T5幾種大模型預(yù)訓(xùn)練框架。三種路徑,在訓(xùn)練目標(biāo)、模型結(jié)構(gòu)、訓(xùn)練數(shù)據(jù)來源、模型大小幾方面都各有優(yōu)劣。

假如把大模型訓(xùn)練過程比作一場英文考試,BERT擅長通過詞句之間關(guān)系來做題,通過理解去考試,其復(fù)習(xí)資料主要源于課本和維基百科;GPT擅長通過預(yù)測下一個詞來做題,通過大量寫作練習(xí)來準(zhǔn)備考試,其復(fù)習(xí)資料主要來自各種各樣的網(wǎng)頁;T5則采取了一種將題目形式化的策略,先把題目翻譯成漢語再去解題,在復(fù)習(xí)時,不僅閱讀課本,還刷了大量題庫。

眾所周知,谷歌選擇了BERT,OpenAI選擇了GPT,智譜AI沒有盲目跟從,在這兩種路線基礎(chǔ)上提出了 GLM(General Language Model)算法框架。該框架實(shí)則實(shí)現(xiàn)了BERT、GPT優(yōu)劣互補(bǔ),“既能在理解的同時,還能完成續(xù)寫和填空”。

GLM由此成為了智譜AI追逐OpenAI最大的底氣,在此框架之下陸續(xù)長出了GLM-130B、ChatGLM-6B、ChatGLM2-6B等GLM系列大模型。實(shí)驗(yàn)數(shù)據(jù)顯示,GLM系列大模型在語言理解精度、推理速度、內(nèi)存占比和大模型適配應(yīng)用方面都優(yōu)于GPT。

OpenAI是當(dāng)前國外能提供基礎(chǔ)模型服務(wù)最為完備的機(jī)構(gòu),其商業(yè)化主要分為兩類,一類是API調(diào)取收費(fèi),一類是ChatGPT訂閱制收費(fèi)。在商業(yè)化方面,智譜AI也遵循了大致的思路,處于國內(nèi)大模型商業(yè)化較為成熟的企業(yè)梯隊。

據(jù)光錐智能梳理發(fā)現(xiàn),結(jié)合中國企業(yè)的落地情況,智譜AI的商業(yè)模式分為API調(diào)取收費(fèi)和私有化收費(fèi)模式。

總體提供的模型種類分別有語言大模型、超擬人大模型、向量大模型與代碼大模型,在每個大模型選項下包括了標(biāo)準(zhǔn)定價、云端私有化定價和本地私有化定價。對比OpenAI,智譜AI缺乏了語音、圖像大模型服務(wù)的提供,但增加了超擬人大模型,這也迎合了中國數(shù)字人、智能NPC等行業(yè)的需求。

(光錐智能制圖:根據(jù)公開資料整理)

光錐智能向開發(fā)者了解到,“目前,百度文心千帆平臺的特點(diǎn)是完善,通義千問的特點(diǎn)是靈活,智譜AI則是市場主流廠商中API收費(fèi)最便宜的公司之一”。

智譜AI的ChaGLM-Pro的收費(fèi)為0.01元/千tokens,并贈送18元的免費(fèi)額度,ChaGLM-Lite收費(fèi)降至0.002元/千tokens。作為參考,OpenAI GPT-3.5收費(fèi)為0.014元/千tokens,阿里通義千問-turbo收費(fèi)為0.012元/千tokens,百度文心一言 emie-bot-turbo的收費(fèi)標(biāo)準(zhǔn)為0.008元/千 tokens。

正如張鵬所言,智譜AI也正在經(jīng)歷以O(shè)penAI為目標(biāo)到“不再追隨OpenAI”的新階段。

產(chǎn)品業(yè)務(wù)方面,不同于OpenAI只專注于ChatGPT的升級打造,智譜AI選擇了三面出擊。

據(jù)其官網(wǎng)顯示,當(dāng)前智譜AI的業(yè)務(wù)主要分為了三大塊,分別為大模型MaaS平臺、AMiner 科技情報平臺和認(rèn)知數(shù)字人。由此形成了三大AI產(chǎn)品矩陣,大模型產(chǎn)品、AMiner產(chǎn)品以及數(shù)字人產(chǎn)品。其中,大模型產(chǎn)品不僅涵蓋了基本對話機(jī)器人,還有編程、寫作、繪畫垂類的機(jī)器人劃分。

(圖源:智譜AI官網(wǎng))

與此同時,智譜AI還在通過投資的方式繼續(xù)向應(yīng)用側(cè)上探。截至目前,智譜AI對外投資了聆心智能和畫壁智能,并于今年九月份再次增持了聆心智能股份。

聆心智能同樣孵化自清華大學(xué)計算機(jī)系,雖系出同源,但聆心智能更偏向于應(yīng)用,其開發(fā)出的AiU興趣互動社區(qū)就是基于智譜AI的超擬人大模型。其產(chǎn)品的開發(fā)思路類似于國外的Character AI,通過創(chuàng)造不同性格與人設(shè)的AI角色,與之進(jìn)行互動聊天,更加偏向于C端應(yīng)用,強(qiáng)調(diào)娛樂的屬性。

從OpenAI轉(zhuǎn)向LIama:百川智能

光錐智能發(fā)現(xiàn),相比于OpenAI,百川更像Llama。

首先是站在原有的技術(shù)、經(jīng)驗(yàn)基礎(chǔ)之上,發(fā)布和迭代速度非???。

百川智能成立半年,便接連發(fā)布了baichuan-7B/13B,Baichuan2-7B/13B四款開源可免費(fèi)商用大模型及Baichuan-53B、Baichuan2-53B兩款閉源大模型。截至9月25日開放Baichuan2-53B API接口,過去的168天里,百川智能平均以月為單位的速度發(fā)布一款大模型。

(光錐智能制圖:根據(jù)公開資料整理)

  Meta靠LLama2重新贏回AI陣地,百川智能則憑借Baichuan2系列開源模型打敗LLama2名聲大噪。

據(jù)測試結(jié)果表明,Baichuan2-7B-Base 和 Baichuan2-13B-Base,在MMLU、CMMLU、GSM8K等幾大權(quán)威評估基準(zhǔn)中,以絕對優(yōu)勢領(lǐng)先LLaMA2,相比其他同等參數(shù)量大模型,表現(xiàn)也十分亮眼,性能大幅度優(yōu)于LLaMA2等同尺寸模型競品。

事實(shí)證明,百川智能大模型也的確經(jīng)得過考驗(yàn)。據(jù)官方數(shù)據(jù),Baichuan在開源社區(qū)總下載量已經(jīng)超過500萬次,月下載量達(dá)到300多萬次。

光錐智能發(fā)現(xiàn),百川智能系列模型在Hugging Face開源社區(qū)的最高下載量有11萬多,在中外開源大模型中仍具有競爭力。

(圖源:Hugging Face官網(wǎng))

 其開源之所以具有優(yōu)勢與其較強(qiáng)的兼容性也有關(guān)系,百川智能曾在公開場合介紹,其整個大模型底座結(jié)構(gòu)更加接近Meta的LLAMA的結(jié)構(gòu),故而從開源設(shè)計上就對企業(yè)和廠商很友好。

“開源之后,生態(tài)會圍繞LLaMA去構(gòu)建,在國外有很多開源項目是跟著LLaMA去推動的,這也是我們的結(jié)構(gòu)為什么跟LLaMA更加接近?!?/strong>王小川道。

據(jù)光錐智能了解到,百川智能在架構(gòu)設(shè)計上采用了熱插拔(Hot-pluggable),可支持百川模型與LLAMA模型、百川模型不同模塊之間的隨意切換,比如用LLAMA訓(xùn)練一個模型后,無需修改,就直接能把這個模型放到百川中使用。這也解釋了現(xiàn)在多數(shù)互聯(lián)網(wǎng)大廠使用百川模型,和云廠商引入百川系列模型的原因。

歷史走過的路,既通向過去,也通向未來,王小川的大模型創(chuàng)業(yè)便是如此。

源于搜狗創(chuàng)始人的身份和搜索技術(shù)經(jīng)驗(yàn),創(chuàng)業(yè)初期,王小川獲得了不少人這樣的評價,“小川,是最適合搞大模型的啊”。

在搜索經(jīng)驗(yàn)和框架中構(gòu)建大模型成為了百川智能的底色。

百川智能技術(shù)聯(lián)創(chuàng)陳煒鵬曾表示,搜索研發(fā)與大模型開發(fā)有許多類似之處,“百川智能將搜索的經(jīng)驗(yàn)快速遷移到大模型的研發(fā)中,這就類似一個’造火箭’系統(tǒng)化工程,將復(fù)雜的系統(tǒng)做拆解,通過過程評估來推動團(tuán)隊的協(xié)同,提升團(tuán)隊的效果”。

王小川也在發(fā)布會現(xiàn)場談道:“因?yàn)榘俅ㄖ悄苤坝兴阉骰?,因此天然懂得如何從萬億網(wǎng)頁中間去精選最好的頁面,可以做到去重、反垃圾。在數(shù)據(jù)處理中,百川智能也借鑒了之前搜索的經(jīng)驗(yàn),能小時級完成千億數(shù)據(jù)的清洗和去重工作”。

其大模型搜索的內(nèi)核在Baichuan-53B中展現(xiàn)得淋漓盡致。在處理大模型“幻覺”問題上,結(jié)合搜索技術(shù)沉淀,百川智能在信息獲取、提升數(shù)據(jù)質(zhì)量、搜索增強(qiáng)等方面做了優(yōu)化。

在提升數(shù)據(jù)質(zhì)量上,百川智能的核心思路是“始終取優(yōu)”,以低質(zhì)、優(yōu)質(zhì)為標(biāo)準(zhǔn)將數(shù)據(jù)進(jìn)行分類,確保Baichuan2-53B始終使用優(yōu)質(zhì)數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練;在信息獲取方面,Baichuan2-53B對多個模塊進(jìn)行了升級,包括指令意圖理解、智能搜索和結(jié)果增強(qiáng)等關(guān)鍵組件,通過深入理解用戶指令,精確驅(qū)動查詢詞的搜索,最終結(jié)合大語言模型技術(shù),優(yōu)化模型結(jié)果生成的可靠性。

盡管以開源為始,但百川智能已經(jīng)開始探索商業(yè)化路徑。官方資料顯示,百川智能的目標(biāo)有兩個方向,橫向維度的目標(biāo)是“構(gòu)建中國最好的大模型底座”,縱向維度的目標(biāo)是在搜索、多模態(tài)、教育、醫(yī)療等領(lǐng)域增強(qiáng)。

如今的商業(yè)化,集中在了Baichuan2-53B,官網(wǎng)顯示,該模型的API調(diào)取采用了分時段收費(fèi)標(biāo)準(zhǔn)。0:00-8:00收費(fèi)為0.01元/千tokens,8:00-24:00收費(fèi)為0.02元/千token,相比較之下,白天的收費(fèi)價格要高于晚上。

(圖源:百川智能官網(wǎng))

結(jié)尾

爭論誰是中國的OpenAI這一問題,在大模型發(fā)展的早期沒有太大的意義。智譜AI、百川智能等諸多初創(chuàng)公司已經(jīng)意識到盲目跟隨OpenAI的腳步并不可取,例如智譜AI已經(jīng)明確了“不做中國GPT”的技術(shù)路徑。再者,在開源蔚然成風(fēng),正在形成包圍之勢的當(dāng)下,OpenAI的絕對技術(shù)優(yōu)勢地位似乎也并不是牢不可破。

智譜AI、百川智能曾不約而同地提到,超級應(yīng)用才是更廣闊的市場,也是中國大模型企業(yè)的舒適區(qū),不再停留原地,比如一位接近智譜AI人士曾向媒體爆料,智譜AI團(tuán)隊已經(jīng)堅定2B路線,瞄準(zhǔn)信創(chuàng)市場,并在5個月里,快速擴(kuò)張團(tuán)隊,從200人增至500人,以為后續(xù)的2B業(yè)務(wù)儲備人力。

而百川智能在商業(yè)化路徑上,則選擇了參照Llama2的開源生態(tài),也已經(jīng)開始小步迭代。

肉眼可見的是,僅半年時間,百川智能和智譜AI就已經(jīng)走過了技術(shù)無人區(qū),來到了面向產(chǎn)業(yè)落地的商業(yè)化階段。對比AI1.0的創(chuàng)業(yè)熱潮,技術(shù)打磨期長達(dá)3年(2016-2019年),而正是由于在商業(yè)落地上受阻,才導(dǎo)致了一大批AI公司在2022年集體走向沒落,倒在了黎明前。

吸取了上一階段的教訓(xùn),同時也源于大模型技術(shù)的通用性更便于落地,以百川智能和智譜AI為代表的創(chuàng)業(yè)公司,正養(yǎng)兵秣馬,為下一階段做好技術(shù)、產(chǎn)品和人才儲備。

不過,場馬拉松也才聽到第一聲槍響,言結(jié)果為時尚早。但至少對賽道的第一階段分解已經(jīng)完成,目標(biāo)明確后,比拼的更是耐心和毅力。這一點(diǎn),無論對于百川智能、智譜AI還是OpenAI,都一樣。

本文為轉(zhuǎn)載內(nèi)容,授權(quán)事宜請聯(lián)系原著作權(quán)人。