正在閱讀:

大模型是不是有點(diǎn)太多了？

掃一掃下載界面新聞APP

大模型是不是有點(diǎn)太多了？

截至今年7月，國(guó)內(nèi)大模型數(shù)量已達(dá)130個(gè)。

有數(shù)DataVision ·

圖片來(lái)源：電影《小黃人大眼睛》劇照

文|遠(yuǎn)川科技評(píng)論  陳彬

編輯|李墨天

上個(gè)月，AI業(yè)界爆發(fā)了一場(chǎng)“動(dòng)物戰(zhàn)爭(zhēng)”。

一方是Meta推出的Llama（美洲駝），由于其開(kāi)源的特性，歷來(lái)深受開(kāi)發(fā)者社區(qū)的歡迎。NEC（日本電氣）在仔細(xì)鉆研了Llama論文和源代碼后，迅速“自主研發(fā)”出了日語(yǔ)版ChatGPT，幫日本解決了AI卡脖子難題。

另一方則是一個(gè)名為Falcon（獵鷹）的大模型。今年5月，F(xiàn)alcon-40B問(wèn)世，力壓美洲駝登頂了“開(kāi)源LLM（大語(yǔ)言模型）排行榜”。

該榜單由開(kāi)源模型社區(qū)Hugging face制作，提供了一套測(cè)算LLM能力的標(biāo)準(zhǔn)，并進(jìn)行排名。排行榜基本上就是Llama和Falcon輪流刷榜。

Llama 2推出后，美洲駝家族扳回一城；可到了9月初，F(xiàn)alcon推出了180B版本，又一次取得了更高的排名。

Falcon以68.74分力壓Llama 2

有趣的是，“獵鷹”的開(kāi)發(fā)者不是哪家科技公司，而是位于阿聯(lián)酋首都阿布扎比的科技創(chuàng)新研究所。政府人士表示，“我們參與這個(gè)游戲是為了顛覆核心玩家”[4]。

180B版本發(fā)布第二天，阿聯(lián)酋人工智能部長(zhǎng)奧馬爾就入選了《時(shí)代周刊》評(píng)選的“AI領(lǐng)域最具影響力的100人”；與這張中東面孔一同入選的，還有“AI教父”辛頓、OpenAI的阿爾特曼，以及李彥宏。

阿聯(lián)酋人工智能部長(zhǎng)

如今，AI領(lǐng)域早已步入了“群魔亂舞”的階段：但凡有點(diǎn)財(cái)力的國(guó)家和企業(yè)，或多或少都有打造“XX國(guó)版ChatGPT”的計(jì)劃。僅在海灣國(guó)家的圈子內(nèi)，已不止一個(gè)玩家——8月，沙特阿拉伯剛剛幫國(guó)內(nèi)大學(xué)購(gòu)買(mǎi)了3000多塊H100，用于訓(xùn)練LLM。

金沙江創(chuàng)投朱嘯虎曾在朋友圈吐槽道：“當(dāng)年看不起（互聯(lián)網(wǎng)的）商業(yè)模式創(chuàng)新，覺(jué)得沒(méi)有壁壘：百團(tuán)大戰(zhàn)、百車大戰(zhàn)、百播大戰(zhàn)；沒(méi)想到硬科技大模型創(chuàng)業(yè)，依然是百模大戰(zhàn)...”

說(shuō)好的高難度硬科技，怎么就搞成一國(guó)一模畝產(chǎn)十萬(wàn)斤了？

Transformer吞噬世界

美國(guó)的初創(chuàng)公司、中國(guó)的科技巨擘、中東的石油大亨能夠逐夢(mèng)大模型，都得感謝那篇著名的論文：《Attention Is All You Need》。

2017年，8位谷歌的計(jì)算機(jī)科學(xué)家在這篇論文中，向全世界公開(kāi)了Transformer算法。這篇論文目前是人工智能歷史上被引數(shù)量第三高的論文，Transformer的出現(xiàn)則扣動(dòng)了此輪人工智能熱潮的扳機(jī)。

無(wú)論當(dāng)前的大模型是什么國(guó)籍，包括轟動(dòng)世界的GPT系列，都是站在了Transformer的肩膀上。

在此之前，“教機(jī)器讀書(shū)”曾是個(gè)公認(rèn)的學(xué)術(shù)難題。不同于圖像識(shí)別，人類在閱讀文字時(shí)，不僅會(huì)關(guān)注當(dāng)前看到的詞句，更會(huì)結(jié)合上下文來(lái)理解。

比如“Transformer”一詞其實(shí)可翻譯成“變形金剛”，但本文讀者肯定不會(huì)這么理解，因?yàn)榇蠹叶贾肋@不是一篇講好萊塢電影的文章。

但早年神經(jīng)網(wǎng)絡(luò)的輸入都彼此獨(dú)立，并不具備理解一大段文字、甚至整篇文章的能力，所以才會(huì)出現(xiàn)把“開(kāi)水間”翻譯成“open water room”這種問(wèn)題。

直到2014年，在谷歌工作、后來(lái)跳槽去了OpenAI的計(jì)算機(jī)科學(xué)家伊利亞（Ilya Sutskever）率先出了成果。他使用循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）來(lái)處理自然語(yǔ)言，使谷歌翻譯的性能迅速與競(jìng)品拉開(kāi)了差距。

RNN提出了“循環(huán)設(shè)計(jì)”，讓每個(gè)神經(jīng)元既接受當(dāng)前時(shí)刻輸入信息，也接受上一時(shí)刻的輸入信息，進(jìn)而使神經(jīng)網(wǎng)絡(luò)具備了“結(jié)合上下文”的能力。

循環(huán)神經(jīng)網(wǎng)絡(luò)

RNN的出現(xiàn)點(diǎn)燃了學(xué)術(shù)圈的研究熱情，日后Transformer的論文作者沙澤爾（Noam Shazeer）也一度沉迷其中。然而開(kāi)發(fā)者們很快意識(shí)到，RNN存在一個(gè)嚴(yán)重缺陷：

該算法使用了順序計(jì)算，它固然能解決上下文的問(wèn)題，但運(yùn)行效率并不高，很難處理大量的參數(shù)。

RNN的繁瑣設(shè)計(jì)，很快讓沙澤爾感到厭煩。因此從2015年開(kāi)始，沙澤爾和7位同好便著手開(kāi)發(fā)RNN的替代品，其成果便是Transformer[8]。

Noam Shazeer

相比于RNN，Transformer的變革有兩點(diǎn)：

一是用位置編碼的方式取代了RNN的循環(huán)設(shè)計(jì)，從而實(shí)現(xiàn)了并行計(jì)算——這一改變大大提升了Transformer的訓(xùn)練效率，從而變得能夠處理大數(shù)據(jù)，將AI推向了大模型時(shí)代；二是進(jìn)一步加強(qiáng)了上下文的能力。

隨著Transformer一口氣解決了眾多缺陷，它漸漸發(fā)展成了NLP（自然語(yǔ)言處理）的唯一解，頗有種“天不生Transformer，NLP萬(wàn)古如長(zhǎng)夜”的既視感。連伊利亞都拋棄了親手捧上神壇的RNN，轉(zhuǎn)投Transformer。

換句話說(shuō)，Transformer是如今所有大模型的祖師爺，因?yàn)樗尨竽Ｐ蛷囊粋€(gè)理論研究問(wèn)題，變成了一個(gè)純粹的工程問(wèn)題。

LLM技術(shù)發(fā)展樹(shù)狀圖，灰色的樹(shù)根就是Transformer[9]

2019年，OpenAI基于Transformer開(kāi)發(fā)出了GPT-2，一度驚艷了學(xué)術(shù)圈。作為回應(yīng)，谷歌迅速推出了一個(gè)性能更強(qiáng)的AI，名叫Meena。

和GPT-2相比，Meena沒(méi)有底層算法上的革新，僅僅是比GPT-2多了8.5倍的訓(xùn)練參數(shù)、14倍的算力。Transformer論文作者沙澤爾對(duì)“暴力堆砌”大受震撼，當(dāng)場(chǎng)寫(xiě)了篇“Meena吞噬世界”的備忘錄。

Transformer的問(wèn)世，讓學(xué)術(shù)界的底層算法創(chuàng)新速度大大放緩。數(shù)據(jù)工程、算力規(guī)模、模型架構(gòu)等工程要素，日漸成為AI競(jìng)賽的重要?jiǎng)儇?fù)手，只要有點(diǎn)技術(shù)能力的科技公司，都能手搓一個(gè)大模型出來(lái)。

因此，計(jì)算機(jī)科學(xué)家吳恩達(dá)在斯坦福大學(xué)做演講時(shí)，便提到一個(gè)觀點(diǎn)：“AI是一系列工具的集合，包括監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)以及現(xiàn)在的生成式人工智能。所有這些都是通用技術(shù)，與電力和互聯(lián)網(wǎng)等其他通用技術(shù)類似。[10]”

OpenAI固然仍是LLM的風(fēng)向標(biāo)，但半導(dǎo)體分析機(jī)構(gòu)Semi Analysis認(rèn)為，GPT-4的競(jìng)爭(zhēng)力源自工程解決方案——如果開(kāi)源，任何競(jìng)爭(zhēng)對(duì)手都能迅速?gòu)?fù)現(xiàn)。

該分析師預(yù)計(jì)，或許用不了太久，其他大型科技公司也能打造出同等于GPT-4性能的大模型[11]。

建在玻璃上的護(hù)城河

當(dāng)下，“百模大戰(zhàn)”已不再是一種修辭手法，而是客觀現(xiàn)實(shí)。

相關(guān)報(bào)告顯示，截止至今年7月，國(guó)內(nèi)大模型數(shù)量已達(dá)130個(gè)，高于美國(guó)的114個(gè)，成功實(shí)現(xiàn)彎道超車，各種神話傳說(shuō)已經(jīng)快不夠國(guó)內(nèi)科技公司取名的了[12]。

而在中美之外，一眾較為富裕的國(guó)家也初步實(shí)現(xiàn)了“一國(guó)一?！保撼巳毡九c阿聯(lián)酋，還有印度政府主導(dǎo)的大模型Bhashini、韓國(guó)互聯(lián)網(wǎng)公司Naver打造的HyperClova X等等。

眼前這陣仗，仿佛回到了那個(gè)漫天泡沫、“鈔能力”對(duì)轟的互聯(lián)網(wǎng)拓荒時(shí)代。

正如前文所說(shuō)，Transformer讓大模型變成了純粹的工程問(wèn)題，只要有人有錢(qián)有顯卡，剩下的就丟給參數(shù)。但入場(chǎng)券雖不難搞，也并不意味著人人都有機(jī)會(huì)成為AI時(shí)代的BAT。

開(kāi)頭提到的“動(dòng)物戰(zhàn)爭(zhēng)”就是個(gè)典型案例：Falcon雖然在排名上力壓美洲駝，但很難說(shuō)對(duì)Meta造成了多少?zèng)_擊。

眾所周知，企業(yè)開(kāi)源自身的科研成果，既是為了與社會(huì)大眾分享科技的福祉，同樣也希望能調(diào)動(dòng)起人民群眾的智慧。隨著各個(gè)大學(xué)教授、研究機(jī)構(gòu)、中小企業(yè)不斷深入使用、改進(jìn)Llama，Meta可以將這些成果應(yīng)用于自己的產(chǎn)品之中。

對(duì)開(kāi)源大模型而言，活躍的開(kāi)發(fā)者社群才是其核心競(jìng)爭(zhēng)力。

而早在2015年組建AI實(shí)驗(yàn)室時(shí)，Meta已定下了開(kāi)源的主基調(diào)；扎克伯格又是靠社交媒體生意發(fā)的家，更是深諳于“搞好群眾關(guān)系”這件事。

譬如在10月，Meta就專程搞了個(gè)“AI版創(chuàng)作者激勵(lì)”活動(dòng)：使用Llama 2來(lái)解決教育、環(huán)境等社會(huì)問(wèn)題的開(kāi)發(fā)者，將有機(jī)會(huì)獲得50萬(wàn)美金的資助。

時(shí)至今日，Meta的Llama系列儼然已是開(kāi)源LLM的風(fēng)向標(biāo)。

截至10月初，Hugging face的開(kāi)源LLM排行榜Top 10中，共有8個(gè)都是基于Llama 2所打造的，均使用了它的開(kāi)源協(xié)議。僅在Hugging face上，使用了Llama 2開(kāi)源協(xié)議的LLM已經(jīng)超過(guò)了1500個(gè)[13]。

截止至10月初，Hugging face上排名第一的LLM，基于Llama 2打造

當(dāng)然，像Falcon一樣提高性能也未嘗不可，但時(shí)至今日，市面上大多數(shù)LLM仍和GPT-4有著肉眼可見(jiàn)的性能差距。

例如前些日子，GPT-4就以4.41分的成績(jī)問(wèn)鼎AgentBench測(cè)試頭名。AgentBench標(biāo)準(zhǔn)由清華大學(xué)與俄亥俄州立大學(xué)、加州大學(xué)伯克利分校共同推出，用于評(píng)估LLM在多維度開(kāi)放式生成環(huán)境中的推理能力和決策能力，測(cè)試內(nèi)容包括了操作系統(tǒng)、數(shù)據(jù)庫(kù)、知識(shí)圖譜、卡牌對(duì)戰(zhàn)等8個(gè)不同環(huán)境的任務(wù)。

測(cè)試結(jié)果顯示，第二名的Claude僅有2.77分，差距仍較為明顯。至于那些聲勢(shì)浩大的開(kāi)源LLM，其測(cè)試成績(jī)多在1分上下徘徊，還不到GPT-4的1/4[14]。

AgentBench測(cè)試結(jié)果

要知道，GPT-4發(fā)布于今年3月，這還是全球同行追趕了大半年之后的成績(jī)。而造成這種差距的，是OpenAI“智商密度”極高的科學(xué)家團(tuán)隊(duì)與長(zhǎng)期研究LLM積累下來(lái)的經(jīng)驗(yàn)，因此可以始終遙遙領(lǐng)先。

也就是說(shuō)，大模型的核心能力并不是參數(shù)，而是生態(tài)的建設(shè)（開(kāi)源）或純粹的推理能力（閉源）。

隨著開(kāi)源社區(qū)日漸活躍，各個(gè)LLM的性能可能會(huì)趨同，因?yàn)榇蠹叶荚谑褂孟嗨频哪Ｐ图軜?gòu)與相似的數(shù)據(jù)集。

另一個(gè)更直觀的難題是：除了Midjourney，好像還沒(méi)有哪個(gè)大模型能賺到錢(qián)。

價(jià)值的錨點(diǎn)

今年8月，一篇題為“OpenAI可能會(huì)于2024年底破產(chǎn)”的奇文引起了不少關(guān)注[16]。文章主旨幾乎能用一句話概括：OpenAI的燒錢(qián)速度太快了。

文中提到，自從開(kāi)發(fā)ChatGPT之后，OpenAI的虧損正迅速擴(kuò)大，僅2022年就虧了約5.4億美元，只能等著微軟投資人買(mǎi)單。

文章標(biāo)題雖聳人聽(tīng)聞，卻也講出了一眾大模型提供商的現(xiàn)狀：成本與收入嚴(yán)重失衡。

過(guò)于高昂的成本，導(dǎo)致目前依靠人工智能賺了大錢(qián)的只有英偉達(dá)，頂多再加個(gè)博通。

據(jù)咨詢公司Omdia預(yù)估，英偉達(dá)在今年二季度賣出了超30萬(wàn)塊H100。這是一款A(yù)I芯片，訓(xùn)練AI的效率奇高無(wú)比，全世界的科技公司、科研機(jī)構(gòu)都在搶購(gòu)。如果將賣出的這30萬(wàn)塊H100疊在一起，其重量相當(dāng)于4.5架波音747飛機(jī)[18]。

英偉達(dá)的業(yè)績(jī)也順勢(shì)起飛，同比營(yíng)收暴漲854%，一度驚掉了華爾街的下巴。順帶一提，目前H100在二手市場(chǎng)的價(jià)格已被炒到4-5萬(wàn)美金，但其物料成本僅有約3000美金出頭。

高昂的算力成本已經(jīng)在某種程度上成為了行業(yè)發(fā)展的阻力。紅杉資本曾做過(guò)一筆測(cè)算：全球的科技公司每年預(yù)計(jì)將花費(fèi)2000億美金，用于大模型基礎(chǔ)設(shè)施建設(shè)；相比之下，大模型每年最多只能產(chǎn)生750億美金的收入，中間存在著至少1250億美金的缺口[17]。

黃仁勛與H100

另外，除了Midjourney等少數(shù)個(gè)例，大部分軟件公司在付出了巨大的成本后，還沒(méi)想清楚怎么賺錢(qián)。尤其是行業(yè)的兩位帶頭大哥——微軟和Adobe都走的有些踉蹌。

微軟和OpenAI曾合作開(kāi)發(fā)了一個(gè)AI代碼生成工具GitHub Copilot，雖然每個(gè)月要收10美元月費(fèi)，但由于設(shè)施成本，微軟反而要倒虧20美元，重度用戶甚至能讓微軟每月倒貼80美元。依此推測(cè)，定價(jià)30美元的Microsoft 365 Copilot，搞不好虧的更多。

無(wú)獨(dú)有偶，剛剛發(fā)布了Firefly AI工具的Adobe，也迅速上線了一個(gè)配套的積分系統(tǒng)，防止用戶重度使用造成公司虧損。一旦有用戶使用了超過(guò)每月分配的積分，Adobe就會(huì)給服務(wù)減速。

要知道微軟和Adobe已經(jīng)是業(yè)務(wù)場(chǎng)景清晰，擁有大量現(xiàn)成付費(fèi)用戶的軟件巨頭。而大部分參數(shù)堆上天的大模型，最大的應(yīng)用場(chǎng)景還是聊天。

不可否認(rèn)的是，如果沒(méi)有OpenAI和ChatGPT的橫空出世，這場(chǎng)AI革命或許壓根不會(huì)發(fā)生；但在當(dāng)下，訓(xùn)練大模型所帶來(lái)的價(jià)值恐怕得打一個(gè)問(wèn)號(hào)。

而且，隨著同質(zhì)化競(jìng)爭(zhēng)加劇，以及市面上的開(kāi)源模型越來(lái)越多，留給單純的大模型供應(yīng)商的空間或許會(huì)更少。

iPhone 4的火爆不是因?yàn)?5nm制程的A4處理器，而是它可以玩植物大戰(zhàn)僵尸和憤怒的小鳥(niǎo)。

參考資料

[1] LLM Leaderboard Gone Wrong，Analytics India Mag

[2] NEC獨(dú)自の大規(guī)模言語(yǔ)モデル（LLM）開(kāi)発の裏側(cè)に迫る

[3] Spread Your Wings: Falcon 180B is here

[4] Abu Dhabi throws a surprise challenger into the AI race，The Economist

[5] TIME 100/AI

[6] OpenAI背后的領(lǐng)袖Ilya Sutskever：一個(gè)計(jì)算機(jī)視覺(jué)、機(jī)器翻譯、游戲和機(jī)器人的變革者，機(jī)器之心

[7] 深度學(xué)習(xí)算法發(fā)展：從多樣到統(tǒng)一，國(guó)金證券

[8] Your AI Friends Have Awoken, With Noam Shazeer，No Priors

[9] Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond，Jingfeng Yang、Hongye Jin等

[10] Andrew Ng: Opportunities in AI - 2023，Stanford Online

[11] GPT-4 Architecture, Infrastructure, Training Dataset, Costs, Vision, MoE，Semi Analysis

[12] IT 2023，賽迪顧問(wèn)

[13] Open LLM Leaderboard，Hugging face

[14] AgentBench: Evaluating LLMs as Agents，Xiao Liu, Hao Yu等

[15] Who Owns the Generative AI Platform，a16z

[16] OpenAI Might Go Bankrupt by the End of 2024，Analytics India Mag

[17] AI’s $200B Question，Sequoia

[18] Nvidia Sold 900 Tons of H100 GPUs Last Quarter, Says Analyst Firm，tomshardware

[19] Character.ai's Noam Shazeer: "Replacing Google - and your mom"，Danny In The Valley

視覺(jué)設(shè)計(jì)：疏睿

責(zé)任編輯：李墨天

本文為轉(zhuǎn)載內(nèi)容，授權(quán)事宜請(qǐng)聯(lián)系原著作權(quán)人。

評(píng)論

暫無(wú)評(píng)論哦，快來(lái)評(píng)價(jià)一下吧！

下載界面新聞

微信公眾號(hào)

微博

大模型是不是有點(diǎn)太多了？

截至今年7月，國(guó)內(nèi)大模型數(shù)量已達(dá)130個(gè)。

有數(shù)DataVision · 2023/10/19 08:55

圖片來(lái)源：電影《小黃人大眼睛》劇照

文|遠(yuǎn)川科技評(píng)論  陳彬

編輯|李墨天

上個(gè)月，AI業(yè)界爆發(fā)了一場(chǎng)“動(dòng)物戰(zhàn)爭(zhēng)”。

一方是Meta推出的Llama（美洲駝），由于其開(kāi)源的特性，歷來(lái)深受開(kāi)發(fā)者社區(qū)的歡迎。NEC（日本電氣）在仔細(xì)鉆研了Llama論文和源代碼后，迅速“自主研發(fā)”出了日語(yǔ)版ChatGPT，幫日本解決了AI卡脖子難題。

另一方則是一個(gè)名為Falcon（獵鷹）的大模型。今年5月，F(xiàn)alcon-40B問(wèn)世，力壓美洲駝登頂了“開(kāi)源LLM（大語(yǔ)言模型）排行榜”。

該榜單由開(kāi)源模型社區(qū)Hugging face制作，提供了一套測(cè)算LLM能力的標(biāo)準(zhǔn)，并進(jìn)行排名。排行榜基本上就是Llama和Falcon輪流刷榜。

Llama 2推出后，美洲駝家族扳回一城；可到了9月初，F(xiàn)alcon推出了180B版本，又一次取得了更高的排名。

Falcon以68.74分力壓Llama 2

有趣的是，“獵鷹”的開(kāi)發(fā)者不是哪家科技公司，而是位于阿聯(lián)酋首都阿布扎比的科技創(chuàng)新研究所。政府人士表示，“我們參與這個(gè)游戲是為了顛覆核心玩家”[4]。

180B版本發(fā)布第二天，阿聯(lián)酋人工智能部長(zhǎng)奧馬爾就入選了《時(shí)代周刊》評(píng)選的“AI領(lǐng)域最具影響力的100人”；與這張中東面孔一同入選的，還有“AI教父”辛頓、OpenAI的阿爾特曼，以及李彥宏。

阿聯(lián)酋人工智能部長(zhǎng)

如今，AI領(lǐng)域早已步入了“群魔亂舞”的階段：但凡有點(diǎn)財(cái)力的國(guó)家和企業(yè)，或多或少都有打造“XX國(guó)版ChatGPT”的計(jì)劃。僅在海灣國(guó)家的圈子內(nèi)，已不止一個(gè)玩家——8月，沙特阿拉伯剛剛幫國(guó)內(nèi)大學(xué)購(gòu)買(mǎi)了3000多塊H100，用于訓(xùn)練LLM。

金沙江創(chuàng)投朱嘯虎曾在朋友圈吐槽道：“當(dāng)年看不起（互聯(lián)網(wǎng)的）商業(yè)模式創(chuàng)新，覺(jué)得沒(méi)有壁壘：百團(tuán)大戰(zhàn)、百車大戰(zhàn)、百播大戰(zhàn)；沒(méi)想到硬科技大模型創(chuàng)業(yè)，依然是百模大戰(zhàn)...”

說(shuō)好的高難度硬科技，怎么就搞成一國(guó)一模畝產(chǎn)十萬(wàn)斤了？

Transformer吞噬世界

美國(guó)的初創(chuàng)公司、中國(guó)的科技巨擘、中東的石油大亨能夠逐夢(mèng)大模型，都得感謝那篇著名的論文：《Attention Is All You Need》。

2017年，8位谷歌的計(jì)算機(jī)科學(xué)家在這篇論文中，向全世界公開(kāi)了Transformer算法。這篇論文目前是人工智能歷史上被引數(shù)量第三高的論文，Transformer的出現(xiàn)則扣動(dòng)了此輪人工智能熱潮的扳機(jī)。

無(wú)論當(dāng)前的大模型是什么國(guó)籍，包括轟動(dòng)世界的GPT系列，都是站在了Transformer的肩膀上。

在此之前，“教機(jī)器讀書(shū)”曾是個(gè)公認(rèn)的學(xué)術(shù)難題。不同于圖像識(shí)別，人類在閱讀文字時(shí)，不僅會(huì)關(guān)注當(dāng)前看到的詞句，更會(huì)結(jié)合上下文來(lái)理解。

比如“Transformer”一詞其實(shí)可翻譯成“變形金剛”，但本文讀者肯定不會(huì)這么理解，因?yàn)榇蠹叶贾肋@不是一篇講好萊塢電影的文章。

但早年神經(jīng)網(wǎng)絡(luò)的輸入都彼此獨(dú)立，并不具備理解一大段文字、甚至整篇文章的能力，所以才會(huì)出現(xiàn)把“開(kāi)水間”翻譯成“open water room”這種問(wèn)題。

直到2014年，在谷歌工作、后來(lái)跳槽去了OpenAI的計(jì)算機(jī)科學(xué)家伊利亞（Ilya Sutskever）率先出了成果。他使用循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）來(lái)處理自然語(yǔ)言，使谷歌翻譯的性能迅速與競(jìng)品拉開(kāi)了差距。

RNN提出了“循環(huán)設(shè)計(jì)”，讓每個(gè)神經(jīng)元既接受當(dāng)前時(shí)刻輸入信息，也接受上一時(shí)刻的輸入信息，進(jìn)而使神經(jīng)網(wǎng)絡(luò)具備了“結(jié)合上下文”的能力。

循環(huán)神經(jīng)網(wǎng)絡(luò)

RNN的出現(xiàn)點(diǎn)燃了學(xué)術(shù)圈的研究熱情，日后Transformer的論文作者沙澤爾（Noam Shazeer）也一度沉迷其中。然而開(kāi)發(fā)者們很快意識(shí)到，RNN存在一個(gè)嚴(yán)重缺陷：

該算法使用了順序計(jì)算，它固然能解決上下文的問(wèn)題，但運(yùn)行效率并不高，很難處理大量的參數(shù)。

RNN的繁瑣設(shè)計(jì)，很快讓沙澤爾感到厭煩。因此從2015年開(kāi)始，沙澤爾和7位同好便著手開(kāi)發(fā)RNN的替代品，其成果便是Transformer[8]。

Noam Shazeer

相比于RNN，Transformer的變革有兩點(diǎn)：

一是用位置編碼的方式取代了RNN的循環(huán)設(shè)計(jì)，從而實(shí)現(xiàn)了并行計(jì)算——這一改變大大提升了Transformer的訓(xùn)練效率，從而變得能夠處理大數(shù)據(jù)，將AI推向了大模型時(shí)代；二是進(jìn)一步加強(qiáng)了上下文的能力。

隨著Transformer一口氣解決了眾多缺陷，它漸漸發(fā)展成了NLP（自然語(yǔ)言處理）的唯一解，頗有種“天不生Transformer，NLP萬(wàn)古如長(zhǎng)夜”的既視感。連伊利亞都拋棄了親手捧上神壇的RNN，轉(zhuǎn)投Transformer。

換句話說(shuō)，Transformer是如今所有大模型的祖師爺，因?yàn)樗尨竽Ｐ蛷囊粋€(gè)理論研究問(wèn)題，變成了一個(gè)純粹的工程問(wèn)題。

LLM技術(shù)發(fā)展樹(shù)狀圖，灰色的樹(shù)根就是Transformer[9]

2019年，OpenAI基于Transformer開(kāi)發(fā)出了GPT-2，一度驚艷了學(xué)術(shù)圈。作為回應(yīng)，谷歌迅速推出了一個(gè)性能更強(qiáng)的AI，名叫Meena。

和GPT-2相比，Meena沒(méi)有底層算法上的革新，僅僅是比GPT-2多了8.5倍的訓(xùn)練參數(shù)、14倍的算力。Transformer論文作者沙澤爾對(duì)“暴力堆砌”大受震撼，當(dāng)場(chǎng)寫(xiě)了篇“Meena吞噬世界”的備忘錄。

Transformer的問(wèn)世，讓學(xué)術(shù)界的底層算法創(chuàng)新速度大大放緩。數(shù)據(jù)工程、算力規(guī)模、模型架構(gòu)等工程要素，日漸成為AI競(jìng)賽的重要?jiǎng)儇?fù)手，只要有點(diǎn)技術(shù)能力的科技公司，都能手搓一個(gè)大模型出來(lái)。

因此，計(jì)算機(jī)科學(xué)家吳恩達(dá)在斯坦福大學(xué)做演講時(shí)，便提到一個(gè)觀點(diǎn)：“AI是一系列工具的集合，包括監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)以及現(xiàn)在的生成式人工智能。所有這些都是通用技術(shù)，與電力和互聯(lián)網(wǎng)等其他通用技術(shù)類似。[10]”

OpenAI固然仍是LLM的風(fēng)向標(biāo)，但半導(dǎo)體分析機(jī)構(gòu)Semi Analysis認(rèn)為，GPT-4的競(jìng)爭(zhēng)力源自工程解決方案——如果開(kāi)源，任何競(jìng)爭(zhēng)對(duì)手都能迅速?gòu)?fù)現(xiàn)。

該分析師預(yù)計(jì)，或許用不了太久，其他大型科技公司也能打造出同等于GPT-4性能的大模型[11]。

建在玻璃上的護(hù)城河

當(dāng)下，“百模大戰(zhàn)”已不再是一種修辭手法，而是客觀現(xiàn)實(shí)。

相關(guān)報(bào)告顯示，截止至今年7月，國(guó)內(nèi)大模型數(shù)量已達(dá)130個(gè)，高于美國(guó)的114個(gè)，成功實(shí)現(xiàn)彎道超車，各種神話傳說(shuō)已經(jīng)快不夠國(guó)內(nèi)科技公司取名的了[12]。

而在中美之外，一眾較為富裕的國(guó)家也初步實(shí)現(xiàn)了“一國(guó)一?！保撼巳毡九c阿聯(lián)酋，還有印度政府主導(dǎo)的大模型Bhashini、韓國(guó)互聯(lián)網(wǎng)公司Naver打造的HyperClova X等等。

眼前這陣仗，仿佛回到了那個(gè)漫天泡沫、“鈔能力”對(duì)轟的互聯(lián)網(wǎng)拓荒時(shí)代。

正如前文所說(shuō)，Transformer讓大模型變成了純粹的工程問(wèn)題，只要有人有錢(qián)有顯卡，剩下的就丟給參數(shù)。但入場(chǎng)券雖不難搞，也并不意味著人人都有機(jī)會(huì)成為AI時(shí)代的BAT。

開(kāi)頭提到的“動(dòng)物戰(zhàn)爭(zhēng)”就是個(gè)典型案例：Falcon雖然在排名上力壓美洲駝，但很難說(shuō)對(duì)Meta造成了多少?zèng)_擊。

眾所周知，企業(yè)開(kāi)源自身的科研成果，既是為了與社會(huì)大眾分享科技的福祉，同樣也希望能調(diào)動(dòng)起人民群眾的智慧。隨著各個(gè)大學(xué)教授、研究機(jī)構(gòu)、中小企業(yè)不斷深入使用、改進(jìn)Llama，Meta可以將這些成果應(yīng)用于自己的產(chǎn)品之中。

對(duì)開(kāi)源大模型而言，活躍的開(kāi)發(fā)者社群才是其核心競(jìng)爭(zhēng)力。

而早在2015年組建AI實(shí)驗(yàn)室時(shí)，Meta已定下了開(kāi)源的主基調(diào)；扎克伯格又是靠社交媒體生意發(fā)的家，更是深諳于“搞好群眾關(guān)系”這件事。

譬如在10月，Meta就專程搞了個(gè)“AI版創(chuàng)作者激勵(lì)”活動(dòng)：使用Llama 2來(lái)解決教育、環(huán)境等社會(huì)問(wèn)題的開(kāi)發(fā)者，將有機(jī)會(huì)獲得50萬(wàn)美金的資助。

時(shí)至今日，Meta的Llama系列儼然已是開(kāi)源LLM的風(fēng)向標(biāo)。

截至10月初，Hugging face的開(kāi)源LLM排行榜Top 10中，共有8個(gè)都是基于Llama 2所打造的，均使用了它的開(kāi)源協(xié)議。僅在Hugging face上，使用了Llama 2開(kāi)源協(xié)議的LLM已經(jīng)超過(guò)了1500個(gè)[13]。

截止至10月初，Hugging face上排名第一的LLM，基于Llama 2打造

當(dāng)然，像Falcon一樣提高性能也未嘗不可，但時(shí)至今日，市面上大多數(shù)LLM仍和GPT-4有著肉眼可見(jiàn)的性能差距。

例如前些日子，GPT-4就以4.41分的成績(jī)問(wèn)鼎AgentBench測(cè)試頭名。AgentBench標(biāo)準(zhǔn)由清華大學(xué)與俄亥俄州立大學(xué)、加州大學(xué)伯克利分校共同推出，用于評(píng)估LLM在多維度開(kāi)放式生成環(huán)境中的推理能力和決策能力，測(cè)試內(nèi)容包括了操作系統(tǒng)、數(shù)據(jù)庫(kù)、知識(shí)圖譜、卡牌對(duì)戰(zhàn)等8個(gè)不同環(huán)境的任務(wù)。

測(cè)試結(jié)果顯示，第二名的Claude僅有2.77分，差距仍較為明顯。至于那些聲勢(shì)浩大的開(kāi)源LLM，其測(cè)試成績(jī)多在1分上下徘徊，還不到GPT-4的1/4[14]。

AgentBench測(cè)試結(jié)果

要知道，GPT-4發(fā)布于今年3月，這還是全球同行追趕了大半年之后的成績(jī)。而造成這種差距的，是OpenAI“智商密度”極高的科學(xué)家團(tuán)隊(duì)與長(zhǎng)期研究LLM積累下來(lái)的經(jīng)驗(yàn)，因此可以始終遙遙領(lǐng)先。

也就是說(shuō)，大模型的核心能力并不是參數(shù)，而是生態(tài)的建設(shè)（開(kāi)源）或純粹的推理能力（閉源）。

隨著開(kāi)源社區(qū)日漸活躍，各個(gè)LLM的性能可能會(huì)趨同，因?yàn)榇蠹叶荚谑褂孟嗨频哪Ｐ图軜?gòu)與相似的數(shù)據(jù)集。

另一個(gè)更直觀的難題是：除了Midjourney，好像還沒(méi)有哪個(gè)大模型能賺到錢(qián)。

價(jià)值的錨點(diǎn)

今年8月，一篇題為“OpenAI可能會(huì)于2024年底破產(chǎn)”的奇文引起了不少關(guān)注[16]。文章主旨幾乎能用一句話概括：OpenAI的燒錢(qián)速度太快了。

文中提到，自從開(kāi)發(fā)ChatGPT之后，OpenAI的虧損正迅速擴(kuò)大，僅2022年就虧了約5.4億美元，只能等著微軟投資人買(mǎi)單。

文章標(biāo)題雖聳人聽(tīng)聞，卻也講出了一眾大模型提供商的現(xiàn)狀：成本與收入嚴(yán)重失衡。

過(guò)于高昂的成本，導(dǎo)致目前依靠人工智能賺了大錢(qián)的只有英偉達(dá)，頂多再加個(gè)博通。

據(jù)咨詢公司Omdia預(yù)估，英偉達(dá)在今年二季度賣出了超30萬(wàn)塊H100。這是一款A(yù)I芯片，訓(xùn)練AI的效率奇高無(wú)比，全世界的科技公司、科研機(jī)構(gòu)都在搶購(gòu)。如果將賣出的這30萬(wàn)塊H100疊在一起，其重量相當(dāng)于4.5架波音747飛機(jī)[18]。

英偉達(dá)的業(yè)績(jī)也順勢(shì)起飛，同比營(yíng)收暴漲854%，一度驚掉了華爾街的下巴。順帶一提，目前H100在二手市場(chǎng)的價(jià)格已被炒到4-5萬(wàn)美金，但其物料成本僅有約3000美金出頭。

高昂的算力成本已經(jīng)在某種程度上成為了行業(yè)發(fā)展的阻力。紅杉資本曾做過(guò)一筆測(cè)算：全球的科技公司每年預(yù)計(jì)將花費(fèi)2000億美金，用于大模型基礎(chǔ)設(shè)施建設(shè)；相比之下，大模型每年最多只能產(chǎn)生750億美金的收入，中間存在著至少1250億美金的缺口[17]。

黃仁勛與H100

另外，除了Midjourney等少數(shù)個(gè)例，大部分軟件公司在付出了巨大的成本后，還沒(méi)想清楚怎么賺錢(qián)。尤其是行業(yè)的兩位帶頭大哥——微軟和Adobe都走的有些踉蹌。

微軟和OpenAI曾合作開(kāi)發(fā)了一個(gè)AI代碼生成工具GitHub Copilot，雖然每個(gè)月要收10美元月費(fèi)，但由于設(shè)施成本，微軟反而要倒虧20美元，重度用戶甚至能讓微軟每月倒貼80美元。依此推測(cè)，定價(jià)30美元的Microsoft 365 Copilot，搞不好虧的更多。

無(wú)獨(dú)有偶，剛剛發(fā)布了Firefly AI工具的Adobe，也迅速上線了一個(gè)配套的積分系統(tǒng)，防止用戶重度使用造成公司虧損。一旦有用戶使用了超過(guò)每月分配的積分，Adobe就會(huì)給服務(wù)減速。

要知道微軟和Adobe已經(jīng)是業(yè)務(wù)場(chǎng)景清晰，擁有大量現(xiàn)成付費(fèi)用戶的軟件巨頭。而大部分參數(shù)堆上天的大模型，最大的應(yīng)用場(chǎng)景還是聊天。

不可否認(rèn)的是，如果沒(méi)有OpenAI和ChatGPT的橫空出世，這場(chǎng)AI革命或許壓根不會(huì)發(fā)生；但在當(dāng)下，訓(xùn)練大模型所帶來(lái)的價(jià)值恐怕得打一個(gè)問(wèn)號(hào)。

而且，隨著同質(zhì)化競(jìng)爭(zhēng)加劇，以及市面上的開(kāi)源模型越來(lái)越多，留給單純的大模型供應(yīng)商的空間或許會(huì)更少。

iPhone 4的火爆不是因?yàn)?5nm制程的A4處理器，而是它可以玩植物大戰(zhàn)僵尸和憤怒的小鳥(niǎo)。

參考資料

[1] LLM Leaderboard Gone Wrong，Analytics India Mag

[2] NEC獨(dú)自の大規(guī)模言語(yǔ)モデル（LLM）開(kāi)発の裏側(cè)に迫る

[3] Spread Your Wings: Falcon 180B is here

[4] Abu Dhabi throws a surprise challenger into the AI race，The Economist

[5] TIME 100/AI

[6] OpenAI背后的領(lǐng)袖Ilya Sutskever：一個(gè)計(jì)算機(jī)視覺(jué)、機(jī)器翻譯、游戲和機(jī)器人的變革者，機(jī)器之心

[7] 深度學(xué)習(xí)算法發(fā)展：從多樣到統(tǒng)一，國(guó)金證券

[8] Your AI Friends Have Awoken, With Noam Shazeer，No Priors

[9] Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond，Jingfeng Yang、Hongye Jin等

[10] Andrew Ng: Opportunities in AI - 2023，Stanford Online

[11] GPT-4 Architecture, Infrastructure, Training Dataset, Costs, Vision, MoE，Semi Analysis

[12] IT 2023，賽迪顧問(wèn)

[13] Open LLM Leaderboard，Hugging face

[14] AgentBench: Evaluating LLMs as Agents，Xiao Liu, Hao Yu等

[15] Who Owns the Generative AI Platform，a16z

[16] OpenAI Might Go Bankrupt by the End of 2024，Analytics India Mag

[17] AI’s $200B Question，Sequoia

[18] Nvidia Sold 900 Tons of H100 GPUs Last Quarter, Says Analyst Firm，tomshardware

[19] Character.ai's Noam Shazeer: "Replacing Google - and your mom"，Danny In The Valley

視覺(jué)設(shè)計(jì)：疏睿

責(zé)任編輯：李墨天

本文為轉(zhuǎn)載內(nèi)容，授權(quán)事宜請(qǐng)聯(lián)系原著作權(quán)人。