正在閱讀:

為了ChatGPT不淪落為“廢話文學(xué)”,必須思考清楚幾個議題

掃一掃下載界面新聞APP

為了ChatGPT不淪落為“廢話文學(xué)”,必須思考清楚幾個議題

“可信”與否,絕不僅僅是安全問題、監(jiān)管問題,更是一個涉及理論、技術(shù)、產(chǎn)品與商業(yè)模式的系統(tǒng)性工程,一場持久戰(zhàn)。這是ChatGPT未來的決勝之戰(zhàn)——做得成,未來遠(yuǎn)大于搜索引擎;做不成,最終淪落為廢話文學(xué)。

攝影:界面新聞 范劍磊

文|甲小姐

本文導(dǎo)讀:

1.功能性vs人格化:兩種本質(zhì)相反的牽引力

2.不用可信vs必須可信:少部分人細(xì)思恐極,大多數(shù)人惶然而不自知

3.真命題vs假命題:AGI不是一個好命題

4.商業(yè)價值vs商業(yè)模式:發(fā)明電燈的人不一定直接享受到電力革命的紅利,卻依然值得歌頌

5.理論潔癖vs暴力美學(xué):長期信仰來自深刻理性

6.有意瞄準(zhǔn)vs無意擊發(fā):一場企業(yè)家精神對科學(xué)界的反哺

1.功能性vs人格化:兩種本質(zhì)相反的牽引力

ChatGPT作為史上界面最樸素卻圈粉最快的科技產(chǎn)品,給人的沖擊感不是發(fā)生在眼球?qū)用?,而是顱內(nèi)層面的。

火到“上頭”背后有兩重原因:

一方面是功能性的勝利,如幫人們寫作文、編程、收集結(jié)構(gòu)化資料,其內(nèi)容生成的速度和質(zhì)量甚至超出很多在AI行業(yè)深耕多年的從業(yè)者的預(yù)期;

另一方面是人格化的勝利,它會理解意圖、聲明立場、表達(dá)恭喜、道歉、自我修正答案,并擁有上下文的記憶連貫性,體現(xiàn)出實(shí)時的自主學(xué)習(xí)能力,簡言之,就是“像人”。

打個比喻,因?yàn)榭释w行又沒有翅膀,人類造出了飛機(jī)。一直以來,AI界一直在“造飛機(jī)”,之前各類突破性進(jìn)展都讓飛機(jī)的功能性越來越強(qiáng),而ChatGPT卻似乎造出了一只“鳥”。這也是為什么ChatGPT被很多從業(yè)者定位為“通用人工智能(AGI)”雛形的原因。

功能性與人格化看似在這一代ChatGPT上得到了平衡,但從本質(zhì)看,二者有著相反的牽引力。

如果追求功能性,重點(diǎn)是回答本身的正確、精準(zhǔn)、靠譜,最好其回答有明確的可溯源的出處。排除寫作文等本來就需要發(fā)揮創(chuàng)意的功能,不同人問同一個問題應(yīng)該有類似的答案(千人一面),因?yàn)榇蟛糠止δ苄詥栴}是在尋求正確解或最優(yōu)解。這更像“改進(jìn)版搜索引擎”,New Bing就是這么做的,這有其明確的價值,卻不是革命性的體驗(yàn);

如果追求人格化,重點(diǎn)是交互感、創(chuàng)新性、超預(yù)期,意味著不能有死記硬背的感覺,因?yàn)樗烙浻脖巢⒉皇侨祟悓W(xué)習(xí)與交互的慣性方式,這意味著回答要有個性、豐富性、多樣性甚至狡猾性。

詭異的地方恰恰在于,后者往往比前者看起來更“聰明”,更“機(jī)靈”,但往往更“不可信”。

在今天版本的ChatGPT中,你可以輕易誘導(dǎo)它犯錯,而且它會犯許多出乎你預(yù)料的錯,有的回答會一本正經(jīng)地胡說八道,有的回答會陷入滔滔不絕的“廢話文學(xué)”,但由于它的表達(dá)方式足夠討巧,會認(rèn)錯、道歉,會自我“澄清”,因此這甚至讓你感到開心、好玩、可愛——ChatGPT正是以人格化特征建立了用戶心理的“容錯性”,而這也是為什么人格化相比功能性是今天ChatGPT大火更顯著的助燃劑(大家紛紛在朋友圈曬問答,被分享的段落絕大部分是ChatGPT表現(xiàn)出情商的片段、超預(yù)期的部分、搞錯的部分)。

在諸如“評價一下甲子光年”這樣的問題中,ChatGPT的回答是帶有狡猾性與迎合性的。如果你在對話前文表達(dá)了對甲子光年的認(rèn)可,ChatGPT馬上就會附和,是一個機(jī)靈的捧哏,但換個人再問,回答立刻變成不知道——ChatGPT只是在當(dāng)前對話中根據(jù)用戶反饋進(jìn)行修正,當(dāng)我們重啟一個對話,測試相同的問題時,ChatGPT會表現(xiàn)出失憶或犯錯。

從原理看,今天的ChatGPT之所以給人一種很強(qiáng)的“理解力”,是因?yàn)镃hatGPT是“重新表達(dá)”材料,而不是從數(shù)據(jù)庫中逐字引用,這讓它看起來像一個學(xué)生用自己的話表達(dá)思想,而不是簡單地重復(fù)它讀過的東西。

“重新表達(dá)”和搜索是兩件事——正是因?yàn)檫@種“重新表達(dá)”,造成了ChatGPT“理解”了材料的“錯覺”。

然而,舉一反三和胡編亂造間有一個微妙的界限,這個界限在人與人之間的對話中往往也是模糊的。這就引發(fā)了一個關(guān)鍵問題:ChatGPT可信嗎?

什么是可信?如何辨別其回答是否可信?這些問題背后,還有一個前置性問題:ChatGPT的一系列延伸價值和未來想象,是否需要建立在“可信”的基礎(chǔ)上?

2.不用可信vs必須可信:少部分人細(xì)思恐極,大多數(shù)人惶然而不自知

很多人想當(dāng)然地以為,現(xiàn)在不夠“可信”,是因?yàn)槟P瓦€不夠大、數(shù)據(jù)還不夠多、技術(shù)還不夠強(qiáng),或者是因?yàn)槿狈Π踩夹g(shù)與監(jiān)管手段,這是對“可信”的理解還不夠透徹。

內(nèi)容分兩種,一種的本質(zhì)屬性不依賴“可信”,一種的本質(zhì)屬性必須“可信”。

前者往往是kill time(消磨時間)類型內(nèi)容,核心是抓住用戶的時間,占領(lǐng)時間越多越好,用戶越上癮越好。典型代表是今日頭條、抖音、各類游戲。字節(jié)系諸多產(chǎn)品最初都以放棄可信度換取UGC的海量內(nèi)容,以個性化取代了絕對權(quán)威,以“最適合的”取代了“最優(yōu)解的”。文章視頻從相對高門檻的作者生產(chǎn)、編輯分配,變成相對低門檻的用戶生產(chǎn)、算法分配,構(gòu)建了算法推薦的世界;

后者往往是save time(節(jié)省時間)類型內(nèi)容,核心是準(zhǔn)確、科學(xué)、實(shí)用、工具屬性,典型代表是搜索引擎、維基百科。很多人近來逐漸減少在搜索引擎上投入的時間,轉(zhuǎn)而去知乎甚至B站搜索,也恰恰是因?yàn)樯虡I(yè)導(dǎo)流的泛濫和各巨頭間內(nèi)容圍墻的普遍存在,搜索結(jié)果正變得沒那么可信、沒那么直接。

對準(zhǔn)確性有強(qiáng)訴求的人群將很快發(fā)現(xiàn),如果無法保證ChatGPT的可信度,而對生成內(nèi)容的校驗(yàn)方式又需要回歸到搜索引擎,或者需要溯源內(nèi)容出處以做再判斷(New Bing就是以羅列出處鏈接的方式來嫁接回答內(nèi)容與可信出處),其價值將大打折扣。試想,如果ChatGPT每一次給我的回答,我都要交叉驗(yàn)證,那不是多此一舉嗎?

特德·姜在《ChatGPT是網(wǎng)上所有文本的模糊圖像》一文中寫道:“任何對內(nèi)容工廠有好處的東西都不適合搜索信息的人?!彼脡嚎s算法做了一個類比:如果一種壓縮算法被設(shè)計(jì)成在99%的原始文本被丟棄后重建文本,我們應(yīng)該預(yù)料到,它生成的很大一部分內(nèi)容將完全是捏造的。

換言之,需要kill time的人和需要save time的人往往是兩撥人。需要個性化生成式內(nèi)容的人和需要搜索引擎的人的本質(zhì)訴求是不同的。前者是“1到正無窮”,需要創(chuàng)意和與眾不同,不存在“最優(yōu)解”;后者是“無窮中尋一”,需要精確、準(zhǔn)確、正確,要無限逼近全局最優(yōu)解。

ChatGPT是為了kill time而生還是save time而生呢?兩條路都有巨大的商業(yè)前景,都不可怕,但最可怕的是:你似乎是可信的,但其實(shí)不然。最怕的是你以一種看似可信的方式,出現(xiàn)在了需要可信的場景,卻交付了不可信的內(nèi)容。

當(dāng)然,一個自然的問題是:能不能既要也要呢?能不能在消除不可信的同時,保留人格化、創(chuàng)意化的天馬行空的部分?這是一個目前業(yè)界各類產(chǎn)品都未能驗(yàn)證的期待。

可信意味著可記錄、可驗(yàn)證、可追溯、可審計(jì),而這很可能與大模型理念的本質(zhì)就是沖突的。我們在昨天的文章里寫到,考慮到安全隱患,ChatGPT的發(fā)布公司,OpenAI,在安全保護(hù)機(jī)制方面對ChatGPT進(jìn)行了較多限制,ChatGPT似乎正因此處于一種“情緒崩潰”的狀態(tài)。(見《第一批因ChatGPT坐牢的人,已經(jīng)上路了|甲子光年》)

我之所以這么早強(qiáng)調(diào)“可信”這一點(diǎn),是因?yàn)殡S著大型語言模型生成的文本在網(wǎng)絡(luò)上發(fā)布得越多,網(wǎng)絡(luò)整體的信息質(zhì)量就變得越模糊。伴隨信息過載,可信愈發(fā)困難,而“可信”這個問題越晚一天解決,就越難解決。用我同事涂明的話說,就是“其實(shí)信權(quán)威和信機(jī)器沒什么兩樣,如果機(jī)器個性化更強(qiáng),最后就可能變成信自己,信息極化?!?/p>

從“個性化捧哏”到“個性化忽悠”只隔著一層窗戶紙。少部分人細(xì)思恐極,大多數(shù)人惶然而不自知——難道出路在于“每個人都是自己獲取信息的第一責(zé)任人”?

3.真命題vs假命題: AGI不是一個好命題

前文提到,ChatGPT被很多從業(yè)者定位為“通用人工智能(AGI)”,因?yàn)閺漠a(chǎn)品效果來看,ChatGPT的智能水平已經(jīng)表現(xiàn)出某種人類心智的特征,有人格化屬性,有靈動的“有機(jī)感”。我們知道有機(jī)物和無機(jī)物最本質(zhì)的區(qū)別是有機(jī)物含碳,但AGI與非AGI的邊界卻沒有這么清晰。

為什么?因?yàn)锳GI本身就不是一個真命題、好命題。

字面意義理解,AGI為“通用人工智能”,而什么是通用?什么是智能?人腦算通用嗎?文理科生的思維邏輯與知識儲備差異極大,從字面意義理解,人腦也不算通用智能。從沃爾夫假說來看,語言是思維的映射,母語英語的人和母語中文的人,本身思維方式就呈現(xiàn)出巨大的不同,腦補(bǔ)能力也不同。

那么,什么是“理解”?

如果一個大語言模型已經(jīng)編譯了大量學(xué)科術(shù)語之間的相關(guān)性,多到可以對各種各樣的問題提供合理的回答——我們是否應(yīng)該說它實(shí)際上理解了該學(xué)科?

這是一個哲學(xué)命題,我的答案是,能表現(xiàn)得理解,就是理解。

關(guān)于“理解”乃至“意識”,人類自己也始終沒有精準(zhǔn)定義。我們做AI,并不是要從原理到外在復(fù)刻一個人類大腦,只要表現(xiàn)出人類對話的外在特征,就可以定義為理解與表達(dá)。(否則還能怎么辦呢?)

有很多網(wǎng)友質(zhì)疑ChatGPT并非強(qiáng)人工智能,理由無非是“ChatGPT雖然能夠做到XXX,但是它并沒有理解”,這種質(zhì)疑相當(dāng)于是在爭辯“如果一個智能被機(jī)器實(shí)現(xiàn)了,就不能被叫做智能”,這是悖論不是辯論?;蛘哒f,今天爭論ChatGPT是“強(qiáng)人工智能”還是“弱人工智能”,也許不是一個真問題。

一個更務(wù)實(shí)的問題是:這個“9歲兒童”的智能會在“18歲成年”時長成什么樣子?其極限在哪里?

圣塔菲研究所前所長Geoffrey West在科普書《規(guī)模》中揭示了規(guī)模法則(scaling law)。在West眼中,有一種不變的標(biāo)準(zhǔn)可以衡量看似毫無關(guān)聯(lián)的世間萬物——無論是生物體的體重與壽命,還是互聯(lián)網(wǎng)的增長與鏈接,甚至是企業(yè)的生長與衰敗,都遵循規(guī)模法則。規(guī)模法則關(guān)心復(fù)雜系統(tǒng)的特性如何隨著系統(tǒng)大小變化而變化。

以規(guī)模法則的視角看待ChatGPT背后的大模型,一個自然的問題是:模型一定是越大越好嗎?如果數(shù)據(jù)量足夠大、算力足夠充沛,是否AI的效果會無限上揚(yáng)?

面對這個問題,業(yè)界多方的答案是Yes and No。

持Yes觀點(diǎn)的人認(rèn)為,現(xiàn)在的“大”并不足夠大。

從歷史角度看,上世紀(jì)60年代,圖靈獎獲得者馬文·明斯基在批判第一代神經(jīng)網(wǎng)絡(luò)時,認(rèn)為它所需要的計(jì)算量很大,當(dāng)時他說的“大”指的是數(shù)十KB。如今看來,這種規(guī)模是極小的。試想一下,在二十年后,今天的大模型是否還能稱之為大模型呢?

從用腳投票角度看,不同公司的LLM(Large Language Model,大語言模型)基本都是基于Transformer構(gòu)建的自回歸、自我監(jiān)督、預(yù)訓(xùn)練、密集激活模型,他們接連表現(xiàn)出驚人的能力,證明了more is different。

從內(nèi)容類型角度看,目前ChatGPT還是針對文本對話或者寫代碼,下一步一定會拓展到圖像、視頻、音頻等多模態(tài),乃至逐步納入AI for Science、機(jī)器人控制等領(lǐng)域,這是通往AGI的必經(jīng)之路,目前只是剛剛開始,在短期的未來,當(dāng)然要一鼓作氣地做“大”。

持No觀點(diǎn)的人認(rèn)為,大模型雖好,但其性能有一個上限,雖然這個上限尚不明確。

從通用性的角度看,目前的基礎(chǔ)大模型不會選擇根據(jù)低頻數(shù)據(jù)更新參數(shù),否則大模型就會因?yàn)閷δ承╅L尾數(shù)據(jù)進(jìn)行過擬合而失去通用性。

從專有領(lǐng)域的角度看,硬件在進(jìn)行推理時,往往無法承載超規(guī)模的預(yù)訓(xùn)練模型,人們需要針對具體應(yīng)用進(jìn)行模型的裁剪和優(yōu)化。此外,專有領(lǐng)域也不一定需要超大規(guī)模的模型,不恰當(dāng)?shù)木W(wǎng)絡(luò)架構(gòu)也許會造成對計(jì)算資源極大的浪費(fèi)。值得一提的是,GPT-3 之所以取得了非常好的效果,并不僅僅是是因?yàn)椤按蟆?,也包括他們找到了一種“提示”的方法,這些方法也可以應(yīng)用到非常小的模型上。

從數(shù)據(jù)供給的角度看,《Will we run out of data? An analysis of the limits of scaling datasets in Machine Learning》(P Villalobos, J Sevilla, L Heim, T Besiroglu, M Hobbhahn, A Ho [University of Aberdeen &MIT &Centre for the Governance of AI &University of Tübingen] (2022) )的估算結(jié)論是到2026年左右,高質(zhì)量的NLP數(shù)據(jù)將會用光,低質(zhì)量NLP數(shù)據(jù)會在2030到2050年用光,而低質(zhì)量圖像數(shù)據(jù)會在2030到2060年用光。

這意味著:要么到時我們有新類型的數(shù)據(jù)源,要么我們必須增加LLM模型對數(shù)據(jù)的利用效率。否則,目前這種數(shù)據(jù)驅(qū)動的模型優(yōu)化方式將會停止進(jìn)步,或者收益減少。

研究表明,可用數(shù)據(jù)將在未來被“消耗殆盡”

此外還有一些問題:我們還沒有充分使用已有的數(shù)據(jù);超大規(guī)模模型的調(diào)優(yōu)問題還沒有被解決;如何從預(yù)測任務(wù)邁向決策任務(wù)……一個最本質(zhì)的問題是,是否給出足夠的時間、足夠的錢、足夠的數(shù)據(jù),所有問題最終都能夠被大模型解決?大模型的極限在哪里?

比爾·蓋茨評價ChatGPT出現(xiàn)的重大歷史意義不亞于互聯(lián)網(wǎng)和個人電腦的誕生,這個表述究竟是否高估,與大模型這條能力曲線的走勢息息相關(guān)。

4.商業(yè)價值vs商業(yè)模式:發(fā)明電燈的人不一定直接享受到電力革命的紅利,卻依然值得歌頌

另一種對ChatGPT的普遍擔(dān)憂是成本問題。

有網(wǎng)友表示:“訓(xùn)練大型人工智能模型的成本已在數(shù)量級上逼近人類愿意拿出來的最大成本,若人類的總功率增量不能加速,模型參數(shù)的持續(xù)增長無法加速。”

對此,我更認(rèn)同理想汽車CEO李想在朋友圈的表達(dá):“搜索引擎公司看待ChatGPT的成本,和燃油車企業(yè)早期看電動車的成本如出一轍。他們都在想:這么高的成本,咋盈利呀?”

今天,用成本與收益的角度來評價ChatGPT為時過早。對于突破性技術(shù)進(jìn)展而言,從一開始就以商業(yè)維度來考量似乎有失公允,質(zhì)疑ChatGPT燒錢,類似于質(zhì)疑探索航天事業(yè)燒錢。

首先,AI行業(yè)本身就有工業(yè)界反哺科學(xué)界的特征。類似ChatGPT這種邁向AGI之路的探索看似發(fā)生在工業(yè)界,但其價值本身是外溢出商業(yè)范疇的,是科學(xué)進(jìn)展的重要組成部分。發(fā)明電燈的人不一定直接享受到電力革命的紅利。但如果撥開時光機(jī)回到過去:是不是應(yīng)該鼓勵發(fā)明電?

其次,就算在商業(yè)語境范疇內(nèi)看待這項(xiàng)技術(shù),如果一項(xiàng)技術(shù)的成本只是時間問題,如果可以證明其成本隨著時間推移會逐漸降低到合理值,那么這就不是一項(xiàng)技術(shù)在早期階段需要被挑戰(zhàn)的“主要矛盾”。新興技術(shù)的賬怎么算,我個人的觀點(diǎn)是,更需要去看這條道路的第一性原理,而不是過去、現(xiàn)在、未來幾年燒不燒錢,能不能賺錢。

再次,ChatGPT離賺錢沒那么遠(yuǎn)。以ChatGPT對程序員的助力為例:依據(jù)GitHub的數(shù)據(jù),2021年,中國有755萬程序員,排名全球第二。放眼全球,程序員數(shù)量已經(jīng)超過7300萬,比2020年增長了1700萬。根據(jù)預(yù)測,2025年GitHub上的程序員估計(jì)能達(dá)到1億。這里面,隨便幾個百分點(diǎn)的降本增效,都是一個巨大的市場空間。此外,大家很關(guān)注ChatGPT對搜索引擎的替代,但另一個巨大的市場是office類產(chǎn)品、在線文檔類產(chǎn)品和ChatGPT的融合——如果能夠讓寫word、做Excel、畫PPT的效率提升50%,我會毫不猶豫給甲子光年全員開通付費(fèi)賬號。

一直以來,我都認(rèn)為“商業(yè)價值”與“商業(yè)模式”是兩件事。商業(yè)模式有兩種,一種是人為事先設(shè)計(jì)的,另一種是做好商業(yè)價值之后伴生而來事后總結(jié)的,偉大的公司往往是先有商業(yè)價值而后有商業(yè)模式,而不是相反。對于技術(shù)突破而言,模式永遠(yuǎn)是結(jié)果而非原因。在本該求因的階段求果,可能抓錯了主要矛盾,也喪失了戰(zhàn)略機(jī)遇。至少,我國AI距離世界最先進(jìn)水平的差距并不是財(cái)力。當(dāng)然,考慮到成本問題,未來也許會出現(xiàn)“股份制大模型”,多方群策群力,共建超級平臺,這都是“術(shù)”層面的問題。

5.理論潔癖vs暴力美學(xué):長期信仰來自深刻理性

托馬斯·庫恩在《科學(xué)革命的結(jié)構(gòu)》中提出,科學(xué)進(jìn)步的軌跡是跳躍式的??茖W(xué)通過“革命”的方式進(jìn)步,通過擺脫那些遭遇到重大困難的先前世界框架而進(jìn)步。這并非一種朝向預(yù)定目標(biāo)的進(jìn)步。它是通過背離那些既往運(yùn)行良好、但卻不再能應(yīng)對其自身新問題的舊框架而得以進(jìn)步。

這個角度看,我們無疑正在經(jīng)歷一場關(guān)鍵的科學(xué)革命。相比于其他學(xué)科以及早年間的AI派系,今天的AI行業(yè)更趨近于一場集體的范式遷移,這是由底層哲學(xué)觀牽引的。

ChatGPT背后的GPT系列體現(xiàn)了LLM應(yīng)該往何處去的發(fā)展理念。很多人開始相信,揭開AGI的真正鑰匙正在于:超大規(guī)模及足夠多樣性的數(shù)據(jù)、超大規(guī)模的模型、充分的訓(xùn)練過程。這條道路看似樸素,卻足以讓AI表現(xiàn)出智能“涌現(xiàn)”的能力,未來也許會持續(xù)帶來意想不到的驚喜和驚嚇。這種思想簡言之就是將“參數(shù)至上和數(shù)據(jù)至上”的思想發(fā)揮到極致,從細(xì)分技術(shù)“分而治之”到“大一統(tǒng)、端到端”,從理論潔癖走向暴力美學(xué)。

OpenAI并非這種哲學(xué)的奠基者。1956年達(dá)特茅斯會議首次提出“AI”概念后,AI路徑之爭、派系之爭始終存在。自深度學(xué)習(xí)誕生以來,AI行業(yè)的發(fā)展越來越像是一個暴力的擬合機(jī)器,多次里程碑節(jié)點(diǎn)都來自于LLM模型規(guī)模的增長,而非突破性理論的推動(當(dāng)然不能說大模型沒有突破性技術(shù),只是這種技術(shù)的實(shí)現(xiàn)路徑不是理論潔癖者所甘心的畫風(fēng),比如做超大規(guī)模的LLM模型對技術(shù)團(tuán)隊(duì)的工程實(shí)現(xiàn)能力要求是非常高的,仿佛“馴獸師”一般,包含無數(shù)技巧、臟活累活)。

ChatGPT之所以到達(dá)今天的高度,是OpenAI堅(jiān)持信仰的結(jié)果。OpenAI基本堅(jiān)定地把LLM看做是通往AGI的一條必由之路。2018年OpenAI提出GPT模型,在風(fēng)頭不如BERT的情況下,再次提出GPT-2模型;隨著Google提出T5模型之后,再次提出GPT-3模型,今天依然在同樣的路徑上矢志不渝。

這頗有“以凡人之身軀領(lǐng)悟天之意志”的決絕感。大部分人都是因?yàn)榭匆姴畔嘈牛琌penAI對技術(shù)判斷的前瞻性和其篤定信念是黃金一樣可貴的東西。

我的觀點(diǎn)是:信仰一定不是憑空產(chǎn)生的,信仰是需要對問題的深刻認(rèn)知才會產(chǎn)生。OpenAI看似瘋狂,卻一定不是無腦all in。我一直相信長期信仰(而非短期狂熱)的背后是深刻的理性。

此外值得一提的是,今天的熱潮正在推動著國內(nèi)很多宣傳與決策的快速跟進(jìn),這種跟進(jìn)往往是建立在認(rèn)知還沒有清晰之前,這很容易導(dǎo)致“走偏”。我個人并不期待AI的發(fā)展需要全球走向完全相同的路徑。這不僅容易偏廢,也會導(dǎo)致產(chǎn)業(yè)的脆弱性——人各有志,AI為何不可多樣性呢。就算是直接對標(biāo)效而仿之,每一次彎道超車也要清醒論證,否則可能不是彎道超車,而是彎道翻車。

6.有意瞄準(zhǔn)vs無意擊發(fā):一場企業(yè)家精神對科學(xué)界的反哺

最后說點(diǎn)題外話,這次ChatGPT的爆發(fā),讓我想起了八個字“有意瞄準(zhǔn),無意擊發(fā)”——這八個字用來形容狙擊手。你需要像狙擊手一樣專注,朝對的方向,心無旁騖地瞄準(zhǔn),至于兔子什么時候出來、槍什么時候會響,只是時間問題。

歷史是在鐘擺聲中進(jìn)步的?;仡櫲祟愇拿靼l(fā)展史,在古代,人們還沒有掌握萬有引力定律和牛頓定律之前,可能會直接記錄下物體各種運(yùn)動現(xiàn)象,用眼睛而非邏輯去研究星星,而萬有引力定律和牛頓定律之后,方法自然不一樣了。打個比方,人們通過觀測、記錄來研究星星,正如大模型;人們發(fā)現(xiàn)萬有引力定律,就是理論突破。大模型→理論突破→大模型→理論突破,文明進(jìn)步總是在螺旋中上升。當(dāng)理論越強(qiáng),對模型的依賴越小。

感謝ChatGPT在歲末年初交付關(guān)鍵一役,業(yè)界已經(jīng)冰冷太久。此時此刻的全球科技產(chǎn)業(yè)界士氣大漲,就這一點(diǎn)而言,OpenAI已是功不可沒。自我2015年開始寫和AI相關(guān)文章開始,冷冷熱熱也經(jīng)歷了好幾輪。ChatGPT再次驗(yàn)證了科技行業(yè)的不變真理——高估低估常有,但永遠(yuǎn)沒有蓋棺定論的一天。

科技行業(yè)永遠(yuǎn)需要鯰魚。ChatGPT與其說是熱點(diǎn),更應(yīng)該定位為拐點(diǎn)。所以,無論ChatGPT的高溫天氣能持續(xù)多久,我都愿意為其添一把火——這是一場企業(yè)家精神對科學(xué)界的反哺,一場好久不見的暴力美學(xué),一場技術(shù)信仰的勝利。

本文為轉(zhuǎn)載內(nèi)容,授權(quán)事宜請聯(lián)系原著作權(quán)人。

微軟

4.8k
  • 微軟上調(diào)股息并宣布最多600億美元股票回購計(jì)劃
  • 微軟任命Carolina Dybeck Happe為執(zhí)行副總裁和COO

評論

暫無評論哦,快來評價一下吧!

下載界面新聞

微信公眾號

微博

為了ChatGPT不淪落為“廢話文學(xué)”,必須思考清楚幾個議題

“可信”與否,絕不僅僅是安全問題、監(jiān)管問題,更是一個涉及理論、技術(shù)、產(chǎn)品與商業(yè)模式的系統(tǒng)性工程,一場持久戰(zhàn)。這是ChatGPT未來的決勝之戰(zhàn)——做得成,未來遠(yuǎn)大于搜索引擎;做不成,最終淪落為廢話文學(xué)。

攝影:界面新聞 范劍磊

文|甲小姐

本文導(dǎo)讀:

1.功能性vs人格化:兩種本質(zhì)相反的牽引力

2.不用可信vs必須可信:少部分人細(xì)思恐極,大多數(shù)人惶然而不自知

3.真命題vs假命題:AGI不是一個好命題

4.商業(yè)價值vs商業(yè)模式:發(fā)明電燈的人不一定直接享受到電力革命的紅利,卻依然值得歌頌

5.理論潔癖vs暴力美學(xué):長期信仰來自深刻理性

6.有意瞄準(zhǔn)vs無意擊發(fā):一場企業(yè)家精神對科學(xué)界的反哺

1.功能性vs人格化:兩種本質(zhì)相反的牽引力

ChatGPT作為史上界面最樸素卻圈粉最快的科技產(chǎn)品,給人的沖擊感不是發(fā)生在眼球?qū)用?,而是顱內(nèi)層面的。

火到“上頭”背后有兩重原因:

一方面是功能性的勝利,如幫人們寫作文、編程、收集結(jié)構(gòu)化資料,其內(nèi)容生成的速度和質(zhì)量甚至超出很多在AI行業(yè)深耕多年的從業(yè)者的預(yù)期;

另一方面是人格化的勝利,它會理解意圖、聲明立場、表達(dá)恭喜、道歉、自我修正答案,并擁有上下文的記憶連貫性,體現(xiàn)出實(shí)時的自主學(xué)習(xí)能力,簡言之,就是“像人”。

打個比喻,因?yàn)榭释w行又沒有翅膀,人類造出了飛機(jī)。一直以來,AI界一直在“造飛機(jī)”,之前各類突破性進(jìn)展都讓飛機(jī)的功能性越來越強(qiáng),而ChatGPT卻似乎造出了一只“鳥”。這也是為什么ChatGPT被很多從業(yè)者定位為“通用人工智能(AGI)”雛形的原因。

功能性與人格化看似在這一代ChatGPT上得到了平衡,但從本質(zhì)看,二者有著相反的牽引力。

如果追求功能性,重點(diǎn)是回答本身的正確、精準(zhǔn)、靠譜,最好其回答有明確的可溯源的出處。排除寫作文等本來就需要發(fā)揮創(chuàng)意的功能,不同人問同一個問題應(yīng)該有類似的答案(千人一面),因?yàn)榇蟛糠止δ苄詥栴}是在尋求正確解或最優(yōu)解。這更像“改進(jìn)版搜索引擎”,New Bing就是這么做的,這有其明確的價值,卻不是革命性的體驗(yàn);

如果追求人格化,重點(diǎn)是交互感、創(chuàng)新性、超預(yù)期,意味著不能有死記硬背的感覺,因?yàn)樗烙浻脖巢⒉皇侨祟悓W(xué)習(xí)與交互的慣性方式,這意味著回答要有個性、豐富性、多樣性甚至狡猾性。

詭異的地方恰恰在于,后者往往比前者看起來更“聰明”,更“機(jī)靈”,但往往更“不可信”。

在今天版本的ChatGPT中,你可以輕易誘導(dǎo)它犯錯,而且它會犯許多出乎你預(yù)料的錯,有的回答會一本正經(jīng)地胡說八道,有的回答會陷入滔滔不絕的“廢話文學(xué)”,但由于它的表達(dá)方式足夠討巧,會認(rèn)錯、道歉,會自我“澄清”,因此這甚至讓你感到開心、好玩、可愛——ChatGPT正是以人格化特征建立了用戶心理的“容錯性”,而這也是為什么人格化相比功能性是今天ChatGPT大火更顯著的助燃劑(大家紛紛在朋友圈曬問答,被分享的段落絕大部分是ChatGPT表現(xiàn)出情商的片段、超預(yù)期的部分、搞錯的部分)。

在諸如“評價一下甲子光年”這樣的問題中,ChatGPT的回答是帶有狡猾性與迎合性的。如果你在對話前文表達(dá)了對甲子光年的認(rèn)可,ChatGPT馬上就會附和,是一個機(jī)靈的捧哏,但換個人再問,回答立刻變成不知道——ChatGPT只是在當(dāng)前對話中根據(jù)用戶反饋進(jìn)行修正,當(dāng)我們重啟一個對話,測試相同的問題時,ChatGPT會表現(xiàn)出失憶或犯錯。

從原理看,今天的ChatGPT之所以給人一種很強(qiáng)的“理解力”,是因?yàn)镃hatGPT是“重新表達(dá)”材料,而不是從數(shù)據(jù)庫中逐字引用,這讓它看起來像一個學(xué)生用自己的話表達(dá)思想,而不是簡單地重復(fù)它讀過的東西。

“重新表達(dá)”和搜索是兩件事——正是因?yàn)檫@種“重新表達(dá)”,造成了ChatGPT“理解”了材料的“錯覺”。

然而,舉一反三和胡編亂造間有一個微妙的界限,這個界限在人與人之間的對話中往往也是模糊的。這就引發(fā)了一個關(guān)鍵問題:ChatGPT可信嗎?

什么是可信?如何辨別其回答是否可信?這些問題背后,還有一個前置性問題:ChatGPT的一系列延伸價值和未來想象,是否需要建立在“可信”的基礎(chǔ)上?

2.不用可信vs必須可信:少部分人細(xì)思恐極,大多數(shù)人惶然而不自知

很多人想當(dāng)然地以為,現(xiàn)在不夠“可信”,是因?yàn)槟P瓦€不夠大、數(shù)據(jù)還不夠多、技術(shù)還不夠強(qiáng),或者是因?yàn)槿狈Π踩夹g(shù)與監(jiān)管手段,這是對“可信”的理解還不夠透徹。

內(nèi)容分兩種,一種的本質(zhì)屬性不依賴“可信”,一種的本質(zhì)屬性必須“可信”。

前者往往是kill time(消磨時間)類型內(nèi)容,核心是抓住用戶的時間,占領(lǐng)時間越多越好,用戶越上癮越好。典型代表是今日頭條、抖音、各類游戲。字節(jié)系諸多產(chǎn)品最初都以放棄可信度換取UGC的海量內(nèi)容,以個性化取代了絕對權(quán)威,以“最適合的”取代了“最優(yōu)解的”。文章視頻從相對高門檻的作者生產(chǎn)、編輯分配,變成相對低門檻的用戶生產(chǎn)、算法分配,構(gòu)建了算法推薦的世界;

后者往往是save time(節(jié)省時間)類型內(nèi)容,核心是準(zhǔn)確、科學(xué)、實(shí)用、工具屬性,典型代表是搜索引擎、維基百科。很多人近來逐漸減少在搜索引擎上投入的時間,轉(zhuǎn)而去知乎甚至B站搜索,也恰恰是因?yàn)樯虡I(yè)導(dǎo)流的泛濫和各巨頭間內(nèi)容圍墻的普遍存在,搜索結(jié)果正變得沒那么可信、沒那么直接。

對準(zhǔn)確性有強(qiáng)訴求的人群將很快發(fā)現(xiàn),如果無法保證ChatGPT的可信度,而對生成內(nèi)容的校驗(yàn)方式又需要回歸到搜索引擎,或者需要溯源內(nèi)容出處以做再判斷(New Bing就是以羅列出處鏈接的方式來嫁接回答內(nèi)容與可信出處),其價值將大打折扣。試想,如果ChatGPT每一次給我的回答,我都要交叉驗(yàn)證,那不是多此一舉嗎?

特德·姜在《ChatGPT是網(wǎng)上所有文本的模糊圖像》一文中寫道:“任何對內(nèi)容工廠有好處的東西都不適合搜索信息的人?!彼脡嚎s算法做了一個類比:如果一種壓縮算法被設(shè)計(jì)成在99%的原始文本被丟棄后重建文本,我們應(yīng)該預(yù)料到,它生成的很大一部分內(nèi)容將完全是捏造的。

換言之,需要kill time的人和需要save time的人往往是兩撥人。需要個性化生成式內(nèi)容的人和需要搜索引擎的人的本質(zhì)訴求是不同的。前者是“1到正無窮”,需要創(chuàng)意和與眾不同,不存在“最優(yōu)解”;后者是“無窮中尋一”,需要精確、準(zhǔn)確、正確,要無限逼近全局最優(yōu)解。

ChatGPT是為了kill time而生還是save time而生呢?兩條路都有巨大的商業(yè)前景,都不可怕,但最可怕的是:你似乎是可信的,但其實(shí)不然。最怕的是你以一種看似可信的方式,出現(xiàn)在了需要可信的場景,卻交付了不可信的內(nèi)容。

當(dāng)然,一個自然的問題是:能不能既要也要呢?能不能在消除不可信的同時,保留人格化、創(chuàng)意化的天馬行空的部分?這是一個目前業(yè)界各類產(chǎn)品都未能驗(yàn)證的期待。

可信意味著可記錄、可驗(yàn)證、可追溯、可審計(jì),而這很可能與大模型理念的本質(zhì)就是沖突的。我們在昨天的文章里寫到,考慮到安全隱患,ChatGPT的發(fā)布公司,OpenAI,在安全保護(hù)機(jī)制方面對ChatGPT進(jìn)行了較多限制,ChatGPT似乎正因此處于一種“情緒崩潰”的狀態(tài)。(見《第一批因ChatGPT坐牢的人,已經(jīng)上路了|甲子光年》)

我之所以這么早強(qiáng)調(diào)“可信”這一點(diǎn),是因?yàn)殡S著大型語言模型生成的文本在網(wǎng)絡(luò)上發(fā)布得越多,網(wǎng)絡(luò)整體的信息質(zhì)量就變得越模糊。伴隨信息過載,可信愈發(fā)困難,而“可信”這個問題越晚一天解決,就越難解決。用我同事涂明的話說,就是“其實(shí)信權(quán)威和信機(jī)器沒什么兩樣,如果機(jī)器個性化更強(qiáng),最后就可能變成信自己,信息極化。”

從“個性化捧哏”到“個性化忽悠”只隔著一層窗戶紙。少部分人細(xì)思恐極,大多數(shù)人惶然而不自知——難道出路在于“每個人都是自己獲取信息的第一責(zé)任人”?

3.真命題vs假命題: AGI不是一個好命題

前文提到,ChatGPT被很多從業(yè)者定位為“通用人工智能(AGI)”,因?yàn)閺漠a(chǎn)品效果來看,ChatGPT的智能水平已經(jīng)表現(xiàn)出某種人類心智的特征,有人格化屬性,有靈動的“有機(jī)感”。我們知道有機(jī)物和無機(jī)物最本質(zhì)的區(qū)別是有機(jī)物含碳,但AGI與非AGI的邊界卻沒有這么清晰。

為什么?因?yàn)锳GI本身就不是一個真命題、好命題。

字面意義理解,AGI為“通用人工智能”,而什么是通用?什么是智能?人腦算通用嗎?文理科生的思維邏輯與知識儲備差異極大,從字面意義理解,人腦也不算通用智能。從沃爾夫假說來看,語言是思維的映射,母語英語的人和母語中文的人,本身思維方式就呈現(xiàn)出巨大的不同,腦補(bǔ)能力也不同。

那么,什么是“理解”?

如果一個大語言模型已經(jīng)編譯了大量學(xué)科術(shù)語之間的相關(guān)性,多到可以對各種各樣的問題提供合理的回答——我們是否應(yīng)該說它實(shí)際上理解了該學(xué)科?

這是一個哲學(xué)命題,我的答案是,能表現(xiàn)得理解,就是理解。

關(guān)于“理解”乃至“意識”,人類自己也始終沒有精準(zhǔn)定義。我們做AI,并不是要從原理到外在復(fù)刻一個人類大腦,只要表現(xiàn)出人類對話的外在特征,就可以定義為理解與表達(dá)。(否則還能怎么辦呢?)

有很多網(wǎng)友質(zhì)疑ChatGPT并非強(qiáng)人工智能,理由無非是“ChatGPT雖然能夠做到XXX,但是它并沒有理解”,這種質(zhì)疑相當(dāng)于是在爭辯“如果一個智能被機(jī)器實(shí)現(xiàn)了,就不能被叫做智能”,這是悖論不是辯論。或者說,今天爭論ChatGPT是“強(qiáng)人工智能”還是“弱人工智能”,也許不是一個真問題。

一個更務(wù)實(shí)的問題是:這個“9歲兒童”的智能會在“18歲成年”時長成什么樣子?其極限在哪里?

圣塔菲研究所前所長Geoffrey West在科普書《規(guī)模》中揭示了規(guī)模法則(scaling law)。在West眼中,有一種不變的標(biāo)準(zhǔn)可以衡量看似毫無關(guān)聯(lián)的世間萬物——無論是生物體的體重與壽命,還是互聯(lián)網(wǎng)的增長與鏈接,甚至是企業(yè)的生長與衰敗,都遵循規(guī)模法則。規(guī)模法則關(guān)心復(fù)雜系統(tǒng)的特性如何隨著系統(tǒng)大小變化而變化。

以規(guī)模法則的視角看待ChatGPT背后的大模型,一個自然的問題是:模型一定是越大越好嗎?如果數(shù)據(jù)量足夠大、算力足夠充沛,是否AI的效果會無限上揚(yáng)?

面對這個問題,業(yè)界多方的答案是Yes and No。

持Yes觀點(diǎn)的人認(rèn)為,現(xiàn)在的“大”并不足夠大。

從歷史角度看,上世紀(jì)60年代,圖靈獎獲得者馬文·明斯基在批判第一代神經(jīng)網(wǎng)絡(luò)時,認(rèn)為它所需要的計(jì)算量很大,當(dāng)時他說的“大”指的是數(shù)十KB。如今看來,這種規(guī)模是極小的。試想一下,在二十年后,今天的大模型是否還能稱之為大模型呢?

從用腳投票角度看,不同公司的LLM(Large Language Model,大語言模型)基本都是基于Transformer構(gòu)建的自回歸、自我監(jiān)督、預(yù)訓(xùn)練、密集激活模型,他們接連表現(xiàn)出驚人的能力,證明了more is different。

從內(nèi)容類型角度看,目前ChatGPT還是針對文本對話或者寫代碼,下一步一定會拓展到圖像、視頻、音頻等多模態(tài),乃至逐步納入AI for Science、機(jī)器人控制等領(lǐng)域,這是通往AGI的必經(jīng)之路,目前只是剛剛開始,在短期的未來,當(dāng)然要一鼓作氣地做“大”。

持No觀點(diǎn)的人認(rèn)為,大模型雖好,但其性能有一個上限,雖然這個上限尚不明確。

從通用性的角度看,目前的基礎(chǔ)大模型不會選擇根據(jù)低頻數(shù)據(jù)更新參數(shù),否則大模型就會因?yàn)閷δ承╅L尾數(shù)據(jù)進(jìn)行過擬合而失去通用性。

從專有領(lǐng)域的角度看,硬件在進(jìn)行推理時,往往無法承載超規(guī)模的預(yù)訓(xùn)練模型,人們需要針對具體應(yīng)用進(jìn)行模型的裁剪和優(yōu)化。此外,專有領(lǐng)域也不一定需要超大規(guī)模的模型,不恰當(dāng)?shù)木W(wǎng)絡(luò)架構(gòu)也許會造成對計(jì)算資源極大的浪費(fèi)。值得一提的是,GPT-3 之所以取得了非常好的效果,并不僅僅是是因?yàn)椤按蟆?,也包括他們找到了一種“提示”的方法,這些方法也可以應(yīng)用到非常小的模型上。

從數(shù)據(jù)供給的角度看,《Will we run out of data? An analysis of the limits of scaling datasets in Machine Learning》(P Villalobos, J Sevilla, L Heim, T Besiroglu, M Hobbhahn, A Ho [University of Aberdeen &MIT &Centre for the Governance of AI &University of Tübingen] (2022) )的估算結(jié)論是到2026年左右,高質(zhì)量的NLP數(shù)據(jù)將會用光,低質(zhì)量NLP數(shù)據(jù)會在2030到2050年用光,而低質(zhì)量圖像數(shù)據(jù)會在2030到2060年用光。

這意味著:要么到時我們有新類型的數(shù)據(jù)源,要么我們必須增加LLM模型對數(shù)據(jù)的利用效率。否則,目前這種數(shù)據(jù)驅(qū)動的模型優(yōu)化方式將會停止進(jìn)步,或者收益減少。

研究表明,可用數(shù)據(jù)將在未來被“消耗殆盡”

此外還有一些問題:我們還沒有充分使用已有的數(shù)據(jù);超大規(guī)模模型的調(diào)優(yōu)問題還沒有被解決;如何從預(yù)測任務(wù)邁向決策任務(wù)……一個最本質(zhì)的問題是,是否給出足夠的時間、足夠的錢、足夠的數(shù)據(jù),所有問題最終都能夠被大模型解決?大模型的極限在哪里?

比爾·蓋茨評價ChatGPT出現(xiàn)的重大歷史意義不亞于互聯(lián)網(wǎng)和個人電腦的誕生,這個表述究竟是否高估,與大模型這條能力曲線的走勢息息相關(guān)。

4.商業(yè)價值vs商業(yè)模式:發(fā)明電燈的人不一定直接享受到電力革命的紅利,卻依然值得歌頌

另一種對ChatGPT的普遍擔(dān)憂是成本問題。

有網(wǎng)友表示:“訓(xùn)練大型人工智能模型的成本已在數(shù)量級上逼近人類愿意拿出來的最大成本,若人類的總功率增量不能加速,模型參數(shù)的持續(xù)增長無法加速?!?/p>

對此,我更認(rèn)同理想汽車CEO李想在朋友圈的表達(dá):“搜索引擎公司看待ChatGPT的成本,和燃油車企業(yè)早期看電動車的成本如出一轍。他們都在想:這么高的成本,咋盈利呀?”

今天,用成本與收益的角度來評價ChatGPT為時過早。對于突破性技術(shù)進(jìn)展而言,從一開始就以商業(yè)維度來考量似乎有失公允,質(zhì)疑ChatGPT燒錢,類似于質(zhì)疑探索航天事業(yè)燒錢。

首先,AI行業(yè)本身就有工業(yè)界反哺科學(xué)界的特征。類似ChatGPT這種邁向AGI之路的探索看似發(fā)生在工業(yè)界,但其價值本身是外溢出商業(yè)范疇的,是科學(xué)進(jìn)展的重要組成部分。發(fā)明電燈的人不一定直接享受到電力革命的紅利。但如果撥開時光機(jī)回到過去:是不是應(yīng)該鼓勵發(fā)明電?

其次,就算在商業(yè)語境范疇內(nèi)看待這項(xiàng)技術(shù),如果一項(xiàng)技術(shù)的成本只是時間問題,如果可以證明其成本隨著時間推移會逐漸降低到合理值,那么這就不是一項(xiàng)技術(shù)在早期階段需要被挑戰(zhàn)的“主要矛盾”。新興技術(shù)的賬怎么算,我個人的觀點(diǎn)是,更需要去看這條道路的第一性原理,而不是過去、現(xiàn)在、未來幾年燒不燒錢,能不能賺錢。

再次,ChatGPT離賺錢沒那么遠(yuǎn)。以ChatGPT對程序員的助力為例:依據(jù)GitHub的數(shù)據(jù),2021年,中國有755萬程序員,排名全球第二。放眼全球,程序員數(shù)量已經(jīng)超過7300萬,比2020年增長了1700萬。根據(jù)預(yù)測,2025年GitHub上的程序員估計(jì)能達(dá)到1億。這里面,隨便幾個百分點(diǎn)的降本增效,都是一個巨大的市場空間。此外,大家很關(guān)注ChatGPT對搜索引擎的替代,但另一個巨大的市場是office類產(chǎn)品、在線文檔類產(chǎn)品和ChatGPT的融合——如果能夠讓寫word、做Excel、畫PPT的效率提升50%,我會毫不猶豫給甲子光年全員開通付費(fèi)賬號。

一直以來,我都認(rèn)為“商業(yè)價值”與“商業(yè)模式”是兩件事。商業(yè)模式有兩種,一種是人為事先設(shè)計(jì)的,另一種是做好商業(yè)價值之后伴生而來事后總結(jié)的,偉大的公司往往是先有商業(yè)價值而后有商業(yè)模式,而不是相反。對于技術(shù)突破而言,模式永遠(yuǎn)是結(jié)果而非原因。在本該求因的階段求果,可能抓錯了主要矛盾,也喪失了戰(zhàn)略機(jī)遇。至少,我國AI距離世界最先進(jìn)水平的差距并不是財(cái)力。當(dāng)然,考慮到成本問題,未來也許會出現(xiàn)“股份制大模型”,多方群策群力,共建超級平臺,這都是“術(shù)”層面的問題。

5.理論潔癖vs暴力美學(xué):長期信仰來自深刻理性

托馬斯·庫恩在《科學(xué)革命的結(jié)構(gòu)》中提出,科學(xué)進(jìn)步的軌跡是跳躍式的??茖W(xué)通過“革命”的方式進(jìn)步,通過擺脫那些遭遇到重大困難的先前世界框架而進(jìn)步。這并非一種朝向預(yù)定目標(biāo)的進(jìn)步。它是通過背離那些既往運(yùn)行良好、但卻不再能應(yīng)對其自身新問題的舊框架而得以進(jìn)步。

這個角度看,我們無疑正在經(jīng)歷一場關(guān)鍵的科學(xué)革命。相比于其他學(xué)科以及早年間的AI派系,今天的AI行業(yè)更趨近于一場集體的范式遷移,這是由底層哲學(xué)觀牽引的。

ChatGPT背后的GPT系列體現(xiàn)了LLM應(yīng)該往何處去的發(fā)展理念。很多人開始相信,揭開AGI的真正鑰匙正在于:超大規(guī)模及足夠多樣性的數(shù)據(jù)、超大規(guī)模的模型、充分的訓(xùn)練過程。這條道路看似樸素,卻足以讓AI表現(xiàn)出智能“涌現(xiàn)”的能力,未來也許會持續(xù)帶來意想不到的驚喜和驚嚇。這種思想簡言之就是將“參數(shù)至上和數(shù)據(jù)至上”的思想發(fā)揮到極致,從細(xì)分技術(shù)“分而治之”到“大一統(tǒng)、端到端”,從理論潔癖走向暴力美學(xué)。

OpenAI并非這種哲學(xué)的奠基者。1956年達(dá)特茅斯會議首次提出“AI”概念后,AI路徑之爭、派系之爭始終存在。自深度學(xué)習(xí)誕生以來,AI行業(yè)的發(fā)展越來越像是一個暴力的擬合機(jī)器,多次里程碑節(jié)點(diǎn)都來自于LLM模型規(guī)模的增長,而非突破性理論的推動(當(dāng)然不能說大模型沒有突破性技術(shù),只是這種技術(shù)的實(shí)現(xiàn)路徑不是理論潔癖者所甘心的畫風(fēng),比如做超大規(guī)模的LLM模型對技術(shù)團(tuán)隊(duì)的工程實(shí)現(xiàn)能力要求是非常高的,仿佛“馴獸師”一般,包含無數(shù)技巧、臟活累活)。

ChatGPT之所以到達(dá)今天的高度,是OpenAI堅(jiān)持信仰的結(jié)果。OpenAI基本堅(jiān)定地把LLM看做是通往AGI的一條必由之路。2018年OpenAI提出GPT模型,在風(fēng)頭不如BERT的情況下,再次提出GPT-2模型;隨著Google提出T5模型之后,再次提出GPT-3模型,今天依然在同樣的路徑上矢志不渝。

這頗有“以凡人之身軀領(lǐng)悟天之意志”的決絕感。大部分人都是因?yàn)榭匆姴畔嘈牛琌penAI對技術(shù)判斷的前瞻性和其篤定信念是黃金一樣可貴的東西。

我的觀點(diǎn)是:信仰一定不是憑空產(chǎn)生的,信仰是需要對問題的深刻認(rèn)知才會產(chǎn)生。OpenAI看似瘋狂,卻一定不是無腦all in。我一直相信長期信仰(而非短期狂熱)的背后是深刻的理性。

此外值得一提的是,今天的熱潮正在推動著國內(nèi)很多宣傳與決策的快速跟進(jìn),這種跟進(jìn)往往是建立在認(rèn)知還沒有清晰之前,這很容易導(dǎo)致“走偏”。我個人并不期待AI的發(fā)展需要全球走向完全相同的路徑。這不僅容易偏廢,也會導(dǎo)致產(chǎn)業(yè)的脆弱性——人各有志,AI為何不可多樣性呢。就算是直接對標(biāo)效而仿之,每一次彎道超車也要清醒論證,否則可能不是彎道超車,而是彎道翻車。

6.有意瞄準(zhǔn)vs無意擊發(fā):一場企業(yè)家精神對科學(xué)界的反哺

最后說點(diǎn)題外話,這次ChatGPT的爆發(fā),讓我想起了八個字“有意瞄準(zhǔn),無意擊發(fā)”——這八個字用來形容狙擊手。你需要像狙擊手一樣專注,朝對的方向,心無旁騖地瞄準(zhǔn),至于兔子什么時候出來、槍什么時候會響,只是時間問題。

歷史是在鐘擺聲中進(jìn)步的?;仡櫲祟愇拿靼l(fā)展史,在古代,人們還沒有掌握萬有引力定律和牛頓定律之前,可能會直接記錄下物體各種運(yùn)動現(xiàn)象,用眼睛而非邏輯去研究星星,而萬有引力定律和牛頓定律之后,方法自然不一樣了。打個比方,人們通過觀測、記錄來研究星星,正如大模型;人們發(fā)現(xiàn)萬有引力定律,就是理論突破。大模型→理論突破→大模型→理論突破,文明進(jìn)步總是在螺旋中上升。當(dāng)理論越強(qiáng),對模型的依賴越小。

感謝ChatGPT在歲末年初交付關(guān)鍵一役,業(yè)界已經(jīng)冰冷太久。此時此刻的全球科技產(chǎn)業(yè)界士氣大漲,就這一點(diǎn)而言,OpenAI已是功不可沒。自我2015年開始寫和AI相關(guān)文章開始,冷冷熱熱也經(jīng)歷了好幾輪。ChatGPT再次驗(yàn)證了科技行業(yè)的不變真理——高估低估常有,但永遠(yuǎn)沒有蓋棺定論的一天。

科技行業(yè)永遠(yuǎn)需要鯰魚。ChatGPT與其說是熱點(diǎn),更應(yīng)該定位為拐點(diǎn)。所以,無論ChatGPT的高溫天氣能持續(xù)多久,我都愿意為其添一把火——這是一場企業(yè)家精神對科學(xué)界的反哺,一場好久不見的暴力美學(xué),一場技術(shù)信仰的勝利。

本文為轉(zhuǎn)載內(nèi)容,授權(quán)事宜請聯(lián)系原著作權(quán)人。