正在閱讀:

拒絕蓋茨、馬斯克、奧特曼,傳奇程序員的AGI之路

掃一掃下載界面新聞APP

拒絕蓋茨、馬斯克、奧特曼,傳奇程序員的AGI之路

年少財(cái)富自由。

文 | 硅兔賽跑 鄭惠敏

編輯|Zuri

二十幾歲,他憑借幾款創(chuàng)世級(jí)別的3D游戲大賣,實(shí)現(xiàn)財(cái)務(wù)自由。

不差錢的他開始折騰火箭,不幸以失敗告終。

迷上VR,加入成立剛滿一年的Oculus擔(dān)任CTO,一年后原地飛升,被Meta 20億美金收購(gòu)。

作為拒絕過(guò)馬斯克、蓋茨、喬布斯、山姆 奧特曼的男人,

AGI 時(shí)代,他決定再出山,干一票大的。

2022年創(chuàng)立Keen Technologies,另辟蹊徑實(shí)現(xiàn)AGI,獲得紅杉資本、GitHub前CEO、Stripe聯(lián)合創(chuàng)始人、Shopify聯(lián)合創(chuàng)始人兼CEO等2000萬(wàn)美元投資。

他就是70年代出生的編程天才,人稱“卡神”的John Carmack。

01、封“神”之路

小時(shí)候的Carmack,不是個(gè)乖孩子。

沉迷游戲,迷戀電腦,甚至不惜偷竊以滿足對(duì)電腦的渴望,并因此被關(guān)進(jìn)少管所。進(jìn)入高中后因?yàn)椴涣b的個(gè)性又被學(xué)校勒令休學(xué)一年。

因?yàn)樘焐斆?,?fù)學(xué)后的他以4.0的平均績(jī)點(diǎn)順利畢業(yè),進(jìn)入了美國(guó)著名的公立研究型大學(xué)堪薩斯大學(xué)。

但僅僅讀了兩個(gè)學(xué)期,Carmack就厭煩了循規(guī)蹈矩的大學(xué)生活,輟學(xué)進(jìn)入社會(huì)。

從此Carmack過(guò)上了理想的生活,認(rèn)識(shí)了志同道合的伙伴—— 程序員John Romero、游戲設(shè)計(jì)師Tom Hall和畫師Ardian Carmack,四人夜以繼日的敲代碼、開發(fā)游戲,發(fā)布了《指揮官基恩》(Commander Keen)系列游戲的第一部并大爆。Carmack的AGI公司Keen Technologies的名字正式源于此。

作品大爆使他們萌生了創(chuàng)業(yè)念頭,1991年,四人正式成立后來(lái)大名鼎鼎的游戲公司id Software。

1992年,id發(fā)行了射擊游戲《德軍總部》(Wolfenstein 3-D)3D版,這是全球最早的3D第一人稱視角射擊(FPS),開創(chuàng)了FPS這個(gè)前所未有的游戲類別,以3D和射擊的概念讓這款源自80年代的作品重新煥發(fā)生機(jī)。

隔年問(wèn)世的《毀滅戰(zhàn)士》更是成就驚人,它以快節(jié)奏的戰(zhàn)斗、暴力的視覺表現(xiàn)、極強(qiáng)的兼容性成為FPS游戲中王者級(jí)別的存在,奠定了id業(yè)界巔峰的地位,不到一年時(shí)間里就帶來(lái)了上億美元的利潤(rùn),還帶動(dòng)了當(dāng)時(shí)并不便宜的PC銷量。

圖源:PCGamesN

面對(duì)巨大的利益,Carmack做出了一個(gè)令人驚訝的舉動(dòng),他向公眾公布了《毀滅戰(zhàn)士》的部分源代碼,這使得其忠實(shí)粉絲有機(jī)會(huì)修改關(guān)卡和圖形,相當(dāng)于賦予了粉絲二次創(chuàng)作的機(jī)會(huì),這進(jìn)一步引燃了玩家的熱情。

1995年,《毀滅戰(zhàn)士》的裝機(jī)量甚至跑贏了Windows95,讓比爾·蓋茨動(dòng)起了收購(gòu)id的念頭。

被Carmack拒絕后,微軟只好自己動(dòng)手把《毀滅戰(zhàn)士》移植到系統(tǒng)中。蓋茨還親自出鏡,在電視廣告中借著這款游戲售賣自家的Windows系統(tǒng)。

這些風(fēng)靡一時(shí)的佳作讓Carmack在玩家心中封神。

卡神在游戲中運(yùn)用的3D圖形顯示技術(shù)和游戲引擎,后續(xù)也啟發(fā)了Epic Games虛幻引擎和Unity 3D開發(fā)工具的誕生,對(duì)后世游戲產(chǎn)業(yè)產(chǎn)生了深遠(yuǎn)影響。

這里有一個(gè)小插曲,卡神與喬布斯一度關(guān)系甜蜜,二人在id創(chuàng)辦早期便熟識(shí),甚至卡神說(shuō)服了喬布斯使用開源的OpenGL作為蘋果電腦的2D、3D圖形渲染引擎,卡神將之稱為對(duì)PC行業(yè)“最大的間接影響之一”。

喬布斯與卡神|圖源:Variety

但哪怕對(duì)方是喬布斯,卡神特立獨(dú)行起來(lái),也不給面子。據(jù)說(shuō),喬布斯曾想讓卡神推遲原定的婚期,去做一個(gè)重要的主題演講,但遭到了卡神的拒絕。

言歸正傳,對(duì)卡神本人來(lái)說(shuō),游戲作品的暢銷也讓他年紀(jì)輕輕就獲得了大筆財(cái)富,不缺錢的他將目光轉(zhuǎn)向了超級(jí)燒錢的民用航空領(lǐng)域。

2000年,他成立航天公司Armadillo Aerospace以開發(fā)前衛(wèi)的太空探險(xiǎn)項(xiàng)目,并由此結(jié)識(shí)了同樣心系外太空的馬斯克。

圖源:IBTimes UK

兩人惺惺相惜,在卡神的太空事業(yè)步入絕境后,2015年,馬斯克與卡神推特互動(dòng)時(shí),突然邀請(qǐng)卡神加入SpaceX,然而與喬布斯一樣,遭到了卡神的拒絕,因?yàn)?,卡神那時(shí)正全情投入到了VR事業(yè)中。

后來(lái)談起未竟的太空事業(yè),卡神認(rèn)為失敗的部分原因要?dú)w結(jié)于自己未能全力以赴,而馬斯克對(duì)事業(yè)全情投入的精神值得學(xué)習(xí),這讓他決定以后無(wú)論做什么都要全力以赴。

圖源:推特, International Business Times

2013年,卡神離開了一手創(chuàng)立的id Software,加入剛成立不久的Oculus擔(dān)任CTO。入職當(dāng)天,蜂擁而來(lái)的粉絲圍觀讓Oculus的博客系統(tǒng)一度宕機(jī)。2014年,Oculus被Meta 20億美元買下,卡神加入Meta繼續(xù)研究VR。

卡神可謂兢兢業(yè)業(yè):對(duì)公司項(xiàng)目親力親為,負(fù)責(zé)與三星合作開發(fā)Gear VR,一個(gè)扛起需要一整個(gè)團(tuán)隊(duì)完成的工作量;從必須鏈接PC使用的Oculus Rift,到最早的VR一體機(jī)Oculus Go,再到高性價(jià)比的Oculus Quest,以及Oculus的生態(tài)應(yīng)用商店,都有卡神的身影奉獻(xiàn);他對(duì)玩家如春天般溫暖:為了讓用戶能在VR中玩到《我的世界》,他獨(dú)自花費(fèi)一年多時(shí)間將游戲移植到Oculus商店。

但后來(lái),卡神專注技術(shù)、腳踏實(shí)地的作風(fēng)與Meta在元宇宙方面激進(jìn)的策略產(chǎn)生掣肘,導(dǎo)致他在Oculus的重大決策中逐漸喪失了話語(yǔ)權(quán)??ㄉ駥?duì)VR的熱情也被Meta緩慢的運(yùn)營(yíng)效率消磨殆盡。最終,他選擇在合同到期后離開。

02、AGI的召喚:卡神進(jìn)軍人工智能

這一次,讓大神轉(zhuǎn)身的是AGI。

擔(dān)任Oculus CTO期間,OpenAI的三位靈魂人物Sam Altman、Greg Brockman和Ilya Sutskever勸說(shuō)卡神加入OpenAI,一直以來(lái)特立獨(dú)行的卡神不出意料的拒絕了。

但卡神卻看完了Ilya列出的40多篇相關(guān)研究論文,從頭開始,惡補(bǔ)AI算法,在Python才是主流編程語(yǔ)言的情況下,僅閉關(guān)一周時(shí)間就用C++寫出了卷積神經(jīng)網(wǎng)絡(luò)。

2022年,卡神正式下場(chǎng),成立了AGI公司Keen Technologies。與大公司在投入一個(gè)新的技術(shù)領(lǐng)域時(shí)先評(píng)估商業(yè)前景的方式不同,卡神直截了當(dāng)?shù)乇硎?,自己?dāng)前的工作,短期商業(yè)機(jī)會(huì)為零。

圖源:John Carmack X 賬號(hào)Keen的首輪投資方不可小覷:包括GitHub前CEO Nat Friedman、前蘋果AI高管Daniel Gross、Stripe聯(lián)合創(chuàng)始人Patrick Collison、Shopify聯(lián)合創(chuàng)始人Tobi Lutke、紅杉資本以及硅谷傳奇芯片架構(gòu)設(shè)計(jì)師Jim Keller。

其中,Nat Friedman和Daniel Gross是Cohere、Character.ai等AI獨(dú)角獸的早期投資人,投出了美國(guó)人工智能的半壁江山,Daniel Gross最近還成了前OpenAI首席科學(xué)家Ilya創(chuàng)立的AI安全公司的聯(lián)合創(chuàng)始人;Jim Keller則擁有20多年的芯片設(shè)計(jì)經(jīng)驗(yàn),被譽(yù)為Zen架構(gòu)之父,曾在蘋果、AMD、特斯拉等公司負(fù)責(zé)芯片設(shè)計(jì)與研發(fā)。

早就靠賣游戲?qū)崿F(xiàn)財(cái)務(wù)自由的卡神并不缺錢,接受外部融資只是為了讓自己更有創(chuàng)業(yè)的緊迫感。

這次創(chuàng)業(yè),卡神拉上了強(qiáng)化學(xué)習(xí)之父Richard Sutton。

Sutton是經(jīng)典教科書《強(qiáng)化學(xué)習(xí)導(dǎo)論》的合著者,被稱為現(xiàn)代強(qiáng)化學(xué)習(xí)支付,曾在DeepMind參與AlphaGo系列研究,現(xiàn)任教于加拿大阿爾伯塔大學(xué)機(jī)器智能研究所。

Sutton曾撰寫過(guò)一篇著名短文The Bitter Lesson,這篇文章今天已成為OpenAI工程師的必讀經(jīng)典。文章強(qiáng)調(diào)了增加算力對(duì)AI發(fā)展的重要性,與當(dāng)時(shí)OpenAI訓(xùn)練AI所嘗試的路徑不謀而合,并在大語(yǔ)言模型的實(shí)現(xiàn)過(guò)程中得以印證。

通過(guò)郵件交流,卡神和Sutton發(fā)現(xiàn)雙方都想走一條“非主流”之路。

用卡神的話來(lái)說(shuō)“AI領(lǐng)域充斥著資本、算力和數(shù)據(jù),但主流研究方式有可能限制真正的突破。Sutton和我恰好站在主流之外?!?/p>

他們都認(rèn)為最終的AGI不會(huì)太復(fù)雜,與現(xiàn)在一個(gè)大規(guī)模應(yīng)用數(shù)百上千萬(wàn)行代碼、一個(gè)人永遠(yuǎn)無(wú)法寫完相比,一個(gè)人就能編寫AGI代碼。

“如果拿出人的整個(gè)DNA,它的信息量不到1GB,大腦只是其中很小的一部分—— 大約40MB,而且它沒有被嚴(yán)格編碼。這說(shuō)明構(gòu)成我們大腦智慧的編碼沒有那么多?!笨ㄉ癖硎?。

在卡神的設(shè)想中,AGI應(yīng)該保持持續(xù)在線學(xué)習(xí),而不是現(xiàn)在模型在完成預(yù)訓(xùn)練后大部分參數(shù)就不再更新。

不過(guò),Keen Technologies將走的具體路線,目前還保持神秘,打開公司官網(wǎng),只有一句簡(jiǎn)單的話“John Carmack的AGI嘗試,尚未披露信息。”

03、2030年之約:AI小公司如何上大分?

盡管一切還在迷霧中,但至少有一點(diǎn)事明確的,卡神認(rèn)為我們有希望在2030年看到AGI的端倪。

“我能看到目的地,但是現(xiàn)狀和目的地之間充滿不確定。沒人知道如何實(shí)現(xiàn),但我有信心到達(dá)目的地,或者至少有人可以實(shí)現(xiàn),時(shí)間點(diǎn)很可能是2030?!?/p>

據(jù)報(bào)道,Keen的創(chuàng)始技術(shù)團(tuán)隊(duì)只有4人,融資規(guī)模仍停留在最初的2000萬(wàn)美元。無(wú)論人才還是資金儲(chǔ)備都不如OpenAI等頭部AI獨(dú)角獸,更比不上谷歌、Meta等巨頭。

圖源:TechCrunch

如此小的團(tuán)隊(duì),如何實(shí)現(xiàn)通用人工智能的宏偉目標(biāo)?

在Scaling Law尚未失效的當(dāng)下,一邊,以大模型為AGI基石的公司們?nèi)栽诔掷m(xù)擴(kuò)展大模型的參數(shù)和數(shù)據(jù)規(guī)模;另一邊,以蘋果為代表的端側(cè)小模型不卷參數(shù)開始卷效率。而各大公司的不同研究團(tuán)隊(duì)用幾個(gè)月的時(shí)間重復(fù)造輪子的群體性思維,讓卡神感到不可思議。

在卡神看來(lái),機(jī)器學(xué)習(xí)領(lǐng)域的研究存在一定隨機(jī)性,目前并無(wú)明確的方向。小團(tuán)隊(duì)的優(yōu)勢(shì)在于可以把自己當(dāng)做一個(gè)隨機(jī)測(cè)試點(diǎn),從隨機(jī)權(quán)重和隨機(jī)位置開始研究,反而有更大概率找到合適的路徑。

在Transformer占大模型架構(gòu)主流的背景下,也有新的架構(gòu)試圖撼動(dòng)前者的主導(dǎo)地位。

例如來(lái)自卡內(nèi)基梅隆大學(xué)和普林斯頓大學(xué)的兩位助教發(fā)布的Mamba神經(jīng)網(wǎng)絡(luò)架構(gòu),去年12月一發(fā)布就在開源社區(qū)引起熱烈反響。

按照作者,普林斯頓助理教授Tri Dao的說(shuō)法,Mamba突破了Transformer架構(gòu)核心注意力層無(wú)法擴(kuò)展到長(zhǎng)上下文的局限性,可以隨上下文長(zhǎng)度的增加線性擴(kuò)展,具有5倍的推理吞吐量,基于該架構(gòu)的語(yǔ)言模型表現(xiàn)超越了Transformer架構(gòu)的模型。

圖源:Tri Dao X 賬號(hào)

最近,原作者帶隊(duì)的Mamba-2架構(gòu)正式發(fā)布,在訓(xùn)練速度和任務(wù)執(zhí)行方面都有了更大提升。

回到Keen,卡神表示將關(guān)注公司的長(zhǎng)期發(fā)展,不會(huì)過(guò)早考慮商業(yè)化。當(dāng)前,Keen團(tuán)隊(duì)正在探索智能體之間的行動(dòng)、感知、認(rèn)知能力的增強(qiáng),并尋找評(píng)估AI進(jìn)步的確切指標(biāo)。

近2年時(shí)間里,公司沒有持續(xù)補(bǔ)血,這在花錢如流水的AI創(chuàng)業(yè)圈是難以想象的。

對(duì)此,卡神曾在專訪中表示,AGI是一項(xiàng)長(zhǎng)達(dá)10年的任務(wù),他不想在2年內(nèi)將2000萬(wàn)美金燒完,再用“另一個(gè)系列來(lái)獲得另外幾億美元”。

他計(jì)劃花費(fèi)數(shù)年的時(shí)間解決AGI的部分問(wèn)題,并對(duì)已實(shí)現(xiàn)的成果進(jìn)行一定程度的擴(kuò)展,觀察其效果。在自己培養(yǎng)的智能體實(shí)現(xiàn)可學(xué)習(xí)、可互動(dòng)之后,卡神才會(huì)組建一支成分復(fù)雜的龐大隊(duì)伍來(lái)進(jìn)行后續(xù)的研究。

目前,通往AGI的道路依然迷霧重重。

但正如曾經(jīng)在3D游戲、火箭、VR領(lǐng)域書寫的傳奇一樣,有遠(yuǎn)見、重實(shí)干的,卡神必將在這個(gè)充滿未知的新領(lǐng)域留下精彩的一筆。

參考來(lái)源:

Exclusive Q&A: John Carmack’s ‘Different Path’ to Artificial General Intelligence(Dallas Innovates)

專訪探索AGI的孤勇者,傳奇工程師John Carmack:驚訝看不到如我這樣的人(智源社區(qū))

強(qiáng)化學(xué)習(xí)之父入局AGI創(chuàng)業(yè),聯(lián)手傳奇程序員卡馬克,放話不依賴大模型(量子位)

本文為轉(zhuǎn)載內(nèi)容,授權(quán)事宜請(qǐng)聯(lián)系原著作權(quán)人。

評(píng)論

暫無(wú)評(píng)論哦,快來(lái)評(píng)價(jià)一下吧!

下載界面新聞

微信公眾號(hào)

微博

拒絕蓋茨、馬斯克、奧特曼,傳奇程序員的AGI之路

年少財(cái)富自由。

文 | 硅兔賽跑 鄭惠敏

編輯|Zuri

二十幾歲,他憑借幾款創(chuàng)世級(jí)別的3D游戲大賣,實(shí)現(xiàn)財(cái)務(wù)自由。

不差錢的他開始折騰火箭,不幸以失敗告終。

迷上VR,加入成立剛滿一年的Oculus擔(dān)任CTO,一年后原地飛升,被Meta 20億美金收購(gòu)。

作為拒絕過(guò)馬斯克、蓋茨、喬布斯、山姆 奧特曼的男人,

AGI 時(shí)代,他決定再出山,干一票大的。

2022年創(chuàng)立Keen Technologies,另辟蹊徑實(shí)現(xiàn)AGI,獲得紅杉資本、GitHub前CEO、Stripe聯(lián)合創(chuàng)始人、Shopify聯(lián)合創(chuàng)始人兼CEO等2000萬(wàn)美元投資。

他就是70年代出生的編程天才,人稱“卡神”的John Carmack。

01、封“神”之路

小時(shí)候的Carmack,不是個(gè)乖孩子。

沉迷游戲,迷戀電腦,甚至不惜偷竊以滿足對(duì)電腦的渴望,并因此被關(guān)進(jìn)少管所。進(jìn)入高中后因?yàn)椴涣b的個(gè)性又被學(xué)校勒令休學(xué)一年。

因?yàn)樘焐斆鳎瑥?fù)學(xué)后的他以4.0的平均績(jī)點(diǎn)順利畢業(yè),進(jìn)入了美國(guó)著名的公立研究型大學(xué)堪薩斯大學(xué)。

但僅僅讀了兩個(gè)學(xué)期,Carmack就厭煩了循規(guī)蹈矩的大學(xué)生活,輟學(xué)進(jìn)入社會(huì)。

從此Carmack過(guò)上了理想的生活,認(rèn)識(shí)了志同道合的伙伴—— 程序員John Romero、游戲設(shè)計(jì)師Tom Hall和畫師Ardian Carmack,四人夜以繼日的敲代碼、開發(fā)游戲,發(fā)布了《指揮官基恩》(Commander Keen)系列游戲的第一部并大爆。Carmack的AGI公司Keen Technologies的名字正式源于此。

作品大爆使他們萌生了創(chuàng)業(yè)念頭,1991年,四人正式成立后來(lái)大名鼎鼎的游戲公司id Software。

1992年,id發(fā)行了射擊游戲《德軍總部》(Wolfenstein 3-D)3D版,這是全球最早的3D第一人稱視角射擊(FPS),開創(chuàng)了FPS這個(gè)前所未有的游戲類別,以3D和射擊的概念讓這款源自80年代的作品重新煥發(fā)生機(jī)。

隔年問(wèn)世的《毀滅戰(zhàn)士》更是成就驚人,它以快節(jié)奏的戰(zhàn)斗、暴力的視覺表現(xiàn)、極強(qiáng)的兼容性成為FPS游戲中王者級(jí)別的存在,奠定了id業(yè)界巔峰的地位,不到一年時(shí)間里就帶來(lái)了上億美元的利潤(rùn),還帶動(dòng)了當(dāng)時(shí)并不便宜的PC銷量。

圖源:PCGamesN

面對(duì)巨大的利益,Carmack做出了一個(gè)令人驚訝的舉動(dòng),他向公眾公布了《毀滅戰(zhàn)士》的部分源代碼,這使得其忠實(shí)粉絲有機(jī)會(huì)修改關(guān)卡和圖形,相當(dāng)于賦予了粉絲二次創(chuàng)作的機(jī)會(huì),這進(jìn)一步引燃了玩家的熱情。

1995年,《毀滅戰(zhàn)士》的裝機(jī)量甚至跑贏了Windows95,讓比爾·蓋茨動(dòng)起了收購(gòu)id的念頭。

被Carmack拒絕后,微軟只好自己動(dòng)手把《毀滅戰(zhàn)士》移植到系統(tǒng)中。蓋茨還親自出鏡,在電視廣告中借著這款游戲售賣自家的Windows系統(tǒng)。

這些風(fēng)靡一時(shí)的佳作讓Carmack在玩家心中封神。

卡神在游戲中運(yùn)用的3D圖形顯示技術(shù)和游戲引擎,后續(xù)也啟發(fā)了Epic Games虛幻引擎和Unity 3D開發(fā)工具的誕生,對(duì)后世游戲產(chǎn)業(yè)產(chǎn)生了深遠(yuǎn)影響。

這里有一個(gè)小插曲,卡神與喬布斯一度關(guān)系甜蜜,二人在id創(chuàng)辦早期便熟識(shí),甚至卡神說(shuō)服了喬布斯使用開源的OpenGL作為蘋果電腦的2D、3D圖形渲染引擎,卡神將之稱為對(duì)PC行業(yè)“最大的間接影響之一”。

喬布斯與卡神|圖源:Variety

但哪怕對(duì)方是喬布斯,卡神特立獨(dú)行起來(lái),也不給面子。據(jù)說(shuō),喬布斯曾想讓卡神推遲原定的婚期,去做一個(gè)重要的主題演講,但遭到了卡神的拒絕。

言歸正傳,對(duì)卡神本人來(lái)說(shuō),游戲作品的暢銷也讓他年紀(jì)輕輕就獲得了大筆財(cái)富,不缺錢的他將目光轉(zhuǎn)向了超級(jí)燒錢的民用航空領(lǐng)域。

2000年,他成立航天公司Armadillo Aerospace以開發(fā)前衛(wèi)的太空探險(xiǎn)項(xiàng)目,并由此結(jié)識(shí)了同樣心系外太空的馬斯克。

圖源:IBTimes UK

兩人惺惺相惜,在卡神的太空事業(yè)步入絕境后,2015年,馬斯克與卡神推特互動(dòng)時(shí),突然邀請(qǐng)卡神加入SpaceX,然而與喬布斯一樣,遭到了卡神的拒絕,因?yàn)椋ㄉ衲菚r(shí)正全情投入到了VR事業(yè)中。

后來(lái)談起未竟的太空事業(yè),卡神認(rèn)為失敗的部分原因要?dú)w結(jié)于自己未能全力以赴,而馬斯克對(duì)事業(yè)全情投入的精神值得學(xué)習(xí),這讓他決定以后無(wú)論做什么都要全力以赴。

圖源:推特, International Business Times

2013年,卡神離開了一手創(chuàng)立的id Software,加入剛成立不久的Oculus擔(dān)任CTO。入職當(dāng)天,蜂擁而來(lái)的粉絲圍觀讓Oculus的博客系統(tǒng)一度宕機(jī)。2014年,Oculus被Meta 20億美元買下,卡神加入Meta繼續(xù)研究VR。

卡神可謂兢兢業(yè)業(yè):對(duì)公司項(xiàng)目親力親為,負(fù)責(zé)與三星合作開發(fā)Gear VR,一個(gè)扛起需要一整個(gè)團(tuán)隊(duì)完成的工作量;從必須鏈接PC使用的Oculus Rift,到最早的VR一體機(jī)Oculus Go,再到高性價(jià)比的Oculus Quest,以及Oculus的生態(tài)應(yīng)用商店,都有卡神的身影奉獻(xiàn);他對(duì)玩家如春天般溫暖:為了讓用戶能在VR中玩到《我的世界》,他獨(dú)自花費(fèi)一年多時(shí)間將游戲移植到Oculus商店。

但后來(lái),卡神專注技術(shù)、腳踏實(shí)地的作風(fēng)與Meta在元宇宙方面激進(jìn)的策略產(chǎn)生掣肘,導(dǎo)致他在Oculus的重大決策中逐漸喪失了話語(yǔ)權(quán)??ㄉ駥?duì)VR的熱情也被Meta緩慢的運(yùn)營(yíng)效率消磨殆盡。最終,他選擇在合同到期后離開。

02、AGI的召喚:卡神進(jìn)軍人工智能

這一次,讓大神轉(zhuǎn)身的是AGI。

擔(dān)任Oculus CTO期間,OpenAI的三位靈魂人物Sam Altman、Greg Brockman和Ilya Sutskever勸說(shuō)卡神加入OpenAI,一直以來(lái)特立獨(dú)行的卡神不出意料的拒絕了。

但卡神卻看完了Ilya列出的40多篇相關(guān)研究論文,從頭開始,惡補(bǔ)AI算法,在Python才是主流編程語(yǔ)言的情況下,僅閉關(guān)一周時(shí)間就用C++寫出了卷積神經(jīng)網(wǎng)絡(luò)。

2022年,卡神正式下場(chǎng),成立了AGI公司Keen Technologies。與大公司在投入一個(gè)新的技術(shù)領(lǐng)域時(shí)先評(píng)估商業(yè)前景的方式不同,卡神直截了當(dāng)?shù)乇硎?,自己?dāng)前的工作,短期商業(yè)機(jī)會(huì)為零。

圖源:John Carmack X 賬號(hào)Keen的首輪投資方不可小覷:包括GitHub前CEO Nat Friedman、前蘋果AI高管Daniel Gross、Stripe聯(lián)合創(chuàng)始人Patrick Collison、Shopify聯(lián)合創(chuàng)始人Tobi Lutke、紅杉資本以及硅谷傳奇芯片架構(gòu)設(shè)計(jì)師Jim Keller。

其中,Nat Friedman和Daniel Gross是Cohere、Character.ai等AI獨(dú)角獸的早期投資人,投出了美國(guó)人工智能的半壁江山,Daniel Gross最近還成了前OpenAI首席科學(xué)家Ilya創(chuàng)立的AI安全公司的聯(lián)合創(chuàng)始人;Jim Keller則擁有20多年的芯片設(shè)計(jì)經(jīng)驗(yàn),被譽(yù)為Zen架構(gòu)之父,曾在蘋果、AMD、特斯拉等公司負(fù)責(zé)芯片設(shè)計(jì)與研發(fā)。

早就靠賣游戲?qū)崿F(xiàn)財(cái)務(wù)自由的卡神并不缺錢,接受外部融資只是為了讓自己更有創(chuàng)業(yè)的緊迫感。

這次創(chuàng)業(yè),卡神拉上了強(qiáng)化學(xué)習(xí)之父Richard Sutton。

Sutton是經(jīng)典教科書《強(qiáng)化學(xué)習(xí)導(dǎo)論》的合著者,被稱為現(xiàn)代強(qiáng)化學(xué)習(xí)支付,曾在DeepMind參與AlphaGo系列研究,現(xiàn)任教于加拿大阿爾伯塔大學(xué)機(jī)器智能研究所。

Sutton曾撰寫過(guò)一篇著名短文The Bitter Lesson,這篇文章今天已成為OpenAI工程師的必讀經(jīng)典。文章強(qiáng)調(diào)了增加算力對(duì)AI發(fā)展的重要性,與當(dāng)時(shí)OpenAI訓(xùn)練AI所嘗試的路徑不謀而合,并在大語(yǔ)言模型的實(shí)現(xiàn)過(guò)程中得以印證。

通過(guò)郵件交流,卡神和Sutton發(fā)現(xiàn)雙方都想走一條“非主流”之路。

用卡神的話來(lái)說(shuō)“AI領(lǐng)域充斥著資本、算力和數(shù)據(jù),但主流研究方式有可能限制真正的突破。Sutton和我恰好站在主流之外?!?/p>

他們都認(rèn)為最終的AGI不會(huì)太復(fù)雜,與現(xiàn)在一個(gè)大規(guī)模應(yīng)用數(shù)百上千萬(wàn)行代碼、一個(gè)人永遠(yuǎn)無(wú)法寫完相比,一個(gè)人就能編寫AGI代碼。

“如果拿出人的整個(gè)DNA,它的信息量不到1GB,大腦只是其中很小的一部分—— 大約40MB,而且它沒有被嚴(yán)格編碼。這說(shuō)明構(gòu)成我們大腦智慧的編碼沒有那么多?!笨ㄉ癖硎?。

在卡神的設(shè)想中,AGI應(yīng)該保持持續(xù)在線學(xué)習(xí),而不是現(xiàn)在模型在完成預(yù)訓(xùn)練后大部分參數(shù)就不再更新。

不過(guò),Keen Technologies將走的具體路線,目前還保持神秘,打開公司官網(wǎng),只有一句簡(jiǎn)單的話“John Carmack的AGI嘗試,尚未披露信息?!?/p>

03、2030年之約:AI小公司如何上大分?

盡管一切還在迷霧中,但至少有一點(diǎn)事明確的,卡神認(rèn)為我們有希望在2030年看到AGI的端倪。

“我能看到目的地,但是現(xiàn)狀和目的地之間充滿不確定。沒人知道如何實(shí)現(xiàn),但我有信心到達(dá)目的地,或者至少有人可以實(shí)現(xiàn),時(shí)間點(diǎn)很可能是2030?!?/p>

據(jù)報(bào)道,Keen的創(chuàng)始技術(shù)團(tuán)隊(duì)只有4人,融資規(guī)模仍停留在最初的2000萬(wàn)美元。無(wú)論人才還是資金儲(chǔ)備都不如OpenAI等頭部AI獨(dú)角獸,更比不上谷歌、Meta等巨頭。

圖源:TechCrunch

如此小的團(tuán)隊(duì),如何實(shí)現(xiàn)通用人工智能的宏偉目標(biāo)?

在Scaling Law尚未失效的當(dāng)下,一邊,以大模型為AGI基石的公司們?nèi)栽诔掷m(xù)擴(kuò)展大模型的參數(shù)和數(shù)據(jù)規(guī)模;另一邊,以蘋果為代表的端側(cè)小模型不卷參數(shù)開始卷效率。而各大公司的不同研究團(tuán)隊(duì)用幾個(gè)月的時(shí)間重復(fù)造輪子的群體性思維,讓卡神感到不可思議。

在卡神看來(lái),機(jī)器學(xué)習(xí)領(lǐng)域的研究存在一定隨機(jī)性,目前并無(wú)明確的方向。小團(tuán)隊(duì)的優(yōu)勢(shì)在于可以把自己當(dāng)做一個(gè)隨機(jī)測(cè)試點(diǎn),從隨機(jī)權(quán)重和隨機(jī)位置開始研究,反而有更大概率找到合適的路徑。

在Transformer占大模型架構(gòu)主流的背景下,也有新的架構(gòu)試圖撼動(dòng)前者的主導(dǎo)地位。

例如來(lái)自卡內(nèi)基梅隆大學(xué)和普林斯頓大學(xué)的兩位助教發(fā)布的Mamba神經(jīng)網(wǎng)絡(luò)架構(gòu),去年12月一發(fā)布就在開源社區(qū)引起熱烈反響。

按照作者,普林斯頓助理教授Tri Dao的說(shuō)法,Mamba突破了Transformer架構(gòu)核心注意力層無(wú)法擴(kuò)展到長(zhǎng)上下文的局限性,可以隨上下文長(zhǎng)度的增加線性擴(kuò)展,具有5倍的推理吞吐量,基于該架構(gòu)的語(yǔ)言模型表現(xiàn)超越了Transformer架構(gòu)的模型。

圖源:Tri Dao X 賬號(hào)

最近,原作者帶隊(duì)的Mamba-2架構(gòu)正式發(fā)布,在訓(xùn)練速度和任務(wù)執(zhí)行方面都有了更大提升。

回到Keen,卡神表示將關(guān)注公司的長(zhǎng)期發(fā)展,不會(huì)過(guò)早考慮商業(yè)化。當(dāng)前,Keen團(tuán)隊(duì)正在探索智能體之間的行動(dòng)、感知、認(rèn)知能力的增強(qiáng),并尋找評(píng)估AI進(jìn)步的確切指標(biāo)。

近2年時(shí)間里,公司沒有持續(xù)補(bǔ)血,這在花錢如流水的AI創(chuàng)業(yè)圈是難以想象的。

對(duì)此,卡神曾在專訪中表示,AGI是一項(xiàng)長(zhǎng)達(dá)10年的任務(wù),他不想在2年內(nèi)將2000萬(wàn)美金燒完,再用“另一個(gè)系列來(lái)獲得另外幾億美元”。

他計(jì)劃花費(fèi)數(shù)年的時(shí)間解決AGI的部分問(wèn)題,并對(duì)已實(shí)現(xiàn)的成果進(jìn)行一定程度的擴(kuò)展,觀察其效果。在自己培養(yǎng)的智能體實(shí)現(xiàn)可學(xué)習(xí)、可互動(dòng)之后,卡神才會(huì)組建一支成分復(fù)雜的龐大隊(duì)伍來(lái)進(jìn)行后續(xù)的研究。

目前,通往AGI的道路依然迷霧重重。

但正如曾經(jīng)在3D游戲、火箭、VR領(lǐng)域書寫的傳奇一樣,有遠(yuǎn)見、重實(shí)干的,卡神必將在這個(gè)充滿未知的新領(lǐng)域留下精彩的一筆。

參考來(lái)源:

Exclusive Q&A: John Carmack’s ‘Different Path’ to Artificial General Intelligence(Dallas Innovates)

專訪探索AGI的孤勇者,傳奇工程師John Carmack:驚訝看不到如我這樣的人(智源社區(qū))

強(qiáng)化學(xué)習(xí)之父入局AGI創(chuàng)業(yè),聯(lián)手傳奇程序員卡馬克,放話不依賴大模型(量子位)

本文為轉(zhuǎn)載內(nèi)容,授權(quán)事宜請(qǐng)聯(lián)系原著作權(quán)人。