正在閱讀:

下一個“AI王炸”,別只盯著OpenAI,DeepMind也在憋大招

掃一掃下載界面新聞APP

下一個“AI王炸”,別只盯著OpenAI,DeepMind也在憋大招

其實AI領(lǐng)域并沒有那么多獨(dú)門秘技。

文|腦極體

過去幾個月,OpenAI風(fēng)頭無兩,各大科技公司爭先恐后地跟進(jìn)大語言模型(LLM)這一技術(shù)路線。

對比之下,OpenAI的老對手DeepMind,顯得有些低調(diào)和沉默。微軟靠OpenAI打了一場勝仗,而谷歌推出的Bard翻了車,和谷歌同屬AlphaBeta的DeepMind卻沒有出來力挽狂瀾的意思。

同樣是半學(xué)術(shù)、半企業(yè)科研性質(zhì)的前瞻性AI Lab,DeepMind也瞄準(zhǔn)了通用人工智能AGI,但實現(xiàn)路徑上,卻有著和OpenAI不同的選擇。

這段時間我們能看到科技圈在集體“追風(fēng)口”,大量資源(注意力、算力、人才、政策等)都被投入到OpenAI引領(lǐng)的大語言模型熱潮中,有些高校甚至出現(xiàn)了“不做LLM就沒有算力用”的局面。“中國沒有自己的OpenAI”也被認(rèn)為是創(chuàng)新滯后的現(xiàn)實證明。

有人說OpenAI的AI屬于“精英教育路線”,一路砸錢供它讀到博士,一畢業(yè)就是王炸,驚艷全場,這點確實沒錯,也是非常值得很多國內(nèi)AI Lab學(xué)習(xí)的。

追逐OpenAI的賽道已經(jīng)十分擁擠。別忘了,DeepMind默默燒錢、長期錨定的很多研究方向,也非常具有前沿性和想象力,2016年的AlphaGo、2020年的AlphaFold都曾一鳴驚人。下一個“AI王炸”,可能就是DeepMind做出來的。

大家知道有種新聞叫“震驚體”,每一次出現(xiàn)“AI王炸”級產(chǎn)品,就會有大量“震驚體”出現(xiàn),比如“阿爾法狗要取代人類”“AlphaFold搶了生物學(xué)家的工作”“有了ChatGPT人類還有價值嗎?”

感到“震驚”,有時真的只是因為知道的太少、太晚,在這些“AI王炸”技術(shù)尚在成長階段,忽視了它們,等能力發(fā)展到實用程度,又開始恐慌、焦慮。

屆時,我們會不會又會陷入新一輪的追逐跟風(fēng),接著抱怨“中國沒有自己的DeepMind”呢?

所以,我們不妨來預(yù)測一下,DeepMind正在憋的大招里,哪些可能成為下一個王炸,讀者們可以有個心理準(zhǔn)備,提前對“震驚體”脫敏。

AI要取代科學(xué)家,夠不夠震驚?

ChatGPT走紅之后,很多白領(lǐng)人士都擔(dān)心自己的崗位要被取代了。而科學(xué)家可是智力水平站在金字塔頂端的人類,職業(yè)生涯肯定穩(wěn)穩(wěn)的吧?

AI+科學(xué),正是DeepMind長期錨定的賽道,已經(jīng)產(chǎn)出了很多突破性的研究成果,覆蓋了數(shù)學(xué)家、物理學(xué)家、生物學(xué)家的專業(yè)領(lǐng)域。

已經(jīng)問世的AlphaFold和AlphaFold 2就在生物學(xué)界掀起了海嘯級的影響,徹底改變了蛋白質(zhì)結(jié)構(gòu)預(yù)測的傳統(tǒng)方法,也引發(fā)了各大高校和科研機(jī)構(gòu)的復(fù)現(xiàn)、優(yōu)化、應(yīng)用?;谶@一新技術(shù),DeepMind一夜之間改變了生物制藥行業(yè),也因此成為“數(shù)字生物學(xué)”這一新興領(lǐng)域的先驅(qū)。

目前,AI+生物學(xué)的潛力還沒有完全釋放出來,AI技術(shù)在生物制藥和生命科學(xué)中的應(yīng)用,還停留在少數(shù)環(huán)節(jié)中探索、案例級嘗試的階段。DeepMind也正在與行業(yè)展開合作,比如與Isomorphic Labs 合作,以“AI-FIRST”原則重構(gòu)藥物發(fā)現(xiàn)過程,在著名的生物醫(yī)學(xué)研究中心弗朗西斯·克里克研究所(Francis Crick Institute),建了一個濕實驗室,加強(qiáng)AI技術(shù)與生物實驗的結(jié)合,同時還在不斷擴(kuò)大AI for science團(tuán)隊,加快基礎(chǔ)生物學(xué)的研究。

或許,下一個抗癌新藥、生物計算領(lǐng)域的大突破,就會在DeepMind誕生。

(AlphaFold揭示了蛋白質(zhì)宇宙的結(jié)構(gòu))

你可能會說,生物學(xué)是一門實驗科學(xué),有成熟的程式,被AI技術(shù)改變很合理。數(shù)學(xué)、物理這樣的基礎(chǔ)科學(xué),突破幾乎來自天才式的直覺和靈感,有的數(shù)學(xué)家甚至是在夢中取得突破。比如阿基米德就是在洗澡時靈光一現(xiàn),發(fā)現(xiàn)了浮力定律;拉馬努金在夢中發(fā)現(xiàn)了3900個公式……AI估計就不好使了吧?

數(shù)學(xué)、物理,這些涉及抽象世界和人類深層直覺的領(lǐng)域,DeepMind也已經(jīng)取得了突破。

幫助數(shù)學(xué)家發(fā)現(xiàn)他們從未發(fā)現(xiàn)的發(fā)現(xiàn)——DeepMind發(fā)表在《自然》雜志上的一篇論文顯示,研究人員與頂級數(shù)學(xué)家合作,為一個幾十年來都沒有結(jié)局的數(shù)學(xué)猜想,通過機(jī)器學(xué)習(xí)(ML)找到了突破口。

使用AI來處理海量或無法直接推理的數(shù)據(jù),可以大大增強(qiáng)數(shù)學(xué)家的洞察力,從而更快地找到證明猜想和新公式的方法,已經(jīng)被DeepMind證明是可行的。

牛津大學(xué)數(shù)學(xué)系教授Marcus Du Sautoy形容AI技術(shù)在純數(shù)學(xué)中的應(yīng)用,“就像伽利略拿起望遠(yuǎn)鏡,能夠深入凝視數(shù)據(jù)宇宙,看到以前從未發(fā)現(xiàn)過的東西”。

未來隨著探索的增多,很多未被證實的數(shù)學(xué)猜想,都有可能因AI的加入而突破。希望屆時大家不會又以為AI進(jìn)化出了什么超能力,被“AI取代數(shù)學(xué)家”之類的標(biāo)題給騙了。

AI參與核聚變的研究進(jìn)程——核物理無論從學(xué)術(shù)還是社會政治經(jīng)濟(jì)的角度,都是非常重要的。大家可能都聽過中國核物理學(xué)家造原子彈的艱苦故事,其中很多工作和犧牲能不能由AI來代勞呢?DeepMind還真搞成了。

它們與瑞士等離子體中心,合作開發(fā)了一個AI系統(tǒng),通過強(qiáng)化學(xué)習(xí),控制系統(tǒng)可以很好地協(xié)調(diào)TCV(由許多磁線圈組成),確保等離子體永遠(yuǎn)不會接觸容器壁,這樣就可以減少核聚變的熱量損失。同時,還能將等離子體精確地雕刻成不同的形狀,方便科學(xué)家研究等離子體在不同條件下的反應(yīng),從而提高對核聚變反應(yīng)堆的理解。

總之,在過去的幾年里,DeepMind在數(shù)學(xué)、物理、化學(xué)、生物學(xué)、量子、氣象、材料等多個科學(xué)領(lǐng)域,創(chuàng)造性地探索了大量AI for science的可能,帶來了全新的科學(xué)研究方法,必然會催生全新的科學(xué)發(fā)現(xiàn)和技術(shù)突破,下一個“AI王炸”很可能就在其中。

現(xiàn)實版《西部世界》夠不夠炸裂?

DeepMind的目標(biāo)也是實現(xiàn)通用人工智能。具體怎么做呢?OpenAI專心搞語言,DeepMind就專注“訓(xùn)狗”——搞強(qiáng)化學(xué)習(xí)。

弱人工智能,只能在有限的環(huán)境中解決特定問題,沒有發(fā)展出人類身上那種通識智能。那種“通用”智能的機(jī)器,大概就類似于《西部世界》或者《底特律》中的機(jī)器人,能夠在復(fù)雜的環(huán)境里執(zhí)行任務(wù)。

實現(xiàn)AGI,OpenAI是用大量數(shù)據(jù)和充分訓(xùn)練來促成大語言模型的“智能涌現(xiàn)”,而DeepMind則選擇了“正向教育”——希望通過強(qiáng)化學(xué)習(xí),給AI系統(tǒng)以“獎勵最大化”的刺激,驅(qū)使智能體自主去學(xué)習(xí)復(fù)雜的能力。因為只有表現(xiàn)出這些能力,智能體才能獲得獎勵(比如生存下去)。

聽起來,是不是跟工作犬執(zhí)行主人的口令,主人根據(jù)結(jié)果來進(jìn)行獎勵或懲罰是一個路子?

在一篇論文中,DeepMind的研究人員寫道:“獎勵足以推動智能體表現(xiàn)出通用智能的跡象和行為,包括學(xué)習(xí)、感知、社會智能、語言、概括和模仿?!?/p>

上一只震驚世界的狗是擊敗人類棋手的“阿爾法狗(AlphaGo)”,而下一只可能就是被DeepMind用強(qiáng)化學(xué)習(xí)訓(xùn)練出來的AI了。

(ANYmal機(jī)器人的運(yùn)動技能是通過模仿狗MoCap來學(xué)習(xí)的)

比如這只機(jī)器狗,就通過強(qiáng)化學(xué)習(xí)不斷試錯,從而具備了兩個重要的能力:

一是使用歷史經(jīng)驗,一般來說電機(jī)控制的AI智能體,一開始不知道對每個關(guān)節(jié)施加什么力,需要大量數(shù)據(jù)才能邁出步子,不然就會隨機(jī)抽搐并迅速摔倒,而借助RL可以利用以前學(xué)到的運(yùn)動技能,從而緩解“起步”時的尷尬。

二是減少特殊行為,此前智能機(jī)器人一般會用一種很不自然、不夠人性化的方式來避障,雖然看起來很有趣,但不夠?qū)嵱?。DeepMind采用強(qiáng)化學(xué)習(xí)訓(xùn)練,偏向于讓智能體學(xué)習(xí)更多的自然行為,可以安全高效地控制真實世界的機(jī)器人/機(jī)器狗,將機(jī)械控制與認(rèn)知智慧相結(jié)合。

類似的強(qiáng)化學(xué)習(xí)實驗還有很多,比如讓智能體在網(wǎng)絡(luò)游戲中展開隨機(jī)互動,讓智能體在模擬的三維世界里搭積木、打掃房間……基本邏輯都是基于人類反饋的獎勵模型。

ChatGPT只能解決語言問題,《西部世界》里的人機(jī)融合新物種,更靈活的通用家政機(jī)器人,可能還真得靠DeepMind的強(qiáng)化學(xué)習(xí)路線來實現(xiàn)。

像人腦一樣思考的AI,夠不夠有趣?

DeepMind雖然沒有跟風(fēng)推出類ChatGPT的大語言模型,但并不代表它對這個領(lǐng)域毫無建樹,只不過二者關(guān)注的技術(shù)方向不太一樣罷了。

隨著使用者的增多,大家可能都發(fā)現(xiàn)了類ChatGPT模型的一些限制,比如非常注重數(shù)據(jù)和語料。

深度學(xué)習(xí)靠規(guī)模數(shù)據(jù)、龐大算力、充分訓(xùn)練而“大力出奇跡”的暴力美學(xué),在大模型時代發(fā)揮到了極致。

這帶來了一系列問題,比如中文語料不足,訓(xùn)出來的大模型效果不好,有的中文LLM會用英文語料進(jìn)行訓(xùn)練,再將答案翻譯回中文,這種做法當(dāng)然是符合業(yè)界常規(guī)的,但問題在于很多價值觀、常識性的東西,是沒有辦法對齊和翻譯的。

而且“暴力計算出奇跡”的大煉模型,打造的語言模型是不可解釋的黑盒,金融、政務(wù)、工業(yè)等行業(yè)是不敢用的,無法支撐可靠的決策。

不知道OpenAI和國內(nèi)廠商打算怎么解決“暴力計算”的弊病,反正DeepMind倒是一直在琢磨不同的路線——不搞暴力美學(xué),大搞神經(jīng)科學(xué)。

DeepMind認(rèn)為大腦才是機(jī)器智能模仿的對象,希望通過對腦科學(xué)、神經(jīng)運(yùn)動學(xué)、元學(xué)習(xí)等“人類本位”的研究,來提升深度學(xué)習(xí)模型的魯棒性、可解釋性、可靠性等,讓AI達(dá)到人類水平的理解能力。

比如重新認(rèn)識大腦的工作機(jī)制,借鑒多巴胺通過調(diào)節(jié)神經(jīng)元之間突觸連接的強(qiáng)度,提出了一種基于獎勵的強(qiáng)化學(xué)習(xí)理論;在3D游戲世界中創(chuàng)建了模擬心理學(xué)實驗室Psychlab,能夠?qū)嵤┙?jīng)典的心理實驗,顯著改進(jìn)了智能體UNREAL的性能;發(fā)現(xiàn)在人工神經(jīng)網(wǎng)絡(luò)傾向于避開精確設(shè)計的代碼,傾向于對成本函數(shù)進(jìn)行暴力優(yōu)化(不追求獎勵最大化,而是追求成本最小化,不做錯就沒有損失),而人腦的機(jī)制卻往往會專注在任務(wù)實現(xiàn)和獎勵上,從這個角度去優(yōu)化深度神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。

2023年發(fā)表的一篇新論文中,DeepMind則針對大腦中的回放(replay)機(jī)制,提出這是一種組合計算的形式,可以衍生出新的知識,在神經(jīng)網(wǎng)絡(luò)中整合回放機(jī)制,有望讓AI用極少的數(shù)據(jù)學(xué)到新東西,提高認(rèn)知智能,更接近“智能涌現(xiàn)”。

大腦的智慧讓人類爬上了萬物之靈的寶座,AI不靠人工而靠智能,為什么不可能呢?

當(dāng)初OpenAI要走NLP這條“冷門”的路,很多人也覺得不可能,直到產(chǎn)品雖不成熟、但能力十分驚艷的ChatGPT出現(xiàn),人們才開始紛紛夸贊OpenAI的長期主義。這些年DeepMind默默搞的研究,可能就是下一個“王炸”。

我們都希望中國AI也能誕生影響世界的元創(chuàng)新,其實AI領(lǐng)域并沒有那么多獨(dú)門秘技,很多靈感或技術(shù)路線都是公開的,但我們?yōu)槭裁纯偸锹犨^就算、見過就忘呢?

除了靈光一現(xiàn)的idea, OpenAI和DeepMind不斷投入的耐心,強(qiáng)大的工程能力,前沿研究與商業(yè)化的平衡,也是值得學(xué)習(xí)和借鑒的。

不能總是熱淚盈眶,總是不長記性,直到下一個《震驚!XXX的XXX又顛覆世界了》……

本文為轉(zhuǎn)載內(nèi)容,授權(quán)事宜請聯(lián)系原著作權(quán)人。

OpenAI

  • Kimi發(fā)布新一代推理模型,數(shù)學(xué)能力對標(biāo)OpenAI o1系列
  • 【獨(dú)家】字節(jié)即夢將在Sora發(fā)布前上線視頻生成模型PixelDance

評論

暫無評論哦,快來評價一下吧!

下載界面新聞

微信公眾號

微博

下一個“AI王炸”,別只盯著OpenAI,DeepMind也在憋大招

其實AI領(lǐng)域并沒有那么多獨(dú)門秘技。

文|腦極體

過去幾個月,OpenAI風(fēng)頭無兩,各大科技公司爭先恐后地跟進(jìn)大語言模型(LLM)這一技術(shù)路線。

對比之下,OpenAI的老對手DeepMind,顯得有些低調(diào)和沉默。微軟靠OpenAI打了一場勝仗,而谷歌推出的Bard翻了車,和谷歌同屬AlphaBeta的DeepMind卻沒有出來力挽狂瀾的意思。

同樣是半學(xué)術(shù)、半企業(yè)科研性質(zhì)的前瞻性AI Lab,DeepMind也瞄準(zhǔn)了通用人工智能AGI,但實現(xiàn)路徑上,卻有著和OpenAI不同的選擇。

這段時間我們能看到科技圈在集體“追風(fēng)口”,大量資源(注意力、算力、人才、政策等)都被投入到OpenAI引領(lǐng)的大語言模型熱潮中,有些高校甚至出現(xiàn)了“不做LLM就沒有算力用”的局面?!爸袊鴽]有自己的OpenAI”也被認(rèn)為是創(chuàng)新滯后的現(xiàn)實證明。

有人說OpenAI的AI屬于“精英教育路線”,一路砸錢供它讀到博士,一畢業(yè)就是王炸,驚艷全場,這點確實沒錯,也是非常值得很多國內(nèi)AI Lab學(xué)習(xí)的。

追逐OpenAI的賽道已經(jīng)十分擁擠。別忘了,DeepMind默默燒錢、長期錨定的很多研究方向,也非常具有前沿性和想象力,2016年的AlphaGo、2020年的AlphaFold都曾一鳴驚人。下一個“AI王炸”,可能就是DeepMind做出來的。

大家知道有種新聞叫“震驚體”,每一次出現(xiàn)“AI王炸”級產(chǎn)品,就會有大量“震驚體”出現(xiàn),比如“阿爾法狗要取代人類”“AlphaFold搶了生物學(xué)家的工作”“有了ChatGPT人類還有價值嗎?”

感到“震驚”,有時真的只是因為知道的太少、太晚,在這些“AI王炸”技術(shù)尚在成長階段,忽視了它們,等能力發(fā)展到實用程度,又開始恐慌、焦慮。

屆時,我們會不會又會陷入新一輪的追逐跟風(fēng),接著抱怨“中國沒有自己的DeepMind”呢?

所以,我們不妨來預(yù)測一下,DeepMind正在憋的大招里,哪些可能成為下一個王炸,讀者們可以有個心理準(zhǔn)備,提前對“震驚體”脫敏。

AI要取代科學(xué)家,夠不夠震驚?

ChatGPT走紅之后,很多白領(lǐng)人士都擔(dān)心自己的崗位要被取代了。而科學(xué)家可是智力水平站在金字塔頂端的人類,職業(yè)生涯肯定穩(wěn)穩(wěn)的吧?

AI+科學(xué),正是DeepMind長期錨定的賽道,已經(jīng)產(chǎn)出了很多突破性的研究成果,覆蓋了數(shù)學(xué)家、物理學(xué)家、生物學(xué)家的專業(yè)領(lǐng)域。

已經(jīng)問世的AlphaFold和AlphaFold 2就在生物學(xué)界掀起了海嘯級的影響,徹底改變了蛋白質(zhì)結(jié)構(gòu)預(yù)測的傳統(tǒng)方法,也引發(fā)了各大高校和科研機(jī)構(gòu)的復(fù)現(xiàn)、優(yōu)化、應(yīng)用?;谶@一新技術(shù),DeepMind一夜之間改變了生物制藥行業(yè),也因此成為“數(shù)字生物學(xué)”這一新興領(lǐng)域的先驅(qū)。

目前,AI+生物學(xué)的潛力還沒有完全釋放出來,AI技術(shù)在生物制藥和生命科學(xué)中的應(yīng)用,還停留在少數(shù)環(huán)節(jié)中探索、案例級嘗試的階段。DeepMind也正在與行業(yè)展開合作,比如與Isomorphic Labs 合作,以“AI-FIRST”原則重構(gòu)藥物發(fā)現(xiàn)過程,在著名的生物醫(yī)學(xué)研究中心弗朗西斯·克里克研究所(Francis Crick Institute),建了一個濕實驗室,加強(qiáng)AI技術(shù)與生物實驗的結(jié)合,同時還在不斷擴(kuò)大AI for science團(tuán)隊,加快基礎(chǔ)生物學(xué)的研究。

或許,下一個抗癌新藥、生物計算領(lǐng)域的大突破,就會在DeepMind誕生。

(AlphaFold揭示了蛋白質(zhì)宇宙的結(jié)構(gòu))

你可能會說,生物學(xué)是一門實驗科學(xué),有成熟的程式,被AI技術(shù)改變很合理。數(shù)學(xué)、物理這樣的基礎(chǔ)科學(xué),突破幾乎來自天才式的直覺和靈感,有的數(shù)學(xué)家甚至是在夢中取得突破。比如阿基米德就是在洗澡時靈光一現(xiàn),發(fā)現(xiàn)了浮力定律;拉馬努金在夢中發(fā)現(xiàn)了3900個公式……AI估計就不好使了吧?

數(shù)學(xué)、物理,這些涉及抽象世界和人類深層直覺的領(lǐng)域,DeepMind也已經(jīng)取得了突破。

幫助數(shù)學(xué)家發(fā)現(xiàn)他們從未發(fā)現(xiàn)的發(fā)現(xiàn)——DeepMind發(fā)表在《自然》雜志上的一篇論文顯示,研究人員與頂級數(shù)學(xué)家合作,為一個幾十年來都沒有結(jié)局的數(shù)學(xué)猜想,通過機(jī)器學(xué)習(xí)(ML)找到了突破口。

使用AI來處理海量或無法直接推理的數(shù)據(jù),可以大大增強(qiáng)數(shù)學(xué)家的洞察力,從而更快地找到證明猜想和新公式的方法,已經(jīng)被DeepMind證明是可行的。

牛津大學(xué)數(shù)學(xué)系教授Marcus Du Sautoy形容AI技術(shù)在純數(shù)學(xué)中的應(yīng)用,“就像伽利略拿起望遠(yuǎn)鏡,能夠深入凝視數(shù)據(jù)宇宙,看到以前從未發(fā)現(xiàn)過的東西”。

未來隨著探索的增多,很多未被證實的數(shù)學(xué)猜想,都有可能因AI的加入而突破。希望屆時大家不會又以為AI進(jìn)化出了什么超能力,被“AI取代數(shù)學(xué)家”之類的標(biāo)題給騙了。

AI參與核聚變的研究進(jìn)程——核物理無論從學(xué)術(shù)還是社會政治經(jīng)濟(jì)的角度,都是非常重要的。大家可能都聽過中國核物理學(xué)家造原子彈的艱苦故事,其中很多工作和犧牲能不能由AI來代勞呢?DeepMind還真搞成了。

它們與瑞士等離子體中心,合作開發(fā)了一個AI系統(tǒng),通過強(qiáng)化學(xué)習(xí),控制系統(tǒng)可以很好地協(xié)調(diào)TCV(由許多磁線圈組成),確保等離子體永遠(yuǎn)不會接觸容器壁,這樣就可以減少核聚變的熱量損失。同時,還能將等離子體精確地雕刻成不同的形狀,方便科學(xué)家研究等離子體在不同條件下的反應(yīng),從而提高對核聚變反應(yīng)堆的理解。

總之,在過去的幾年里,DeepMind在數(shù)學(xué)、物理、化學(xué)、生物學(xué)、量子、氣象、材料等多個科學(xué)領(lǐng)域,創(chuàng)造性地探索了大量AI for science的可能,帶來了全新的科學(xué)研究方法,必然會催生全新的科學(xué)發(fā)現(xiàn)和技術(shù)突破,下一個“AI王炸”很可能就在其中。

現(xiàn)實版《西部世界》夠不夠炸裂?

DeepMind的目標(biāo)也是實現(xiàn)通用人工智能。具體怎么做呢?OpenAI專心搞語言,DeepMind就專注“訓(xùn)狗”——搞強(qiáng)化學(xué)習(xí)。

弱人工智能,只能在有限的環(huán)境中解決特定問題,沒有發(fā)展出人類身上那種通識智能。那種“通用”智能的機(jī)器,大概就類似于《西部世界》或者《底特律》中的機(jī)器人,能夠在復(fù)雜的環(huán)境里執(zhí)行任務(wù)。

實現(xiàn)AGI,OpenAI是用大量數(shù)據(jù)和充分訓(xùn)練來促成大語言模型的“智能涌現(xiàn)”,而DeepMind則選擇了“正向教育”——希望通過強(qiáng)化學(xué)習(xí),給AI系統(tǒng)以“獎勵最大化”的刺激,驅(qū)使智能體自主去學(xué)習(xí)復(fù)雜的能力。因為只有表現(xiàn)出這些能力,智能體才能獲得獎勵(比如生存下去)。

聽起來,是不是跟工作犬執(zhí)行主人的口令,主人根據(jù)結(jié)果來進(jìn)行獎勵或懲罰是一個路子?

在一篇論文中,DeepMind的研究人員寫道:“獎勵足以推動智能體表現(xiàn)出通用智能的跡象和行為,包括學(xué)習(xí)、感知、社會智能、語言、概括和模仿?!?/p>

上一只震驚世界的狗是擊敗人類棋手的“阿爾法狗(AlphaGo)”,而下一只可能就是被DeepMind用強(qiáng)化學(xué)習(xí)訓(xùn)練出來的AI了。

(ANYmal機(jī)器人的運(yùn)動技能是通過模仿狗MoCap來學(xué)習(xí)的)

比如這只機(jī)器狗,就通過強(qiáng)化學(xué)習(xí)不斷試錯,從而具備了兩個重要的能力:

一是使用歷史經(jīng)驗,一般來說電機(jī)控制的AI智能體,一開始不知道對每個關(guān)節(jié)施加什么力,需要大量數(shù)據(jù)才能邁出步子,不然就會隨機(jī)抽搐并迅速摔倒,而借助RL可以利用以前學(xué)到的運(yùn)動技能,從而緩解“起步”時的尷尬。

二是減少特殊行為,此前智能機(jī)器人一般會用一種很不自然、不夠人性化的方式來避障,雖然看起來很有趣,但不夠?qū)嵱?。DeepMind采用強(qiáng)化學(xué)習(xí)訓(xùn)練,偏向于讓智能體學(xué)習(xí)更多的自然行為,可以安全高效地控制真實世界的機(jī)器人/機(jī)器狗,將機(jī)械控制與認(rèn)知智慧相結(jié)合。

類似的強(qiáng)化學(xué)習(xí)實驗還有很多,比如讓智能體在網(wǎng)絡(luò)游戲中展開隨機(jī)互動,讓智能體在模擬的三維世界里搭積木、打掃房間……基本邏輯都是基于人類反饋的獎勵模型。

ChatGPT只能解決語言問題,《西部世界》里的人機(jī)融合新物種,更靈活的通用家政機(jī)器人,可能還真得靠DeepMind的強(qiáng)化學(xué)習(xí)路線來實現(xiàn)。

像人腦一樣思考的AI,夠不夠有趣?

DeepMind雖然沒有跟風(fēng)推出類ChatGPT的大語言模型,但并不代表它對這個領(lǐng)域毫無建樹,只不過二者關(guān)注的技術(shù)方向不太一樣罷了。

隨著使用者的增多,大家可能都發(fā)現(xiàn)了類ChatGPT模型的一些限制,比如非常注重數(shù)據(jù)和語料。

深度學(xué)習(xí)靠規(guī)模數(shù)據(jù)、龐大算力、充分訓(xùn)練而“大力出奇跡”的暴力美學(xué),在大模型時代發(fā)揮到了極致。

這帶來了一系列問題,比如中文語料不足,訓(xùn)出來的大模型效果不好,有的中文LLM會用英文語料進(jìn)行訓(xùn)練,再將答案翻譯回中文,這種做法當(dāng)然是符合業(yè)界常規(guī)的,但問題在于很多價值觀、常識性的東西,是沒有辦法對齊和翻譯的。

而且“暴力計算出奇跡”的大煉模型,打造的語言模型是不可解釋的黑盒,金融、政務(wù)、工業(yè)等行業(yè)是不敢用的,無法支撐可靠的決策。

不知道OpenAI和國內(nèi)廠商打算怎么解決“暴力計算”的弊病,反正DeepMind倒是一直在琢磨不同的路線——不搞暴力美學(xué),大搞神經(jīng)科學(xué)。

DeepMind認(rèn)為大腦才是機(jī)器智能模仿的對象,希望通過對腦科學(xué)、神經(jīng)運(yùn)動學(xué)、元學(xué)習(xí)等“人類本位”的研究,來提升深度學(xué)習(xí)模型的魯棒性、可解釋性、可靠性等,讓AI達(dá)到人類水平的理解能力。

比如重新認(rèn)識大腦的工作機(jī)制,借鑒多巴胺通過調(diào)節(jié)神經(jīng)元之間突觸連接的強(qiáng)度,提出了一種基于獎勵的強(qiáng)化學(xué)習(xí)理論;在3D游戲世界中創(chuàng)建了模擬心理學(xué)實驗室Psychlab,能夠?qū)嵤┙?jīng)典的心理實驗,顯著改進(jìn)了智能體UNREAL的性能;發(fā)現(xiàn)在人工神經(jīng)網(wǎng)絡(luò)傾向于避開精確設(shè)計的代碼,傾向于對成本函數(shù)進(jìn)行暴力優(yōu)化(不追求獎勵最大化,而是追求成本最小化,不做錯就沒有損失),而人腦的機(jī)制卻往往會專注在任務(wù)實現(xiàn)和獎勵上,從這個角度去優(yōu)化深度神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。

2023年發(fā)表的一篇新論文中,DeepMind則針對大腦中的回放(replay)機(jī)制,提出這是一種組合計算的形式,可以衍生出新的知識,在神經(jīng)網(wǎng)絡(luò)中整合回放機(jī)制,有望讓AI用極少的數(shù)據(jù)學(xué)到新東西,提高認(rèn)知智能,更接近“智能涌現(xiàn)”。

大腦的智慧讓人類爬上了萬物之靈的寶座,AI不靠人工而靠智能,為什么不可能呢?

當(dāng)初OpenAI要走NLP這條“冷門”的路,很多人也覺得不可能,直到產(chǎn)品雖不成熟、但能力十分驚艷的ChatGPT出現(xiàn),人們才開始紛紛夸贊OpenAI的長期主義。這些年DeepMind默默搞的研究,可能就是下一個“王炸”。

我們都希望中國AI也能誕生影響世界的元創(chuàng)新,其實AI領(lǐng)域并沒有那么多獨(dú)門秘技,很多靈感或技術(shù)路線都是公開的,但我們?yōu)槭裁纯偸锹犨^就算、見過就忘呢?

除了靈光一現(xiàn)的idea, OpenAI和DeepMind不斷投入的耐心,強(qiáng)大的工程能力,前沿研究與商業(yè)化的平衡,也是值得學(xué)習(xí)和借鑒的。

不能總是熱淚盈眶,總是不長記性,直到下一個《震驚!XXX的XXX又顛覆世界了》……

本文為轉(zhuǎn)載內(nèi)容,授權(quán)事宜請聯(lián)系原著作權(quán)人。