正在閱讀:

谷歌與英偉達(dá)的AI人才之戰(zhàn):深度解析具身智能領(lǐng)軍人物

掃一掃下載界面新聞APP

谷歌與英偉達(dá)的AI人才之戰(zhàn):深度解析具身智能領(lǐng)軍人物

頂尖AI人才如何塑造具身智能的未來(lái)。

文 | 硅兔賽跑 魏瑪

編輯|Zuri  蔓蔓周

人才與能源,正在成為科技公司AI戰(zhàn)役中必奪的高地塔。

“這場(chǎng)AI的人才之戰(zhàn),是我見(jiàn)過(guò)的最瘋狂的人才爭(zhēng)奪戰(zhàn)!”馬斯克在推特上直言。

就在5月28日,這位特斯拉CEO創(chuàng)辦的AI初創(chuàng)公司——xAI在官網(wǎng)宣布融資60億美元,用于打造超級(jí)計(jì)算機(jī),馬斯克稱(chēng)之為“超級(jí)計(jì)算工廠”。誠(chéng)然,這需要更多人才。馬斯克甚至表示,xAI如果不提供offer,人就被Open AI挖走了。

在這場(chǎng)誰(shuí)也看不到未來(lái)確切形狀的人工智能大模型戰(zhàn)役中,投資一個(gè)靠譜的團(tuán)隊(duì),對(duì)于投資公司來(lái)說(shuō)顯然是最有力的保障。這也是這場(chǎng)人才爭(zhēng)奪戰(zhàn)愈演愈烈的重要原因。

不過(guò),“真正優(yōu)秀的人才通常不會(huì)主動(dòng)找工作,因此需要去挖那些你看好的人才”。OpenAI創(chuàng)始人Sam Altman早年在他的文章中提及。

信息差是這場(chǎng)人才爭(zhēng)奪戰(zhàn)中決定勝負(fù)的關(guān)鍵。

我們的第一篇人才圖譜聚焦這個(gè)科技巨頭們重金押注的領(lǐng)域——具身智能。

如果說(shuō)這場(chǎng)AI戰(zhàn)事的未來(lái)難以預(yù)測(cè),具身智能或許是其中一種終極形態(tài)。英偉達(dá)CEO黃仁勛更是表示,下一個(gè)AI浪潮將是具身智能。

硅兔嘗試梳理了美國(guó)大公司,兩個(gè)AI黃浦軍?!雀韬陀ミ_(dá)的具身智能人才圖譜以及在其中的華裔大佬,或許能為希望在其中進(jìn)行創(chuàng)業(yè)或投資的讀者提供按圖索驥的參考。

「1」根據(jù)谷歌和英偉達(dá)重點(diǎn)具身智能論文和項(xiàng)目一共梳理114名業(yè)界實(shí)戰(zhàn)大佬,其中谷歌占比60%,英偉達(dá)40%,男多(90%)女少(10%)。

「2」8%的研究員學(xué)術(shù)水平比肩美國(guó)科學(xué)院院士。59%的研究員屬于高水平段位。

「3」78%的研究員最高學(xué)歷水平為博士,研究生占比18%,本科生僅占比4%。

「4」華裔在谷歌和英偉達(dá)具身智能研究員中占比約27%。

「5」斯坦福向谷歌和英偉達(dá)輸送了最多具身智能大佬,其次是CMU和MIT,三家學(xué)校輸送的人才占比約1/3。

欲知數(shù)據(jù)詳解及華裔大佬履歷見(jiàn)下

「1」

共計(jì)248名研究員參與了谷歌和英偉達(dá)具身智能研究,剔除62名未在Google Scholar建檔的研究員,剩余186名研究員中,業(yè)界力量占六成、學(xué)界力量占四成。

具體來(lái)看,谷歌獨(dú)立研究能力更強(qiáng),英偉達(dá)借助了多個(gè)頂尖學(xué)校的研究資源。參與英偉達(dá)機(jī)器人研究的高校研究人員達(dá)到45人,占比一半(51%);相較之下,谷歌的這個(gè)比例不到三分之一(27人,28%)。

「2」

聚焦業(yè)界人才,谷歌和英偉達(dá)114位研究員中,男性占比約90%,華裔占比約27%,博士學(xué)歷占比約78%。

在性別比例和族裔方面,谷歌和英偉達(dá)略有差異,谷歌似乎對(duì)女性更友好,有11名女性科學(xué)家加入,而英偉達(dá)只有2名。

英偉達(dá)華裔的比例更高,占比達(dá)40%,而這一比例在Google只有20%。

「3」

斯坦福向谷歌和英偉達(dá)輸送了最多具身智能大佬,其次是CMU和MIT,三家學(xué)校輸送的人才占比約1/3。

 

114位研究員最高學(xué)歷畢業(yè)的院校總共有51所大學(xué)。其中,斯坦福大學(xué)有16人,卡內(nèi)基梅隆大學(xué)有14人,麻省理工學(xué)院有7人,這三所學(xué)校的人數(shù)占比約三分之一,而其他大多數(shù)學(xué)校只有一名學(xué)生。

絕大部分研究人員來(lái)自美國(guó)的院校,但歐洲也有兩所學(xué)校在具身智能領(lǐng)域產(chǎn)生了重大影響:英國(guó)倫敦帝國(guó)理工學(xué)院和牛津大學(xué),畢業(yè)于這兩所學(xué)校的研究人員共有8人。牛津大學(xué)在深度學(xué)習(xí)方面積累了豐富的經(jīng)驗(yàn),并且谷歌收購(gòu)DeepMind后與牛津大學(xué)展開(kāi)了合作,引入了深度學(xué)習(xí)領(lǐng)域的專(zhuān)家。例如,AlphaGo的研發(fā)團(tuán)隊(duì)中就包括了3名牛津大學(xué)在職教授以及4位前牛津大學(xué)的研究人員。

「4」

8%的業(yè)界研究員學(xué)術(shù)水平比肩美國(guó)科學(xué)院院士。59%的業(yè)界研究員屬于高水平段位。谷歌研究員的學(xué)術(shù)能力相較英偉達(dá)更強(qiáng)。

我們采用被引用量和“h”指數(shù)來(lái)衡量學(xué)術(shù)水平?!癶”指數(shù)是一位作者至少具有相同引用次數(shù)(h)的最高發(fā)表論文數(shù)量。例如:某人的h指數(shù)是20,這表示他已發(fā)表的論文中,每篇至少被引用了20次的論文總共有20篇。

一般來(lái)說(shuō),h指數(shù)在10以上可以被認(rèn)為是較高水平,h指數(shù)18屬于高水平,而成為美國(guó)科學(xué)院院士的一般要求是45以上。

這114名企業(yè)研究人員的h指數(shù)表現(xiàn)出了他們相當(dāng)強(qiáng)的研究水平:89%的人的h指數(shù)大于10,59%的人的h指數(shù)大于18,而有8%的人的h指數(shù)甚至超過(guò)了45。

進(jìn)一步比較谷歌和英偉達(dá)的學(xué)術(shù)水平會(huì)發(fā)現(xiàn),谷歌研究人員影響力明顯要比英偉達(dá)高。例如,谷歌企業(yè)研究人員引用量平均數(shù)和h指數(shù)平均數(shù)是12596和23,而英偉達(dá)的這一組數(shù)據(jù)為6418和21。

「5」

谷歌和英偉達(dá)各有約1/10的具身智能研究員離職加入其他公司。

谷歌70人中有7人離開(kāi),占比10%。目前在英偉達(dá)、蘋(píng)果、特斯拉、1x、OpenAI、Figure AI等企業(yè)就職,總體上來(lái)說(shuō)離開(kāi)谷歌的人才較少,絕大多數(shù)人才在Google DeepMind工作。

其中,Scott Reed 2016 年加入 Google DeepMind 從事控制和生成模型方面的工作,后加入英偉達(dá)成為GEAR 團(tuán)隊(duì)的首席研究科學(xué)家。

注:谷歌離職研究員及去向

英偉達(dá)44名具身智能研究人員有4人離開(kāi),占比9%。一人去了谷歌,一人去了Allen Institute for AI研究機(jī)構(gòu),另外兩人選擇創(chuàng)業(yè)。

Igor Mordatch的研究興趣包括機(jī)器學(xué)習(xí)、機(jī)器人學(xué)和多智能體系統(tǒng),他曾是OpenAI的研究科學(xué)家,在斯坦福大學(xué)和Pixar動(dòng)畫(huà)工作室擔(dān)任訪問(wèn)研究員。他共同組織了OpenAI學(xué)者指導(dǎo)計(jì)劃,并擔(dān)任AI4All、Google CS研究指導(dǎo)計(jì)劃和Girls Inc.的導(dǎo)師和教學(xué)助理。離開(kāi)英偉達(dá)后在Google DeepMind擔(dān)任研究科學(xué)家。他發(fā)布文章約123篇,Google Scholar h指數(shù)51,被引用量18752次。

注:英偉達(dá)離職研究員及去向

「6」

“美國(guó)科學(xué)院院士”學(xué)術(shù)水平(h指數(shù)大于45)的研究員,谷歌得6人,英偉達(dá)得1人。他們分別是(按照指數(shù)高低):

谷歌

Nicolas Heess

DeepMind研究科學(xué)家。

2011年發(fā)表論文《Learning a Generative Model of Images by Factoring Appearance and Shape》,彼時(shí)正在攻讀愛(ài)丁堡大學(xué)的神經(jīng)信息學(xué)與計(jì)算神經(jīng)科學(xué)博士學(xué)位,畢業(yè)后在DeepMind工作至今。

早期研究聚焦在機(jī)器視覺(jué)、機(jī)器學(xué)習(xí)、圖形/增強(qiáng)現(xiàn)實(shí)/游戲等領(lǐng)域,目前是英國(guó)UCL計(jì)算機(jī)系榮譽(yù)教授。

發(fā)布約224篇文章 ,Google Scholar h指數(shù)65,被引用量48917次。

Martin Riedmiller

DeepMind研究科學(xué)家。

1986-1996年在德國(guó)University of Karlsruhe(卡爾斯魯厄大學(xué),現(xiàn)在的卡爾斯魯厄理工學(xué)院)學(xué)習(xí)計(jì)算機(jī)專(zhuān)業(yè),并取得博士學(xué)位。畢業(yè)后他一邊在學(xué)術(shù)界任教,一邊創(chuàng)業(yè)。

2002年- 2015年先后在University of Dortmund、University of Osnabrueck、University of Freiburg擔(dān)任教授,帶領(lǐng)Machine Learning Lab;2010 -2015年在德國(guó)巴登創(chuàng)立Cognit - Lab for learning machines。

2015年加入Google DeepMind全職工作。

他的研究領(lǐng)域聚焦人工智能、神經(jīng)網(wǎng)絡(luò)、強(qiáng)化學(xué)習(xí)等,發(fā)布約188篇文章,Google Scholar h指數(shù)59,被引用量84113次。

Vikas Sindhwani

Google DeepMind研究科學(xué)家,領(lǐng)導(dǎo)著一個(gè)專(zhuān)注于解決機(jī)器人領(lǐng)域規(guī)劃、感知、學(xué)習(xí)和控制問(wèn)題的研究小組。

他擁有芝加哥大學(xué)的計(jì)算機(jī)科學(xué)博士學(xué)位和印度理工學(xué)院(IIT)孟買(mǎi)分校的工程物理學(xué)士學(xué)位。

2008年-2015年在IBM T.J. Watson Research Center紐約分部負(fù)責(zé)機(jī)器學(xué)習(xí)組。2015年加入Google DeepMind工作至今。

擔(dān)任《機(jī)器學(xué)習(xí)研究交易》(TMLR)和《IEEE模式分析與機(jī)器智能交易》的編輯委員會(huì)成員;曾是NeurIPS、國(guó)際學(xué)習(xí)表示會(huì)議(ICLR)和知識(shí)發(fā)現(xiàn)與數(shù)據(jù)挖掘(KDD)的領(lǐng)域主席和高級(jí)程序委員會(huì)成員。

研究興趣廣泛涉及統(tǒng)計(jì)機(jī)器學(xué)習(xí)的核心數(shù)學(xué)基礎(chǔ),以及構(gòu)建大規(guī)模、安全、健康人工智能系統(tǒng)的端到端設(shè)計(jì)。

曾獲得人工智能不確定性(UAI-2013)最佳論文獎(jiǎng)和2014年IBM Pat Goldberg紀(jì)念獎(jiǎng);并入圍了ICRA-2022杰出規(guī)劃論文獎(jiǎng)和ICRA-2024機(jī)器人操作最佳論文獎(jiǎng)的決賽。

發(fā)布約137篇文章,Google Scholar h指數(shù)52,被引用量17150次。

Vincent Vanhoucke

Google DeepMind杰出科學(xué)家、機(jī)器人技術(shù)部門(mén)高級(jí)總監(jiān),在谷歌工作超過(guò)16年。

擁有斯坦福大學(xué)電氣工程的博士學(xué)位(1999-2003)和巴黎中央理工學(xué)院的工程師學(xué)位。

曾領(lǐng)導(dǎo)Google Brain的視覺(jué)和感知研究,并負(fù)責(zé)谷歌語(yǔ)音搜索的語(yǔ)音識(shí)別質(zhì)量團(tuán)隊(duì)。共同創(chuàng)立了機(jī)器人學(xué)習(xí)會(huì)議(Conference on Robot Learning)。

研究涵蓋了分布式系統(tǒng)和并行計(jì)算、機(jī)器智能、機(jī)器感知、機(jī)器人和語(yǔ)音處理等多個(gè)領(lǐng)域。發(fā)布約64篇文章,Google Scholar h指數(shù)50,被引用量165519次。

Raia Hadsell

DeepMind研究與機(jī)器人技術(shù)高級(jí)總監(jiān),VP of Research。

2014年加入至今。

在Reed College獲得宗教學(xué)和哲學(xué)學(xué)士學(xué)位后(1990-1994),在紐約大學(xué)與Yann LeCun合作完成博士學(xué)位研究(2003-2008),集中于使用連體神經(jīng)網(wǎng)絡(luò)(今天通常稱(chēng)為“三元損失”)的機(jī)器學(xué)習(xí)、人臉識(shí)別算法,以及在野外使用深度學(xué)習(xí)進(jìn)行移動(dòng)機(jī)器人研究。論文“Learning Long-range vision for offroad robots”獲得了2009年的杰出論文獎(jiǎng)。

在卡內(nèi)基梅隆大學(xué)機(jī)器人研究所做博士后研究,與Drew Bagnell和Martial Hebert合作,然后成為新澤西州普林斯頓市SRI國(guó)際公司視覺(jué)與機(jī)器人組的研究科學(xué)家(2009-2014)。

加入DeepMind之后,研究重點(diǎn)放在人工通用智能領(lǐng)域的一些基本挑戰(zhàn)上,包括持續(xù)學(xué)習(xí)和遷移學(xué)習(xí)、用于機(jī)器人和控制問(wèn)題的深度強(qiáng)化學(xué)習(xí),以及導(dǎo)航的神經(jīng)模型。是一個(gè)新開(kāi)放期刊TMLR的創(chuàng)始人和主編,CoRL的執(zhí)行委員會(huì)成員,歐洲學(xué)習(xí)系統(tǒng)實(shí)驗(yàn)室(ELLIS)的成員,也是NAISys(神經(jīng)科學(xué)與人工智能系統(tǒng))的創(chuàng)始組織者之一。擔(dān)任CIFAR顧問(wèn),并曾擔(dān)任WiML(機(jī)器學(xué)習(xí)中的女性)執(zhí)行委員會(huì)成員。

發(fā)布約107篇文章,Google Scholar h指數(shù)45,被引用量36265次。

Nikhil J Joshi

資料有限,在印度印度理工學(xué)院(Indian Institute of Technology)獲得物理碩士學(xué)位,在印度基礎(chǔ)研究機(jī)構(gòu)Tata Institute of Fundamental Research 獲得分子物理學(xué)博士學(xué)位。2017年加入Google Brain做軟件開(kāi)發(fā),之前在多家企業(yè)任職。Google Scholar h指數(shù)45,被引用量8320次。

英偉達(dá)

Stan Birchfield

英偉達(dá)首席研究科學(xué)家和高級(jí)研究經(jīng)理。

2016年加入,主要負(fù)責(zé)計(jì)算機(jī)視覺(jué)和機(jī)器人技術(shù)的交叉領(lǐng)域,包括學(xué)習(xí)、感知、以及人工智能介導(dǎo)的現(xiàn)實(shí)和交互。

1999年獲得斯坦福大學(xué)電氣工程博士學(xué)位,輔修計(jì)算機(jī)科學(xué)。

畢業(yè)后,加入灣區(qū)初創(chuàng)公司Quindi Corporation擔(dān)任研究工程師,開(kāi)發(fā)智能數(shù)字音頻和視頻算法。

2013-2016年,加入微軟,負(fù)責(zé)開(kāi)發(fā)計(jì)算機(jī)視覺(jué)和機(jī)器人技術(shù)的應(yīng)用與地面實(shí)況導(dǎo)航系統(tǒng),并領(lǐng)導(dǎo)開(kāi)發(fā)了自動(dòng)攝像頭切換功能。

Google Scholar h指數(shù)56,被引用量14315次。

「7」

部分業(yè)界華裔大佬

這114名企業(yè)研究人員中共有31名華裔,重點(diǎn)介紹12名佼佼者,其中谷歌 4人,英偉達(dá) 6人,OpenAI 、1x各1人。

谷歌

Fei Xia(夏斐)

Google DeepMind高級(jí)研究科學(xué)家。

2016年畢業(yè)清華,2021年在斯坦福大學(xué)電氣工程系獲得了博士學(xué)位。

讀博期間曾在NVIDIA的Dieter Fox,Google的Alexander Toshev和Brian Ichter那里做過(guò)研究實(shí)習(xí)。在斯坦福大學(xué)完成博士學(xué)位后,于2021年秋季加入Google的機(jī)器人團(tuán)隊(duì)。

研究興趣包括大規(guī)模和可轉(zhuǎn)移的機(jī)器人模擬,長(zhǎng)期任務(wù)的學(xué)習(xí)算法,以及環(huán)境的幾何和語(yǔ)義表示的結(jié)合。最近研究方向是將基礎(chǔ)模型(Foundation Models)用于智能體的決策過(guò)程中。

學(xué)術(shù)成就包括在ICRA 2023會(huì)議上接受了5篇論文,在CoRL 2022會(huì)議上接受了4篇論文。

代表工作有GibsonEnv, iGibson, SayCan等,iGibson開(kāi)發(fā)用于機(jī)器人學(xué)習(xí)的大規(guī)?;?dòng)環(huán)境,以及在機(jī)器人控制策略中使用模仿學(xué)習(xí)和模型預(yù)測(cè)控制(MPC)的結(jié)合。Google Scholar h指數(shù)為33,引用量為12478。

Andy Zeng

Google DeepMind高級(jí)研究科學(xué)家。

在UC Berkeley獲得了計(jì)算機(jī)科學(xué)和數(shù)學(xué)的雙學(xué)士學(xué)位,并在普林斯頓大學(xué)獲得了計(jì)算機(jī)科學(xué)博士學(xué)位。2019年博士畢業(yè)后加入Google Brain工作,專(zhuān)注于機(jī)器學(xué)習(xí),視覺(jué),語(yǔ)言和機(jī)器人學(xué)習(xí)。

研究興趣包括機(jī)器人學(xué)習(xí),使機(jī)器能夠智能地與世界互動(dòng)并隨著時(shí)間的推移自我提高。

學(xué)術(shù)成就包括在各種會(huì)議上發(fā)表的論文,如ICRA,CVPR,CoRL等。

參與的重要項(xiàng)目包括PaLM-E。

Google Scholar h指數(shù)為32,引用量為12207。

Tianhe Yu

Google DeepMind研究科學(xué)家。

2017年在UC Berkeley獲得了計(jì)算機(jī)科學(xué)、應(yīng)用數(shù)學(xué)和統(tǒng)計(jì)學(xué)的最高榮譽(yù)學(xué)士學(xué)位,2022年在斯坦福大學(xué)獲得了計(jì)算機(jī)科學(xué)博士學(xué)位,導(dǎo)師是Chelsea Finn。

2022年博士畢業(yè)后加入Google Brain工作,專(zhuān)注于機(jī)器學(xué)習(xí),視覺(jué),語(yǔ)言和機(jī)器人學(xué)習(xí)。

研究興趣包括機(jī)器學(xué)習(xí),感知,控制,特別是離線強(qiáng)化學(xué)習(xí)(即從靜態(tài)數(shù)據(jù)集中學(xué)習(xí)),多任務(wù)和元學(xué)習(xí)。最近在探索在決策問(wèn)題中利用基礎(chǔ)模型。

學(xué)術(shù)成就包括在各種會(huì)議上發(fā)表的論文,如ICRA,CVPR,CoRL等。

參與的重要項(xiàng)目包括PaLM-E。

Google Scholar h指數(shù)為25,引用量為7726。

Yuxiang Zhou

Google DeepMind高級(jí)研究工程師。

2010年至2018年間在英國(guó)倫敦帝國(guó)學(xué)院攻讀計(jì)算機(jī)科學(xué)碩士和博士學(xué)位,導(dǎo)師是Stefanos Zafeiriou教授。

2017年9月至2018年3月在Google Brain &DeepMind進(jìn)行了深度強(qiáng)化學(xué)習(xí)和機(jī)器人學(xué)的研究實(shí)習(xí),在2018年12月加入Google DeepMind,擔(dān)任研究工程師。

研究主題包括解決機(jī)器人學(xué)、第三人稱(chēng)模仿學(xué)習(xí)、統(tǒng)計(jì)變形模型的密集形狀研究等。

Google Scholar h指數(shù)為17,引用量為3099。

英偉達(dá)

Linxi Fan(范林熙)

NVIDIA 高級(jí)研究科學(xué)家,也是 GEAR Lab的負(fù)責(zé)人。

在斯坦福大學(xué)視覺(jué)實(shí)驗(yàn)室獲得博士學(xué)位,師從李飛飛教授。

曾在 OpenAI(與 Ilya Sutskever 和 Andrej Karpathy)、百度 AI 實(shí)驗(yàn)室(與 Andrew Ng 和 Dario Amodei 合作)和 MILA(與 Yoshua Bengio 合作)實(shí)習(xí)。

研究探索了多模態(tài)基礎(chǔ)模型、強(qiáng)化學(xué)習(xí)、計(jì)算機(jī)視覺(jué)和大規(guī)模系統(tǒng)的前沿。

率先創(chuàng)建了 Voyager(第一個(gè)熟練玩 Minecraft 并持續(xù)引導(dǎo)其功能的 AI智能體)、MineDojo(通過(guò)觀看 100,000 個(gè) Minecraft YouTube 視頻進(jìn)行開(kāi)放式智能體學(xué)習(xí))、Eureka(一只 5 指機(jī)器人手,執(zhí)行極其靈巧的任務(wù),如筆旋轉(zhuǎn))和 VIMA(最早的機(jī)器人操作多模態(tài)基礎(chǔ)模型之一)。MineDojo 在 NeurIPS 2022 上獲得了優(yōu)秀論文獎(jiǎng)。

Google Scholar h指數(shù)為18,引用量為5619。

Chen-Hsuan Lin

NVIDIA高級(jí)研究科學(xué)家。

本科畢業(yè)于中國(guó)臺(tái)灣大學(xué),獲得了電氣工程學(xué)士學(xué)位。在卡內(nèi)基梅隆大學(xué)獲得了機(jī)器人學(xué)博士學(xué)位,導(dǎo)師是 Simon Lucey,受 NVIDIA 研究生獎(jiǎng)學(xué)金支持。

曾在 Facebook AI 研究和 Adobe 研究進(jìn)行了實(shí)習(xí)。

致力于計(jì)算機(jī)視覺(jué)、計(jì)算機(jī)圖形學(xué)和生成 AI 應(yīng)用。解決涉及 3D 內(nèi)容創(chuàng)建的問(wèn)題感興趣,包括 3D 重建、神經(jīng)渲染、生成模型等。

研究獲得了 TIME 雜志 2023 年度最佳發(fā)明獎(jiǎng)。

Google Scholar h指數(shù)為15,引用量為2752。

De-An Huang(黃德安)

NVIDIA 研究科學(xué)家,專(zhuān)業(yè)領(lǐng)域是計(jì)算機(jī)視覺(jué)、機(jī)器人學(xué)、機(jī)器學(xué)習(xí)、生物信息學(xué)。

斯坦福大學(xué)獲得了計(jì)算機(jī)科學(xué)博士學(xué)位,導(dǎo)師是李飛飛和胡安·卡洛斯·尼布爾斯。在卡內(nèi)基梅隆大學(xué)攻讀碩士學(xué)位期間,曾與Kris Kitani合作,在中國(guó)臺(tái)灣大學(xué)攻讀本科期間,曾與Yu-Chiang Frank Wang合作。

曾是NVIDIA 西雅圖機(jī)器人實(shí)驗(yàn)室的 Dieter Fox、Facebook 應(yīng)用機(jī)器學(xué)習(xí)的 Vignesh Ramanathan 和 Dhruv Mahajan、Microsoft 雷德蒙德研究院的 Zicheng Liu 和匹茲堡迪斯尼研究院的 Leonid Sigal 的實(shí)習(xí)生。

Google Scholar h指數(shù)為32,引用量為4848。

Kaichun Mo(莫?jiǎng)P淳)

NVIDIA Dieter Fox 教授領(lǐng)導(dǎo)的西雅圖機(jī)器人實(shí)驗(yàn)室的研究科學(xué)家。

在斯坦福大學(xué)獲得了計(jì)算機(jī)科學(xué)博士學(xué)位,導(dǎo)師是 Leonidas J. Guibas 教授。曾隸屬于斯坦福大學(xué)的幾何計(jì)算組和人工智能實(shí)驗(yàn)室。在2016年加入斯坦福之前,在上海交通大學(xué)計(jì)算機(jī)科學(xué)ACM班獲得了學(xué)士學(xué)位(PS:上海ACM榮譽(yù)班直博率高達(dá)92%,3次斬獲ACM國(guó)際大學(xué)生程序設(shè)計(jì)競(jìng)賽全球總冠軍,培養(yǎng)出640名計(jì)算機(jī)“最強(qiáng)大腦”)。GPA為3.96/4.30(排名1/33)。

專(zhuān)業(yè)領(lǐng)域是3D計(jì)算機(jī)視覺(jué)、圖形學(xué)、機(jī)器人學(xué)和3D深度學(xué)習(xí),尤其關(guān)注對(duì)象為中心的3D深度學(xué)習(xí),以及針對(duì)3D數(shù)據(jù)的結(jié)構(gòu)化視覺(jué)表示學(xué)習(xí)。

Google Scholar h指數(shù)為20,引用量為17654。

Xinshuo Weng

NVIDIA 研究科學(xué)家,與 Marco Pavone 合作。

她在卡內(nèi)基梅隆大學(xué)與 Kris Kitani 合作獲得了機(jī)器人學(xué)博士學(xué)位(2018-2022 年)和計(jì)算機(jī)視覺(jué)碩士學(xué)位(2016-17 年)。本科畢業(yè)于武漢大學(xué)。

她還曾與 Facebook Reality Lab 的 Yaser Sheikh 合作,擔(dān)任研究工程師,幫助構(gòu)建“逼真的遠(yuǎn)程呈現(xiàn)”。

研究興趣在于自主系統(tǒng)的生成模型和3D計(jì)算機(jī)視覺(jué)。涵蓋目標(biāo)檢測(cè)、多目標(biāo)跟蹤、重新識(shí)別、軌跡預(yù)測(cè)和運(yùn)動(dòng)規(guī)劃等任務(wù)。開(kāi)發(fā)了 3D 多對(duì)象跟蹤系統(tǒng),例如在 GitHub 上獲得 >1,300 顆星的 AB3DMOT。

Google Scholar h指數(shù)為23,引用量為3472。

Zhiding Yu (禹之鼎)

NVIDIA 機(jī)器學(xué)習(xí)研究小組的首席研究科學(xué)家和負(fù)責(zé)人。

2017年從卡內(nèi)基梅隆大學(xué)獲得了電子與計(jì)算機(jī)工程博士學(xué)位,并于2012年從中國(guó)香港科技大學(xué)獲得了電子與計(jì)算機(jī)工程碩士學(xué)位。于2008年從華南理工大學(xué)聯(lián)合電氣工程(馮炳權(quán)實(shí)驗(yàn)班)本科畢業(yè)。

研究興趣主要集中在深度表示學(xué)習(xí)、弱監(jiān)督/半監(jiān)督學(xué)習(xí)、遷移學(xué)習(xí)和深度結(jié)構(gòu)化預(yù)測(cè),以及它們?cè)谝曈X(jué)和機(jī)器人問(wèn)題中的應(yīng)用。

WAD Challenge@CVPR18 中的領(lǐng)域自適應(yīng)語(yǔ)義分割賽道的獲獎(jiǎng)?wù)?。?WACV15 獲得了最佳論文獎(jiǎng)。

Google Scholar h指數(shù)為42,引用量為17064。

OpenAI

Mengyuan Yan

技術(shù)人員。

2014年獲得北京大學(xué)物理學(xué)學(xué)士,2020年獲得斯坦福大學(xué)電子電器工程博士學(xué)位。

Interactive Perception and Robot Learning Lab(IPRL)的成員,該實(shí)驗(yàn)室是斯坦福AI Lab的一部分,導(dǎo)師是Jeannette Bohg和Leonidas Guibas。

研究領(lǐng)域包括計(jì)算機(jī)視覺(jué)、機(jī)器學(xué)習(xí)、機(jī)器人學(xué)和生成模型。

共發(fā)布28篇文章,Google scholar h指數(shù)15,被引用量4664次。

1X Technologies

Eric Jang

AI副總裁。

2016年畢業(yè)于布朗大學(xué)碩士,專(zhuān)業(yè)是計(jì)算機(jī)科學(xué)。

2016 - 2022年在Google工作,擔(dān)任機(jī)器人高級(jí)研究科學(xué)家,

研究主要集中在將機(jī)器學(xué)習(xí)原則應(yīng)用于機(jī)器人領(lǐng)域,開(kāi)發(fā)了 Tensor2Robot,這是機(jī)器人操作團(tuán)隊(duì)和 Everyday Robots 使用的 ML 框架(直到 TensorFlow 1 被棄用);是Brain Moonshot團(tuán)隊(duì)的共同負(fù)責(zé)人,該團(tuán)隊(duì)制作了SayCan。

2022年4月離開(kāi)Google Robotics,加入1X Technologies(原名Halodi Robotics),帶領(lǐng)團(tuán)隊(duì)完成了兩項(xiàng)重要工作,一個(gè)是通過(guò)端到端的神經(jīng)網(wǎng)絡(luò),實(shí)現(xiàn)了人形機(jī)器人EVE的自主性。

7篇論文的第一作者,合著15+以上,Google scholar h指數(shù)為23,引用量為11213。寫(xiě)了一本書(shū)《AI is Good for You》講訴人工智能的歷史和未來(lái)。

「8」

通過(guò)重點(diǎn)研究論文和實(shí)驗(yàn)項(xiàng)目鎖定谷歌和英偉達(dá)的具身智能人才。

谷歌重基礎(chǔ)模型研究,其具身智能人才參與的重點(diǎn)研究發(fā)布包括:

SayCan:能夠?qū)⒏邔蛹?jí)任務(wù)拆解為可執(zhí)行的子任務(wù)。

Gato:將多模態(tài)數(shù)據(jù)進(jìn)行token化輸入Transformer架構(gòu)。

RT-1:將機(jī)器人軌跡數(shù)據(jù)輸入Transformer架構(gòu),得到離散化動(dòng)作token。

PaLM-E:在PaLM通用模型基礎(chǔ)上,進(jìn)一步提升了多模態(tài)性能。

RoboCat:將多模態(tài)模型Gato與機(jī)器人數(shù)據(jù)集相結(jié)合,使得RoboCat具備在模擬環(huán)境與物理環(huán)境中處理語(yǔ)言、圖像和動(dòng)作等任務(wù)的能力。

RT-2:是RT-1模型與PaLM-E模型的結(jié)合,使機(jī)器人模型從VLM進(jìn)化到VLA。

RT-X:在保持原有架構(gòu)的基礎(chǔ)上,全面提升了具身智能的五種能力。

以上模型逐步實(shí)現(xiàn)了模型自主可靠決策、多模態(tài)感知和實(shí)時(shí)精準(zhǔn)運(yùn)控能力的結(jié)合,同時(shí)展現(xiàn)出泛化能力和思維鏈能力。

綜合以上研究論文,共梳理143名谷歌研究員。

英偉達(dá)重仿真模擬訓(xùn)練,其具身智能人才參與的實(shí)驗(yàn)項(xiàng)目包括:

Eureka:利用大型語(yǔ)言模型進(jìn)行強(qiáng)化學(xué)習(xí)的獎(jiǎng)勵(lì)機(jī)制設(shè)計(jì)

Voyager:開(kāi)放世界中用大語(yǔ)言模型驅(qū)動(dòng)智能體

MimicPlay:通過(guò)觀察人類(lèi)動(dòng)作進(jìn)行長(zhǎng)距離模仿學(xué)習(xí)

VIMA:多模態(tài)指令操控執(zhí)行通用機(jī)器人任務(wù)

MinDojo:利用互聯(lián)網(wǎng)規(guī)模級(jí)數(shù)據(jù)建立開(kāi)放具身智能體

此外,英偉達(dá)在2024年重點(diǎn)發(fā)力具身智能,官宣成立通用具身智能研究GEAR(Generalist Embodied Agent Research)實(shí)驗(yàn)室,主要圍繞多模態(tài)基礎(chǔ)模型、通用型機(jī)器人研究、虛擬世界中的基礎(chǔ)智能體以及模擬與合成數(shù)據(jù)技術(shù)四個(gè)關(guān)鍵領(lǐng)域開(kāi)展研究,旨在推動(dòng)大模型等AI技術(shù)由虛擬世界向現(xiàn)實(shí)世界發(fā)展。

本文首先梳理了上述提到的Google核心項(xiàng)目論文共7篇,每篇論文都詳細(xì)列出了項(xiàng)目研究人員,并清晰地公布了他們的具體工作內(nèi)容。

英偉達(dá)的研究頁(yè)面公布了參與robotics項(xiàng)目的人員名單,共計(jì)54名;另外綜合考慮GEAR發(fā)布的所有論文作者,共梳理出105名具身智能研究人員。

附錄:谷歌、英偉達(dá)具身智能百人列表

附錄:論文及網(wǎng)頁(yè)

Google核心項(xiàng)目論文:

Do As I Can, Not As I Say: Grounding Language in Robotic Affordances

https://say-can.github.io/

AutoRT: Embodied Foundation Models for Large Scale Orchestration of Robotic Agents

https://auto-rt.github.io/

SARA-RT: Scaling up Robotics Transformers with Self-Adaptive Robust Attention

https://arxiv.org/pdf/2312.01990

RoboCat: A Self-Improving Generalist Agent for Robotic Manipulation

https://arxiv.org/pdf/2306.11706

RT-Trajectory: Robotic Task Generalization via Hindsight Trajectory Sketches

https://arxiv.org/pdf/2311.01977

RT-1: Robotics Transformer for real-world control at scale

https://arxiv.org/pdf/2212.06817

RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control

https://arxiv.org/pdf/2307.15818

NVIDIA研究robotics論文研究人員名單:

https://research.NVIDIA.com/research-area/robotics

GEAR團(tuán)隊(duì)發(fā)表論文:

https://research.NVIDIA.com/labs/gear/publications/

本文為轉(zhuǎn)載內(nèi)容,授權(quán)事宜請(qǐng)聯(lián)系原著作權(quán)人。

英偉達(dá)

8.3k
  • 中金科工業(yè)美股盤(pán)前一度漲近700%
  • AI算力競(jìng)爭(zhēng)白熱化,一家新公司如何在英偉達(dá)“高墻”內(nèi)找機(jī)會(huì)?

評(píng)論

暫無(wú)評(píng)論哦,快來(lái)評(píng)價(jià)一下吧!

下載界面新聞

微信公眾號(hào)

微博

谷歌與英偉達(dá)的AI人才之戰(zhàn):深度解析具身智能領(lǐng)軍人物

頂尖AI人才如何塑造具身智能的未來(lái)。

文 | 硅兔賽跑 魏瑪

編輯|Zuri  蔓蔓周

人才與能源,正在成為科技公司AI戰(zhàn)役中必奪的高地塔。

“這場(chǎng)AI的人才之戰(zhàn),是我見(jiàn)過(guò)的最瘋狂的人才爭(zhēng)奪戰(zhàn)!”馬斯克在推特上直言。

就在5月28日,這位特斯拉CEO創(chuàng)辦的AI初創(chuàng)公司——xAI在官網(wǎng)宣布融資60億美元,用于打造超級(jí)計(jì)算機(jī),馬斯克稱(chēng)之為“超級(jí)計(jì)算工廠”。誠(chéng)然,這需要更多人才。馬斯克甚至表示,xAI如果不提供offer,人就被Open AI挖走了。

在這場(chǎng)誰(shuí)也看不到未來(lái)確切形狀的人工智能大模型戰(zhàn)役中,投資一個(gè)靠譜的團(tuán)隊(duì),對(duì)于投資公司來(lái)說(shuō)顯然是最有力的保障。這也是這場(chǎng)人才爭(zhēng)奪戰(zhàn)愈演愈烈的重要原因。

不過(guò),“真正優(yōu)秀的人才通常不會(huì)主動(dòng)找工作,因此需要去挖那些你看好的人才”。OpenAI創(chuàng)始人Sam Altman早年在他的文章中提及。

信息差是這場(chǎng)人才爭(zhēng)奪戰(zhàn)中決定勝負(fù)的關(guān)鍵。

我們的第一篇人才圖譜聚焦這個(gè)科技巨頭們重金押注的領(lǐng)域——具身智能。

如果說(shuō)這場(chǎng)AI戰(zhàn)事的未來(lái)難以預(yù)測(cè),具身智能或許是其中一種終極形態(tài)。英偉達(dá)CEO黃仁勛更是表示,下一個(gè)AI浪潮將是具身智能。

硅兔嘗試梳理了美國(guó)大公司,兩個(gè)AI黃浦軍?!雀韬陀ミ_(dá)的具身智能人才圖譜以及在其中的華裔大佬,或許能為希望在其中進(jìn)行創(chuàng)業(yè)或投資的讀者提供按圖索驥的參考。

「1」根據(jù)谷歌和英偉達(dá)重點(diǎn)具身智能論文和項(xiàng)目一共梳理114名業(yè)界實(shí)戰(zhàn)大佬,其中谷歌占比60%,英偉達(dá)40%,男多(90%)女少(10%)。

「2」8%的研究員學(xué)術(shù)水平比肩美國(guó)科學(xué)院院士。59%的研究員屬于高水平段位。

「3」78%的研究員最高學(xué)歷水平為博士,研究生占比18%,本科生僅占比4%。

「4」華裔在谷歌和英偉達(dá)具身智能研究員中占比約27%。

「5」斯坦福向谷歌和英偉達(dá)輸送了最多具身智能大佬,其次是CMU和MIT,三家學(xué)校輸送的人才占比約1/3。

欲知數(shù)據(jù)詳解及華裔大佬履歷見(jiàn)下

「1」

共計(jì)248名研究員參與了谷歌和英偉達(dá)具身智能研究,剔除62名未在Google Scholar建檔的研究員,剩余186名研究員中,業(yè)界力量占六成、學(xué)界力量占四成。

具體來(lái)看,谷歌獨(dú)立研究能力更強(qiáng),英偉達(dá)借助了多個(gè)頂尖學(xué)校的研究資源。參與英偉達(dá)機(jī)器人研究的高校研究人員達(dá)到45人,占比一半(51%);相較之下,谷歌的這個(gè)比例不到三分之一(27人,28%)。

「2」

聚焦業(yè)界人才,谷歌和英偉達(dá)114位研究員中,男性占比約90%,華裔占比約27%,博士學(xué)歷占比約78%。

在性別比例和族裔方面,谷歌和英偉達(dá)略有差異,谷歌似乎對(duì)女性更友好,有11名女性科學(xué)家加入,而英偉達(dá)只有2名。

英偉達(dá)華裔的比例更高,占比達(dá)40%,而這一比例在Google只有20%。

「3」

斯坦福向谷歌和英偉達(dá)輸送了最多具身智能大佬,其次是CMU和MIT,三家學(xué)校輸送的人才占比約1/3。

 

114位研究員最高學(xué)歷畢業(yè)的院??偣灿?1所大學(xué)。其中,斯坦福大學(xué)有16人,卡內(nèi)基梅隆大學(xué)有14人,麻省理工學(xué)院有7人,這三所學(xué)校的人數(shù)占比約三分之一,而其他大多數(shù)學(xué)校只有一名學(xué)生。

絕大部分研究人員來(lái)自美國(guó)的院校,但歐洲也有兩所學(xué)校在具身智能領(lǐng)域產(chǎn)生了重大影響:英國(guó)倫敦帝國(guó)理工學(xué)院和牛津大學(xué),畢業(yè)于這兩所學(xué)校的研究人員共有8人。牛津大學(xué)在深度學(xué)習(xí)方面積累了豐富的經(jīng)驗(yàn),并且谷歌收購(gòu)DeepMind后與牛津大學(xué)展開(kāi)了合作,引入了深度學(xué)習(xí)領(lǐng)域的專(zhuān)家。例如,AlphaGo的研發(fā)團(tuán)隊(duì)中就包括了3名牛津大學(xué)在職教授以及4位前牛津大學(xué)的研究人員。

「4」

8%的業(yè)界研究員學(xué)術(shù)水平比肩美國(guó)科學(xué)院院士。59%的業(yè)界研究員屬于高水平段位。谷歌研究員的學(xué)術(shù)能力相較英偉達(dá)更強(qiáng)。

我們采用被引用量和“h”指數(shù)來(lái)衡量學(xué)術(shù)水平?!癶”指數(shù)是一位作者至少具有相同引用次數(shù)(h)的最高發(fā)表論文數(shù)量。例如:某人的h指數(shù)是20,這表示他已發(fā)表的論文中,每篇至少被引用了20次的論文總共有20篇。

一般來(lái)說(shuō),h指數(shù)在10以上可以被認(rèn)為是較高水平,h指數(shù)18屬于高水平,而成為美國(guó)科學(xué)院院士的一般要求是45以上。

這114名企業(yè)研究人員的h指數(shù)表現(xiàn)出了他們相當(dāng)強(qiáng)的研究水平:89%的人的h指數(shù)大于10,59%的人的h指數(shù)大于18,而有8%的人的h指數(shù)甚至超過(guò)了45。

進(jìn)一步比較谷歌和英偉達(dá)的學(xué)術(shù)水平會(huì)發(fā)現(xiàn),谷歌研究人員影響力明顯要比英偉達(dá)高。例如,谷歌企業(yè)研究人員引用量平均數(shù)和h指數(shù)平均數(shù)是12596和23,而英偉達(dá)的這一組數(shù)據(jù)為6418和21。

「5」

谷歌和英偉達(dá)各有約1/10的具身智能研究員離職加入其他公司。

谷歌70人中有7人離開(kāi),占比10%。目前在英偉達(dá)、蘋(píng)果、特斯拉、1x、OpenAI、Figure AI等企業(yè)就職,總體上來(lái)說(shuō)離開(kāi)谷歌的人才較少,絕大多數(shù)人才在Google DeepMind工作。

其中,Scott Reed 2016 年加入 Google DeepMind 從事控制和生成模型方面的工作,后加入英偉達(dá)成為GEAR 團(tuán)隊(duì)的首席研究科學(xué)家。

注:谷歌離職研究員及去向

英偉達(dá)44名具身智能研究人員有4人離開(kāi),占比9%。一人去了谷歌,一人去了Allen Institute for AI研究機(jī)構(gòu),另外兩人選擇創(chuàng)業(yè)。

Igor Mordatch的研究興趣包括機(jī)器學(xué)習(xí)、機(jī)器人學(xué)和多智能體系統(tǒng),他曾是OpenAI的研究科學(xué)家,在斯坦福大學(xué)和Pixar動(dòng)畫(huà)工作室擔(dān)任訪問(wèn)研究員。他共同組織了OpenAI學(xué)者指導(dǎo)計(jì)劃,并擔(dān)任AI4All、Google CS研究指導(dǎo)計(jì)劃和Girls Inc.的導(dǎo)師和教學(xué)助理。離開(kāi)英偉達(dá)后在Google DeepMind擔(dān)任研究科學(xué)家。他發(fā)布文章約123篇,Google Scholar h指數(shù)51,被引用量18752次。

注:英偉達(dá)離職研究員及去向

「6」

“美國(guó)科學(xué)院院士”學(xué)術(shù)水平(h指數(shù)大于45)的研究員,谷歌得6人,英偉達(dá)得1人。他們分別是(按照指數(shù)高低):

谷歌

Nicolas Heess

DeepMind研究科學(xué)家。

2011年發(fā)表論文《Learning a Generative Model of Images by Factoring Appearance and Shape》,彼時(shí)正在攻讀愛(ài)丁堡大學(xué)的神經(jīng)信息學(xué)與計(jì)算神經(jīng)科學(xué)博士學(xué)位,畢業(yè)后在DeepMind工作至今。

早期研究聚焦在機(jī)器視覺(jué)、機(jī)器學(xué)習(xí)、圖形/增強(qiáng)現(xiàn)實(shí)/游戲等領(lǐng)域,目前是英國(guó)UCL計(jì)算機(jī)系榮譽(yù)教授。

發(fā)布約224篇文章 ,Google Scholar h指數(shù)65,被引用量48917次。

Martin Riedmiller

DeepMind研究科學(xué)家。

1986-1996年在德國(guó)University of Karlsruhe(卡爾斯魯厄大學(xué),現(xiàn)在的卡爾斯魯厄理工學(xué)院)學(xué)習(xí)計(jì)算機(jī)專(zhuān)業(yè),并取得博士學(xué)位。畢業(yè)后他一邊在學(xué)術(shù)界任教,一邊創(chuàng)業(yè)。

2002年- 2015年先后在University of Dortmund、University of Osnabrueck、University of Freiburg擔(dān)任教授,帶領(lǐng)Machine Learning Lab;2010 -2015年在德國(guó)巴登創(chuàng)立Cognit - Lab for learning machines。

2015年加入Google DeepMind全職工作。

他的研究領(lǐng)域聚焦人工智能、神經(jīng)網(wǎng)絡(luò)、強(qiáng)化學(xué)習(xí)等,發(fā)布約188篇文章,Google Scholar h指數(shù)59,被引用量84113次。

Vikas Sindhwani

Google DeepMind研究科學(xué)家,領(lǐng)導(dǎo)著一個(gè)專(zhuān)注于解決機(jī)器人領(lǐng)域規(guī)劃、感知、學(xué)習(xí)和控制問(wèn)題的研究小組。

他擁有芝加哥大學(xué)的計(jì)算機(jī)科學(xué)博士學(xué)位和印度理工學(xué)院(IIT)孟買(mǎi)分校的工程物理學(xué)士學(xué)位。

2008年-2015年在IBM T.J. Watson Research Center紐約分部負(fù)責(zé)機(jī)器學(xué)習(xí)組。2015年加入Google DeepMind工作至今。

擔(dān)任《機(jī)器學(xué)習(xí)研究交易》(TMLR)和《IEEE模式分析與機(jī)器智能交易》的編輯委員會(huì)成員;曾是NeurIPS、國(guó)際學(xué)習(xí)表示會(huì)議(ICLR)和知識(shí)發(fā)現(xiàn)與數(shù)據(jù)挖掘(KDD)的領(lǐng)域主席和高級(jí)程序委員會(huì)成員。

研究興趣廣泛涉及統(tǒng)計(jì)機(jī)器學(xué)習(xí)的核心數(shù)學(xué)基礎(chǔ),以及構(gòu)建大規(guī)模、安全、健康人工智能系統(tǒng)的端到端設(shè)計(jì)。

曾獲得人工智能不確定性(UAI-2013)最佳論文獎(jiǎng)和2014年IBM Pat Goldberg紀(jì)念獎(jiǎng);并入圍了ICRA-2022杰出規(guī)劃論文獎(jiǎng)和ICRA-2024機(jī)器人操作最佳論文獎(jiǎng)的決賽。

發(fā)布約137篇文章,Google Scholar h指數(shù)52,被引用量17150次。

Vincent Vanhoucke

Google DeepMind杰出科學(xué)家、機(jī)器人技術(shù)部門(mén)高級(jí)總監(jiān),在谷歌工作超過(guò)16年。

擁有斯坦福大學(xué)電氣工程的博士學(xué)位(1999-2003)和巴黎中央理工學(xué)院的工程師學(xué)位。

曾領(lǐng)導(dǎo)Google Brain的視覺(jué)和感知研究,并負(fù)責(zé)谷歌語(yǔ)音搜索的語(yǔ)音識(shí)別質(zhì)量團(tuán)隊(duì)。共同創(chuàng)立了機(jī)器人學(xué)習(xí)會(huì)議(Conference on Robot Learning)。

研究涵蓋了分布式系統(tǒng)和并行計(jì)算、機(jī)器智能、機(jī)器感知、機(jī)器人和語(yǔ)音處理等多個(gè)領(lǐng)域。發(fā)布約64篇文章,Google Scholar h指數(shù)50,被引用量165519次。

Raia Hadsell

DeepMind研究與機(jī)器人技術(shù)高級(jí)總監(jiān),VP of Research。

2014年加入至今。

在Reed College獲得宗教學(xué)和哲學(xué)學(xué)士學(xué)位后(1990-1994),在紐約大學(xué)與Yann LeCun合作完成博士學(xué)位研究(2003-2008),集中于使用連體神經(jīng)網(wǎng)絡(luò)(今天通常稱(chēng)為“三元損失”)的機(jī)器學(xué)習(xí)、人臉識(shí)別算法,以及在野外使用深度學(xué)習(xí)進(jìn)行移動(dòng)機(jī)器人研究。論文“Learning Long-range vision for offroad robots”獲得了2009年的杰出論文獎(jiǎng)。

在卡內(nèi)基梅隆大學(xué)機(jī)器人研究所做博士后研究,與Drew Bagnell和Martial Hebert合作,然后成為新澤西州普林斯頓市SRI國(guó)際公司視覺(jué)與機(jī)器人組的研究科學(xué)家(2009-2014)。

加入DeepMind之后,研究重點(diǎn)放在人工通用智能領(lǐng)域的一些基本挑戰(zhàn)上,包括持續(xù)學(xué)習(xí)和遷移學(xué)習(xí)、用于機(jī)器人和控制問(wèn)題的深度強(qiáng)化學(xué)習(xí),以及導(dǎo)航的神經(jīng)模型。是一個(gè)新開(kāi)放期刊TMLR的創(chuàng)始人和主編,CoRL的執(zhí)行委員會(huì)成員,歐洲學(xué)習(xí)系統(tǒng)實(shí)驗(yàn)室(ELLIS)的成員,也是NAISys(神經(jīng)科學(xué)與人工智能系統(tǒng))的創(chuàng)始組織者之一。擔(dān)任CIFAR顧問(wèn),并曾擔(dān)任WiML(機(jī)器學(xué)習(xí)中的女性)執(zhí)行委員會(huì)成員。

發(fā)布約107篇文章,Google Scholar h指數(shù)45,被引用量36265次。

Nikhil J Joshi

資料有限,在印度印度理工學(xué)院(Indian Institute of Technology)獲得物理碩士學(xué)位,在印度基礎(chǔ)研究機(jī)構(gòu)Tata Institute of Fundamental Research 獲得分子物理學(xué)博士學(xué)位。2017年加入Google Brain做軟件開(kāi)發(fā),之前在多家企業(yè)任職。Google Scholar h指數(shù)45,被引用量8320次。

英偉達(dá)

Stan Birchfield

英偉達(dá)首席研究科學(xué)家和高級(jí)研究經(jīng)理。

2016年加入,主要負(fù)責(zé)計(jì)算機(jī)視覺(jué)和機(jī)器人技術(shù)的交叉領(lǐng)域,包括學(xué)習(xí)、感知、以及人工智能介導(dǎo)的現(xiàn)實(shí)和交互。

1999年獲得斯坦福大學(xué)電氣工程博士學(xué)位,輔修計(jì)算機(jī)科學(xué)。

畢業(yè)后,加入灣區(qū)初創(chuàng)公司Quindi Corporation擔(dān)任研究工程師,開(kāi)發(fā)智能數(shù)字音頻和視頻算法。

2013-2016年,加入微軟,負(fù)責(zé)開(kāi)發(fā)計(jì)算機(jī)視覺(jué)和機(jī)器人技術(shù)的應(yīng)用與地面實(shí)況導(dǎo)航系統(tǒng),并領(lǐng)導(dǎo)開(kāi)發(fā)了自動(dòng)攝像頭切換功能。

Google Scholar h指數(shù)56,被引用量14315次。

「7」

部分業(yè)界華裔大佬

這114名企業(yè)研究人員中共有31名華裔,重點(diǎn)介紹12名佼佼者,其中谷歌 4人,英偉達(dá) 6人,OpenAI 、1x各1人。

谷歌

Fei Xia(夏斐)

Google DeepMind高級(jí)研究科學(xué)家。

2016年畢業(yè)清華,2021年在斯坦福大學(xué)電氣工程系獲得了博士學(xué)位。

讀博期間曾在NVIDIA的Dieter Fox,Google的Alexander Toshev和Brian Ichter那里做過(guò)研究實(shí)習(xí)。在斯坦福大學(xué)完成博士學(xué)位后,于2021年秋季加入Google的機(jī)器人團(tuán)隊(duì)。

研究興趣包括大規(guī)模和可轉(zhuǎn)移的機(jī)器人模擬,長(zhǎng)期任務(wù)的學(xué)習(xí)算法,以及環(huán)境的幾何和語(yǔ)義表示的結(jié)合。最近研究方向是將基礎(chǔ)模型(Foundation Models)用于智能體的決策過(guò)程中。

學(xué)術(shù)成就包括在ICRA 2023會(huì)議上接受了5篇論文,在CoRL 2022會(huì)議上接受了4篇論文。

代表工作有GibsonEnv, iGibson, SayCan等,iGibson開(kāi)發(fā)用于機(jī)器人學(xué)習(xí)的大規(guī)?;?dòng)環(huán)境,以及在機(jī)器人控制策略中使用模仿學(xué)習(xí)和模型預(yù)測(cè)控制(MPC)的結(jié)合。Google Scholar h指數(shù)為33,引用量為12478。

Andy Zeng

Google DeepMind高級(jí)研究科學(xué)家。

在UC Berkeley獲得了計(jì)算機(jī)科學(xué)和數(shù)學(xué)的雙學(xué)士學(xué)位,并在普林斯頓大學(xué)獲得了計(jì)算機(jī)科學(xué)博士學(xué)位。2019年博士畢業(yè)后加入Google Brain工作,專(zhuān)注于機(jī)器學(xué)習(xí),視覺(jué),語(yǔ)言和機(jī)器人學(xué)習(xí)。

研究興趣包括機(jī)器人學(xué)習(xí),使機(jī)器能夠智能地與世界互動(dòng)并隨著時(shí)間的推移自我提高。

學(xué)術(shù)成就包括在各種會(huì)議上發(fā)表的論文,如ICRA,CVPR,CoRL等。

參與的重要項(xiàng)目包括PaLM-E。

Google Scholar h指數(shù)為32,引用量為12207。

Tianhe Yu

Google DeepMind研究科學(xué)家。

2017年在UC Berkeley獲得了計(jì)算機(jī)科學(xué)、應(yīng)用數(shù)學(xué)和統(tǒng)計(jì)學(xué)的最高榮譽(yù)學(xué)士學(xué)位,2022年在斯坦福大學(xué)獲得了計(jì)算機(jī)科學(xué)博士學(xué)位,導(dǎo)師是Chelsea Finn。

2022年博士畢業(yè)后加入Google Brain工作,專(zhuān)注于機(jī)器學(xué)習(xí),視覺(jué),語(yǔ)言和機(jī)器人學(xué)習(xí)。

研究興趣包括機(jī)器學(xué)習(xí),感知,控制,特別是離線強(qiáng)化學(xué)習(xí)(即從靜態(tài)數(shù)據(jù)集中學(xué)習(xí)),多任務(wù)和元學(xué)習(xí)。最近在探索在決策問(wèn)題中利用基礎(chǔ)模型。

學(xué)術(shù)成就包括在各種會(huì)議上發(fā)表的論文,如ICRA,CVPR,CoRL等。

參與的重要項(xiàng)目包括PaLM-E。

Google Scholar h指數(shù)為25,引用量為7726。

Yuxiang Zhou

Google DeepMind高級(jí)研究工程師。

2010年至2018年間在英國(guó)倫敦帝國(guó)學(xué)院攻讀計(jì)算機(jī)科學(xué)碩士和博士學(xué)位,導(dǎo)師是Stefanos Zafeiriou教授。

2017年9月至2018年3月在Google Brain &DeepMind進(jìn)行了深度強(qiáng)化學(xué)習(xí)和機(jī)器人學(xué)的研究實(shí)習(xí),在2018年12月加入Google DeepMind,擔(dān)任研究工程師。

研究主題包括解決機(jī)器人學(xué)、第三人稱(chēng)模仿學(xué)習(xí)、統(tǒng)計(jì)變形模型的密集形狀研究等。

Google Scholar h指數(shù)為17,引用量為3099。

英偉達(dá)

Linxi Fan(范林熙)

NVIDIA 高級(jí)研究科學(xué)家,也是 GEAR Lab的負(fù)責(zé)人。

在斯坦福大學(xué)視覺(jué)實(shí)驗(yàn)室獲得博士學(xué)位,師從李飛飛教授。

曾在 OpenAI(與 Ilya Sutskever 和 Andrej Karpathy)、百度 AI 實(shí)驗(yàn)室(與 Andrew Ng 和 Dario Amodei 合作)和 MILA(與 Yoshua Bengio 合作)實(shí)習(xí)。

研究探索了多模態(tài)基礎(chǔ)模型、強(qiáng)化學(xué)習(xí)、計(jì)算機(jī)視覺(jué)和大規(guī)模系統(tǒng)的前沿。

率先創(chuàng)建了 Voyager(第一個(gè)熟練玩 Minecraft 并持續(xù)引導(dǎo)其功能的 AI智能體)、MineDojo(通過(guò)觀看 100,000 個(gè) Minecraft YouTube 視頻進(jìn)行開(kāi)放式智能體學(xué)習(xí))、Eureka(一只 5 指機(jī)器人手,執(zhí)行極其靈巧的任務(wù),如筆旋轉(zhuǎn))和 VIMA(最早的機(jī)器人操作多模態(tài)基礎(chǔ)模型之一)。MineDojo 在 NeurIPS 2022 上獲得了優(yōu)秀論文獎(jiǎng)。

Google Scholar h指數(shù)為18,引用量為5619。

Chen-Hsuan Lin

NVIDIA高級(jí)研究科學(xué)家。

本科畢業(yè)于中國(guó)臺(tái)灣大學(xué),獲得了電氣工程學(xué)士學(xué)位。在卡內(nèi)基梅隆大學(xué)獲得了機(jī)器人學(xué)博士學(xué)位,導(dǎo)師是 Simon Lucey,受 NVIDIA 研究生獎(jiǎng)學(xué)金支持。

曾在 Facebook AI 研究和 Adobe 研究進(jìn)行了實(shí)習(xí)。

致力于計(jì)算機(jī)視覺(jué)、計(jì)算機(jī)圖形學(xué)和生成 AI 應(yīng)用。解決涉及 3D 內(nèi)容創(chuàng)建的問(wèn)題感興趣,包括 3D 重建、神經(jīng)渲染、生成模型等。

研究獲得了 TIME 雜志 2023 年度最佳發(fā)明獎(jiǎng)。

Google Scholar h指數(shù)為15,引用量為2752。

De-An Huang(黃德安)

NVIDIA 研究科學(xué)家,專(zhuān)業(yè)領(lǐng)域是計(jì)算機(jī)視覺(jué)、機(jī)器人學(xué)、機(jī)器學(xué)習(xí)、生物信息學(xué)。

斯坦福大學(xué)獲得了計(jì)算機(jī)科學(xué)博士學(xué)位,導(dǎo)師是李飛飛和胡安·卡洛斯·尼布爾斯。在卡內(nèi)基梅隆大學(xué)攻讀碩士學(xué)位期間,曾與Kris Kitani合作,在中國(guó)臺(tái)灣大學(xué)攻讀本科期間,曾與Yu-Chiang Frank Wang合作。

曾是NVIDIA 西雅圖機(jī)器人實(shí)驗(yàn)室的 Dieter Fox、Facebook 應(yīng)用機(jī)器學(xué)習(xí)的 Vignesh Ramanathan 和 Dhruv Mahajan、Microsoft 雷德蒙德研究院的 Zicheng Liu 和匹茲堡迪斯尼研究院的 Leonid Sigal 的實(shí)習(xí)生。

Google Scholar h指數(shù)為32,引用量為4848。

Kaichun Mo(莫?jiǎng)P淳)

NVIDIA Dieter Fox 教授領(lǐng)導(dǎo)的西雅圖機(jī)器人實(shí)驗(yàn)室的研究科學(xué)家。

在斯坦福大學(xué)獲得了計(jì)算機(jī)科學(xué)博士學(xué)位,導(dǎo)師是 Leonidas J. Guibas 教授。曾隸屬于斯坦福大學(xué)的幾何計(jì)算組和人工智能實(shí)驗(yàn)室。在2016年加入斯坦福之前,在上海交通大學(xué)計(jì)算機(jī)科學(xué)ACM班獲得了學(xué)士學(xué)位(PS:上海ACM榮譽(yù)班直博率高達(dá)92%,3次斬獲ACM國(guó)際大學(xué)生程序設(shè)計(jì)競(jìng)賽全球總冠軍,培養(yǎng)出640名計(jì)算機(jī)“最強(qiáng)大腦”)。GPA為3.96/4.30(排名1/33)。

專(zhuān)業(yè)領(lǐng)域是3D計(jì)算機(jī)視覺(jué)、圖形學(xué)、機(jī)器人學(xué)和3D深度學(xué)習(xí),尤其關(guān)注對(duì)象為中心的3D深度學(xué)習(xí),以及針對(duì)3D數(shù)據(jù)的結(jié)構(gòu)化視覺(jué)表示學(xué)習(xí)。

Google Scholar h指數(shù)為20,引用量為17654。

Xinshuo Weng

NVIDIA 研究科學(xué)家,與 Marco Pavone 合作。

她在卡內(nèi)基梅隆大學(xué)與 Kris Kitani 合作獲得了機(jī)器人學(xué)博士學(xué)位(2018-2022 年)和計(jì)算機(jī)視覺(jué)碩士學(xué)位(2016-17 年)。本科畢業(yè)于武漢大學(xué)。

她還曾與 Facebook Reality Lab 的 Yaser Sheikh 合作,擔(dān)任研究工程師,幫助構(gòu)建“逼真的遠(yuǎn)程呈現(xiàn)”。

研究興趣在于自主系統(tǒng)的生成模型和3D計(jì)算機(jī)視覺(jué)。涵蓋目標(biāo)檢測(cè)、多目標(biāo)跟蹤、重新識(shí)別、軌跡預(yù)測(cè)和運(yùn)動(dòng)規(guī)劃等任務(wù)。開(kāi)發(fā)了 3D 多對(duì)象跟蹤系統(tǒng),例如在 GitHub 上獲得 >1,300 顆星的 AB3DMOT。

Google Scholar h指數(shù)為23,引用量為3472。

Zhiding Yu (禹之鼎)

NVIDIA 機(jī)器學(xué)習(xí)研究小組的首席研究科學(xué)家和負(fù)責(zé)人。

2017年從卡內(nèi)基梅隆大學(xué)獲得了電子與計(jì)算機(jī)工程博士學(xué)位,并于2012年從中國(guó)香港科技大學(xué)獲得了電子與計(jì)算機(jī)工程碩士學(xué)位。于2008年從華南理工大學(xué)聯(lián)合電氣工程(馮炳權(quán)實(shí)驗(yàn)班)本科畢業(yè)。

研究興趣主要集中在深度表示學(xué)習(xí)、弱監(jiān)督/半監(jiān)督學(xué)習(xí)、遷移學(xué)習(xí)和深度結(jié)構(gòu)化預(yù)測(cè),以及它們?cè)谝曈X(jué)和機(jī)器人問(wèn)題中的應(yīng)用。

WAD Challenge@CVPR18 中的領(lǐng)域自適應(yīng)語(yǔ)義分割賽道的獲獎(jiǎng)?wù)摺T?WACV15 獲得了最佳論文獎(jiǎng)。

Google Scholar h指數(shù)為42,引用量為17064。

OpenAI

Mengyuan Yan

技術(shù)人員。

2014年獲得北京大學(xué)物理學(xué)學(xué)士,2020年獲得斯坦福大學(xué)電子電器工程博士學(xué)位。

Interactive Perception and Robot Learning Lab(IPRL)的成員,該實(shí)驗(yàn)室是斯坦福AI Lab的一部分,導(dǎo)師是Jeannette Bohg和Leonidas Guibas。

研究領(lǐng)域包括計(jì)算機(jī)視覺(jué)、機(jī)器學(xué)習(xí)、機(jī)器人學(xué)和生成模型。

共發(fā)布28篇文章,Google scholar h指數(shù)15,被引用量4664次。

1X Technologies

Eric Jang

AI副總裁。

2016年畢業(yè)于布朗大學(xué)碩士,專(zhuān)業(yè)是計(jì)算機(jī)科學(xué)。

2016 - 2022年在Google工作,擔(dān)任機(jī)器人高級(jí)研究科學(xué)家,

研究主要集中在將機(jī)器學(xué)習(xí)原則應(yīng)用于機(jī)器人領(lǐng)域,開(kāi)發(fā)了 Tensor2Robot,這是機(jī)器人操作團(tuán)隊(duì)和 Everyday Robots 使用的 ML 框架(直到 TensorFlow 1 被棄用);是Brain Moonshot團(tuán)隊(duì)的共同負(fù)責(zé)人,該團(tuán)隊(duì)制作了SayCan。

2022年4月離開(kāi)Google Robotics,加入1X Technologies(原名Halodi Robotics),帶領(lǐng)團(tuán)隊(duì)完成了兩項(xiàng)重要工作,一個(gè)是通過(guò)端到端的神經(jīng)網(wǎng)絡(luò),實(shí)現(xiàn)了人形機(jī)器人EVE的自主性。

7篇論文的第一作者,合著15+以上,Google scholar h指數(shù)為23,引用量為11213。寫(xiě)了一本書(shū)《AI is Good for You》講訴人工智能的歷史和未來(lái)。

「8」

通過(guò)重點(diǎn)研究論文和實(shí)驗(yàn)項(xiàng)目鎖定谷歌和英偉達(dá)的具身智能人才。

谷歌重基礎(chǔ)模型研究,其具身智能人才參與的重點(diǎn)研究發(fā)布包括:

SayCan:能夠?qū)⒏邔蛹?jí)任務(wù)拆解為可執(zhí)行的子任務(wù)。

Gato:將多模態(tài)數(shù)據(jù)進(jìn)行token化輸入Transformer架構(gòu)。

RT-1:將機(jī)器人軌跡數(shù)據(jù)輸入Transformer架構(gòu),得到離散化動(dòng)作token。

PaLM-E:在PaLM通用模型基礎(chǔ)上,進(jìn)一步提升了多模態(tài)性能。

RoboCat:將多模態(tài)模型Gato與機(jī)器人數(shù)據(jù)集相結(jié)合,使得RoboCat具備在模擬環(huán)境與物理環(huán)境中處理語(yǔ)言、圖像和動(dòng)作等任務(wù)的能力。

RT-2:是RT-1模型與PaLM-E模型的結(jié)合,使機(jī)器人模型從VLM進(jìn)化到VLA。

RT-X:在保持原有架構(gòu)的基礎(chǔ)上,全面提升了具身智能的五種能力。

以上模型逐步實(shí)現(xiàn)了模型自主可靠決策、多模態(tài)感知和實(shí)時(shí)精準(zhǔn)運(yùn)控能力的結(jié)合,同時(shí)展現(xiàn)出泛化能力和思維鏈能力。

綜合以上研究論文,共梳理143名谷歌研究員。

英偉達(dá)重仿真模擬訓(xùn)練,其具身智能人才參與的實(shí)驗(yàn)項(xiàng)目包括:

Eureka:利用大型語(yǔ)言模型進(jìn)行強(qiáng)化學(xué)習(xí)的獎(jiǎng)勵(lì)機(jī)制設(shè)計(jì)

Voyager:開(kāi)放世界中用大語(yǔ)言模型驅(qū)動(dòng)智能體

MimicPlay:通過(guò)觀察人類(lèi)動(dòng)作進(jìn)行長(zhǎng)距離模仿學(xué)習(xí)

VIMA:多模態(tài)指令操控執(zhí)行通用機(jī)器人任務(wù)

MinDojo:利用互聯(lián)網(wǎng)規(guī)模級(jí)數(shù)據(jù)建立開(kāi)放具身智能體

此外,英偉達(dá)在2024年重點(diǎn)發(fā)力具身智能,官宣成立通用具身智能研究GEAR(Generalist Embodied Agent Research)實(shí)驗(yàn)室,主要圍繞多模態(tài)基礎(chǔ)模型、通用型機(jī)器人研究、虛擬世界中的基礎(chǔ)智能體以及模擬與合成數(shù)據(jù)技術(shù)四個(gè)關(guān)鍵領(lǐng)域開(kāi)展研究,旨在推動(dòng)大模型等AI技術(shù)由虛擬世界向現(xiàn)實(shí)世界發(fā)展。

本文首先梳理了上述提到的Google核心項(xiàng)目論文共7篇,每篇論文都詳細(xì)列出了項(xiàng)目研究人員,并清晰地公布了他們的具體工作內(nèi)容。

英偉達(dá)的研究頁(yè)面公布了參與robotics項(xiàng)目的人員名單,共計(jì)54名;另外綜合考慮GEAR發(fā)布的所有論文作者,共梳理出105名具身智能研究人員。

附錄:谷歌、英偉達(dá)具身智能百人列表

附錄:論文及網(wǎng)頁(yè)

Google核心項(xiàng)目論文:

Do As I Can, Not As I Say: Grounding Language in Robotic Affordances

https://say-can.github.io/

AutoRT: Embodied Foundation Models for Large Scale Orchestration of Robotic Agents

https://auto-rt.github.io/

SARA-RT: Scaling up Robotics Transformers with Self-Adaptive Robust Attention

https://arxiv.org/pdf/2312.01990

RoboCat: A Self-Improving Generalist Agent for Robotic Manipulation

https://arxiv.org/pdf/2306.11706

RT-Trajectory: Robotic Task Generalization via Hindsight Trajectory Sketches

https://arxiv.org/pdf/2311.01977

RT-1: Robotics Transformer for real-world control at scale

https://arxiv.org/pdf/2212.06817

RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control

https://arxiv.org/pdf/2307.15818

NVIDIA研究robotics論文研究人員名單:

https://research.NVIDIA.com/research-area/robotics

GEAR團(tuán)隊(duì)發(fā)表論文:

https://research.NVIDIA.com/labs/gear/publications/

本文為轉(zhuǎn)載內(nèi)容,授權(quán)事宜請(qǐng)聯(lián)系原著作權(quán)人。