文｜MetaPost
北京時間3 月 19 日凌晨，NVIDIA 英偉達一年一度的科技“春晚”如期而至，NVIDIA 英偉達在2024 GTC 上隆重發(fā)布 Project GR00T 人形機器人基礎(chǔ)模型和Omniverse Cloud API，同時宣布全球眾多知名汽車品牌已使用NVIDIA DRIVE Thor集中式車載計算平臺，用于為各自下一代車型的自動駕駛功能提供助力。
眾所周知，科技圈最火的技術(shù)和產(chǎn)品，都繞不開NVIDIA 英偉達。
一、 Project GR00T 人形機器人基礎(chǔ)模型
NVIDIA 于今日發(fā)布人形機器人通用基礎(chǔ)模型 Project GR00T，旨在進一步推動其在機器人和具身智能方面的突破。Project GR00T 是一種多模態(tài)人形機器人通用基礎(chǔ)模型，作為機器人的大腦，讓機器人學習技能從而執(zhí)行各種指令。
NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：“開發(fā)通用人形機器人基礎(chǔ)模型是當今 AI 領(lǐng)域中最令人興奮的課題之一。世界各地的機器人技術(shù)領(lǐng)導者正在匯集各種賦能技術(shù)，致力于在人工通用機器人領(lǐng)域?qū)崿F(xiàn)突破?！?/p>
此外，NVIDIA 還發(fā)布了一款基于 NVIDIA Thor 系統(tǒng)級芯片的新型人形機器人計算機 Jetson Thor，并對 NVIDIA Isaac機器人平臺進行了重大升級，包括生成式 AI 基礎(chǔ)模型和仿真工具，以及 AI 工作流基礎(chǔ)設(shè)施。
GR00T 驅(qū)動的機器人將能夠理解自然語言，并通過觀察人類行為來模仿動作——快速學習協(xié)調(diào)、靈活性和其他技能，以便適應現(xiàn)實世界并與之互動。黃仁勛還在現(xiàn)場展示了數(shù)臺人形機器人，并與它們進行了互動。
專為人形機器人而生
Jetson Thor 是一個全新的計算平臺，能夠執(zhí)行復雜的任務并安全、自然地與人和機器交互，具有針對性能、功耗和尺寸優(yōu)化的模塊化架構(gòu)。
該平臺帶有 transformer engine 的下一代 GPU，采用 NVIDIA Blackwell 架構(gòu)，可提供每秒 800 萬億次8位浮點運算 AI 性能，以運行 GR00T 等多模態(tài)生成式 AI 模型。憑借集成的功能安全處理器、高性能 CPU 集群和 100GB 以太網(wǎng)帶寬，大大簡化了設(shè)計和集成工作。
Isaac 平臺的重大更新
GR00T 使用的 Isaac 工具可以為任何環(huán)境中的機器人創(chuàng)建新的基礎(chǔ)模型。這些工具包括用于強化學習的 Isaac Lab 和用于計算編排服務的 OSMO。
訓練具身智能模型需要海量的真實數(shù)據(jù)和合成數(shù)據(jù)。新的 Isaac Lab 是一個 GPU 加速、性能優(yōu)化的輕量級應用，基于 Isaac Sim 構(gòu)建，專門用于運行數(shù)千個用于機器人學習的并行仿真。
為了擴展異構(gòu)計算的機器人開發(fā)工作負載，OSMO 在分布式環(huán)境中協(xié)調(diào)數(shù)據(jù)生成、模型訓練和軟硬件在環(huán)工作流。
NVIDIA 還發(fā)布了 Isaac Manipulator 和 Isaac Perceptor 等一系列機器人預訓練模型、庫和參考硬件。
Isaac Manipulator 為機械臂提供了卓越的靈活性和模塊化 AI 功能，并提供了一系列強大的基礎(chǔ)模型和 GPU 加速庫。它提供了高達 80 倍的路徑規(guī)劃加速，零樣本感知提高了效率和吞吐量，使開發(fā)者能夠?qū)崿F(xiàn)更多新的機器人任務的自動化。
Isaac Perceptor 提供了多攝像頭和 3D 環(huán)繞視覺功能，這些功能正越來越多地被制造業(yè)和物流業(yè)的自主移動機器人所采用，以提高效率和更好地保護工人，同時降低錯誤率和成本。
二、NVIDIA DRIVE 為自動駕駛進一步助力
NVIDIA今日還宣布NVIDIA DRIVE Thor 集中式車載計算平臺，已經(jīng)被比亞迪、昊鉑、小鵬、Plus、Nuro、Waabi 和文遠知行等品牌采用。
作為DRIVE Orin 的后續(xù)產(chǎn)品，性能高達1000 TFLOPS的DRIVE Thor 是專為汽車行業(yè)的生成式AI應用而打造的車載計算平臺。DRIVE Thor不僅可以提供豐富的座艙功能、安全可靠的高度自動化駕駛和無人駕駛功能，還能將所有功能整合至同一個集中式平臺上。
NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛表示，這款新一代自動駕駛汽車處理器將搭載專為Transformer、大語言模型和生成式AI工作負載而打造的全新NVIDIA Blackwell 架構(gòu)。
NVIDIA汽車事業(yè)部副總裁吳新宙表示：“加速計算為生成式AI等領(lǐng)域帶來了變革性突破，而生成式AI則正在重新定義自動駕駛和全球交通運輸業(yè)。DRIVE Orin仍然是當今智能車型首選的AI車載計算平臺，同時，我們看到移動出行領(lǐng)域的領(lǐng)先企業(yè)富有遠見地將NVIDIA DRIVE Thor納入其下一代AI汽車產(chǎn)品路線圖中?！?/p>
1、加速計算打造下一代AI車型
NVIDIA DRIVE Thor被NVIDIA稱為“將徹底改變汽車行業(yè)的格局，開創(chuàng)生成式AI定義駕駛體驗的時代”的產(chǎn)品。多家頭部電動汽車制造商在GTC上公布了其搭載DRIVE Thor的下一代AI車型。
比亞迪與NVIDIA的長期協(xié)作正從車端延伸到云端。除了在 DRIVE Thor上構(gòu)建下一代車型外，比亞迪還計劃將NVIDIA的AI基礎(chǔ)設(shè)施用于云端AI開發(fā)和訓練技術(shù)，并使用NVIDIA Isaac與NVIDIA Omniverse來開發(fā)用于虛擬工廠規(guī)劃和零售配置器的工具與應用。
廣汽埃安宣布旗下品牌昊鉑下一代電動汽車將采用DRIVE Thor平臺，新車型將于 2025 年開始量產(chǎn)，可實現(xiàn)L4級自動駕駛。昊鉑目前的旗艦車型昊鉑GT搭載了NVIDIA DRIVE Orin，該車型具備 L2+級高速自動駕駛能力。
小鵬宣布將把NVIDIA DRIVE Thor平臺作為其下一代電動汽車的“AI大腦”，助力其智能輔助駕駛系統(tǒng)，實現(xiàn)自動駕駛和泊車、駕乘人員監(jiān)控等功能。
此前，理想汽車和極氪均已表示將在DRIVE Thor上構(gòu)建未來車型。
2、賦能全景智能交通運輸需求
除乘用車外，DRIVE Thor還能夠滿足卡車、自動駕駛出租車、配送車等其他細分領(lǐng)域的不同需求。
Nuro致力于開發(fā)用于商用車和乘用車的L4級自動駕駛技術(shù)。該公司選擇DRIVE Thor為Nuro Driver提供助力，Nuro Driver是一個集成式自動駕駛系統(tǒng)，由Nuro自研的AI-First軟件和傳感器以及NVIDIA車規(guī)級計算和網(wǎng)絡硬件組成。該系統(tǒng)將于今年晚些時候開始測試。
全球自動駕駛軟件解決方案提供商Plus宣布，其L4級解決方案SuperDrive的下一代產(chǎn)品將在符合安全標準的DRIVE Thor車規(guī)級集中式計算平臺上運行。Plus的自動駕駛系統(tǒng)將充分利用DRIVE Thor 的計算性能，以了解卡車周圍的環(huán)境并做出安全的駕駛決策。
正在打造自動駕駛AI的Waabi將利用DRIVE Thor推出其首個采用生成式AI技術(shù)的自動駕駛卡車解決方案。該公司計劃將 DRIVE Thor 集成到其 Waabi Driver 中，大規(guī)模地提升自動駕駛卡車的安全與可靠性。
文遠知行正在與聯(lián)想車計算一同基于 DRIVE Thor 來創(chuàng)建多個商用L4級自動駕駛解決方案。該解決方案集成在聯(lián)想首款自動駕駛域控制器 AD1 中，將被用于各種以城市為中心的用例，具備功能安全、冗余安全設(shè)計、融合可擴展等技術(shù)特點。
三、全新Omniverse Cloud API發(fā)布
2019年，NVIDIA Omniverse上線，2022年，Omniverse Cloud發(fā)布，如今，Omniverse已被全球各大行業(yè)廣泛應用，任何人在任何地點都可以使用Omniverse Cloud這一綜合、全面的云服務來設(shè)計、發(fā)布、運行和體驗元宇宙相關(guān)應用。
NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：“所有制造出來的產(chǎn)品都將擁有數(shù)字孿生。Omniverse是一個可以構(gòu)建并操作物理真實的數(shù)字孿生的操作系統(tǒng)。Omniverse和生成式AI都是將價值高達50萬億美元的重工業(yè)市場進行數(shù)字化所需的基礎(chǔ)技術(shù)。”
2024 GTC，五款全新Omniverse Cloud API發(fā)布，既可以單獨使用，也可以組合使用：
- USD Render：生成OpenUSD數(shù)據(jù)的全光線追蹤RTX渲染；
- USD Write：用戶可以修改OpenUSD數(shù)據(jù)并與之交互；
- USD Query：支持場景查詢和交互式場景；
- USD Notify：追蹤USD變化并提供更新信息；
- Omniverse Channel：連接用戶、工具和世界，實現(xiàn)跨場景協(xié)作；
借助Omniverse Cloud API，開發(fā)者們可以輕松地將Omniverse的核心技術(shù)直接集成到現(xiàn)有的數(shù)字孿生設(shè)計與自動化軟件應用中，以及用于測試和驗證機器人或自動駕駛汽車等自主機器的仿真工作流中。
截至目前， Ansys、Cadence、達索系統(tǒng)旗下3DEXCITE、Hexagon、微軟、羅克韋爾自動化、西門子和Trimble等全球大型工業(yè)軟件制造商都在將Omniverse Cloud API加入到其軟件組合中。
1、互式可視化和協(xié)作走近工業(yè)應用
早在2022年，NVIDIA便宣布進一步拓展和西門子的合作伙伴關(guān)系，將西門子的Xcelerator和NVIDIA的Omniverse平臺連接起來，共同打造工業(yè)元宇宙。西門子是工業(yè)自動化軟件基礎(chǔ)設(shè)施、建筑技術(shù)和交通領(lǐng)域的領(lǐng)先者，結(jié)合NVIDIA在加速圖形和人工智能領(lǐng)域的成果，將為用戶帶來生產(chǎn)和產(chǎn)品全生命周期的效率、生產(chǎn)力以及流程等優(yōu)化提升。
如今，西門子正在其Xcelerator平臺中使用Omniverse Cloud API，最先接入的是云端產(chǎn)品生命周期管理軟件Teamcenter X。
黃仁勛今日在GTC主題演講中展示了Teamcenter X與Omniverse API的連接，它不僅可以打通設(shè)計數(shù)據(jù)到NVIDIA生成式AI API之間的通路，還允許在該應用內(nèi)直接使用Omniverse RTX渲染。
西門子總裁兼首席執(zhí)行官Roland Busch表示：“通過NVIDIA Omniverse API，西門子能夠利用生成式AI賦能客戶，使其符合物理學的數(shù)字孿生變得更具沉浸感。這將幫助所有人在實際建造前，對下一代產(chǎn)品、制造流程和工廠進行虛擬設(shè)計、建造和測試。通過將現(xiàn)實世界與數(shù)字世界相結(jié)合，西門子數(shù)字孿生技術(shù)正在幫助全球企業(yè)提高競爭力、彈性和可持續(xù)發(fā)展能力?！?/p>
2、加速自主機器開發(fā)
隨著全球?qū)C器人、自動駕駛汽車和AI監(jiān)控系統(tǒng)需求的增加，傳感器數(shù)據(jù)對于訓練、測試和驗證從感知到規(guī)劃和控制的全棧自主性便顯得至關(guān)重要。
Omniverse Cloud API恰恰能夠連接豐富的模擬工具、開發(fā)者生態(tài)系統(tǒng)和業(yè)界領(lǐng)先的傳感器解決方案提供商，通過高保真以及符合物理學的傳感器仿真實現(xiàn)全棧訓練和測試工作。
據(jù)悉，今年晚些時候，Microsoft Azure也將上線 Omniverse Cloud API 服務。
微軟Emerging Technologies公司副總裁Andy Pratt表示：“下一個工業(yè)數(shù)字化時代已經(jīng)到來。通過Microsoft Azure上的NVIDIA Omniverse API，世界各地各行業(yè)的企業(yè)都可以連接、協(xié)作并改進其現(xiàn)有工具，創(chuàng)造出下一批AI賦能的數(shù)字孿生工具。”