進(jìn)入2025年，國(guó)內(nèi)車市智能化競(jìng)爭(zhēng)進(jìn)一步升級(jí)，一些車企開(kāi)始喊出“全民智駕”的口號(hào)。而從技術(shù)層面來(lái)說(shuō)，處在頭部位置的車企已經(jīng)在推動(dòng)下一代自動(dòng)駕駛架構(gòu)的落地。

在3月18日的NVIDIA GTC 2025上，理想汽車自動(dòng)駕駛技術(shù)研發(fā)負(fù)責(zé)人賈鵬發(fā)表了主題為《VLA：邁向自動(dòng)駕駛物理智能體的關(guān)鍵一步》的演講，并發(fā)布了理想汽車的下一代自動(dòng)駕駛架構(gòu)——MindVLA。

理想汽車董事長(zhǎng)兼CEO李想當(dāng)日在社交平臺(tái)發(fā)文稱，“MindVLA是一個(gè)視覺(jué)-語(yǔ)言-行為大模型，但我們更愿意將其稱為“機(jī)器人大模型”，它將空間智能、語(yǔ)言智能和行為智能統(tǒng)一在一個(gè)模型里，讓自動(dòng)駕駛擁有感知、思考和適應(yīng)環(huán)境的能力，是我們通往L4路上最重要的一步。”他還表示，MindVLA能為自動(dòng)駕駛賦予類似人類的駕駛能力，就像iPhone 4重新定義了手機(jī)，MindVLA也將重新定義自動(dòng)駕駛。

全棧自研，MindVLA開(kāi)啟自動(dòng)駕駛iPhone 4時(shí)刻

理想汽車的智能駕駛經(jīng)過(guò)幾次迭代和升級(jí)。去年10月，理想汽車全量推送“端到端+VLM”雙系統(tǒng)方案后，該模式漸漸成為行業(yè)的標(biāo)桿。許多企業(yè)開(kāi)始采用這一路線。特別值得一提的是，不僅在自動(dòng)駕駛領(lǐng)域，在通用機(jī)器人領(lǐng)域該系統(tǒng)也得到應(yīng)用。

基于上述“端到端+VLM”雙系統(tǒng)架構(gòu)的實(shí)踐，及對(duì)前沿技術(shù)的洞察，理想自研了MindVLA大模型。VLA是機(jī)器人大模型的新范式，其將賦予自動(dòng)駕駛強(qiáng)大的3D空間理解能力、邏輯推理能力和行為生成能力。

值得注意的是，MindVLA不是簡(jiǎn)單地將端到端模型和VLM模型結(jié)合在一起，所有模塊都是全新設(shè)計(jì)。3D空間編碼器通過(guò)語(yǔ)言模型后，和邏輯推理結(jié)合在一起后，給出合理的駕駛決策，并輸出一組action token（動(dòng)作詞元），action token指的是對(duì)周圍環(huán)境和自車駕駛行為的編碼，并通過(guò)diffusion（擴(kuò)散模型）進(jìn)一步優(yōu)化出最佳的駕駛軌跡，整個(gè)推理過(guò)程都要發(fā)生在車端，并且要做到實(shí)時(shí)運(yùn)行。

2010年中發(fā)布的iPhone 4是智能手機(jī)時(shí)代的首個(gè)爆款，也是智能手機(jī)滲透率加速提升的起點(diǎn)。對(duì)汽車行業(yè)來(lái)說(shuō)，理想汽車最新的MindVLA也將重新定義自動(dòng)駕駛，加速行業(yè)的快速發(fā)展。

從用戶體驗(yàn)方面來(lái)看，有MindVLA賦能的汽車不再只是一個(gè)簡(jiǎn)單的駕駛工具，而是一個(gè)能與用戶溝通、理解用戶意圖的智能體。能夠聽(tīng)得懂、看得見(jiàn)、找得到，是一個(gè)真正意義上的司機(jī)Agent或者叫“專職司機(jī)”。

所謂“聽(tīng)得懂”是用戶可以通過(guò)語(yǔ)音指令改變車輛的路線和行為，MindVLA能夠理解并執(zhí)行“開(kāi)太快了”“應(yīng)該走左邊這條路”等這些指令。“看得見(jiàn)”是指MindVLA具備強(qiáng)大的通識(shí)能力，不僅能夠認(rèn)識(shí)星巴克、肯德基等不同的商店招牌；當(dāng)用戶在陌生地點(diǎn)找不到車輛時(shí)，可以拍一張附近環(huán)境的照片發(fā)送給車輛，擁有MindVLA賦能的車輛能夠搜尋照片中的位置，并自動(dòng)找到用戶。“找得到”意味著車輛可以自主地在地庫(kù)、園區(qū)和公共道路上漫游，其中典型應(yīng)用場(chǎng)景是用戶在商場(chǎng)地庫(kù)，可以跟車輛說(shuō)：“去找個(gè)車位停好”，車輛就會(huì)利用強(qiáng)大的空間推理能力自主尋找車位，即便遇到死胡同，車輛也會(huì)自如地倒車，重新尋找合適的車位停下，整個(gè)過(guò)程不依賴地圖或?qū)Ш叫畔?，完全依賴MindVLA的空間理解和邏輯推理能力。

對(duì)于人工智能領(lǐng)域而言，汽車作為物理人工智能的最佳載體，未來(lái)探索出物理世界和數(shù)字世界結(jié)合的范式，將有望賦能多個(gè)行業(yè)協(xié)同發(fā)展。

打破傳統(tǒng)，六大關(guān)鍵技術(shù)引領(lǐng)行業(yè)創(chuàng)新

在理想交付端到端+VLM期間，空間智能、LLM、AIGC和具身智能等技術(shù)有了快速發(fā)展。基于此，理想開(kāi)始思考能否將端到端模型和VLM模型合二為一，像GPT O1和DeepSeek R1一樣，讓模型自己學(xué)會(huì)快慢思考，同時(shí)賦予模型強(qiáng)大的3D空間理解能力和行為生成能力，將雙系統(tǒng)的天花板進(jìn)一步打開(kāi)。

MindVLA打破了自動(dòng)駕駛技術(shù)框架設(shè)計(jì)的傳統(tǒng)模式，使用能夠承載豐富語(yǔ)義，且具備出色多粒度、多尺度3D幾何表達(dá)能力的3D高斯（3D Gaussian）這一優(yōu)良的中間表征，充分利用海量數(shù)據(jù)進(jìn)行自監(jiān)督訓(xùn)練，極大提升了下游任務(wù)性能。

而在過(guò)去，從單目2D特征到單目3D特征，再到多攝像頭的鳥(niǎo)瞰圖（BEV）特征和占據(jù)網(wǎng)格（OCC）等不同階段，大多依賴于監(jiān)督學(xué)習(xí)，需要精準(zhǔn)標(biāo)注的數(shù)據(jù)，效率和數(shù)據(jù)利用率都很低下。

理想還從0設(shè)計(jì)和訓(xùn)練一個(gè)適合VLA的LLM基座模型，使其具備3D空間理解和推理能力，并能在有限資源下實(shí)現(xiàn)實(shí)時(shí)推理，保證模型規(guī)模增長(zhǎng)的同時(shí)，不降低端側(cè)的推理效率。而在訓(xùn)練模型去學(xué)習(xí)人類的思考過(guò)程，理想讓快慢思考有機(jī)結(jié)合到同一模型中，并可實(shí)現(xiàn)自主切換快思考和慢思考。

為了把NVIDIA Drive AGX的性能發(fā)揮到極致，MindVLA采取小詞表結(jié)合投機(jī)推理，以及創(chuàng)新性地應(yīng)用并行解碼技術(shù)，進(jìn)一步提升了實(shí)時(shí)推理的速度。至此，MindVLA實(shí)現(xiàn)了模型參數(shù)規(guī)模與實(shí)時(shí)推理性能之間的平衡。

理想利用diffusion模型，將action token解碼成最終的駕駛軌跡，并讓RLHF與diffusion結(jié)合，學(xué)習(xí)和對(duì)齊人類行為的同時(shí)，提升安全下限。

MindVLA基于自研的重建+生成云端統(tǒng)一世界模型，深度融合重建模型的三維場(chǎng)景還原能力與生成模型的新視角補(bǔ)全，以及未見(jiàn)視角預(yù)測(cè)能力，構(gòu)建接近真實(shí)世界的仿真環(huán)境。源于世界模型的技術(shù)積累與充足計(jì)算資源的支撐，MindVLA實(shí)現(xiàn)了基于仿真環(huán)境的大規(guī)模閉環(huán)強(qiáng)化學(xué)習(xí)，即真正意義上的從“錯(cuò)誤中學(xué)習(xí)”。過(guò)去一年，理想自動(dòng)駕駛團(tuán)隊(duì)完成了世界模型大量的工程優(yōu)化，顯著提升了場(chǎng)景重建與生成的質(zhì)量和效率，其中一項(xiàng)工作是將3D GS的訓(xùn)練速度提升至7倍以上。

理想通過(guò)創(chuàng)新性的預(yù)訓(xùn)練和后訓(xùn)練方法，讓MindVLA實(shí)現(xiàn)了卓越的泛化能力和涌現(xiàn)特性，其不僅在駕駛場(chǎng)景下表現(xiàn)優(yōu)異，在室內(nèi)環(huán)境也展示出了一定的適應(yīng)性和延展性。

持續(xù)精進(jìn)，朝全球領(lǐng)先的AI企業(yè)再進(jìn)一步

在上述六大技術(shù)的突破下，理想MindVLA能為自動(dòng)駕駛行業(yè)帶來(lái)革命性的變化。而這離不開(kāi)理想在智能駕駛技術(shù)、AI大模型等領(lǐng)域的持續(xù)投入。

理想在不斷進(jìn)行技術(shù)創(chuàng)新的同時(shí)，還在人工智能領(lǐng)域頂級(jí)學(xué)術(shù)會(huì)議和期刊發(fā)表了大量論文，為加速技術(shù)發(fā)展貢獻(xiàn)了重要力量。

李想曾說(shuō)過(guò)，理想要做的不是汽車的智能化，而是人工智能的汽車化，并將推動(dòng)人工智能普惠到每一個(gè)家庭。從行業(yè)視角來(lái)看，汽車將從工業(yè)時(shí)代的交通工具，進(jìn)化成為人工智能時(shí)代的空間機(jī)器人。在對(duì)整個(gè)世界的理解上，理想通過(guò)人工智能將物理世界與數(shù)字世界進(jìn)行融合，讓有限的空間實(shí)現(xiàn)無(wú)限的延伸。