進(jìn)入2025年，國內(nèi)車市智能化競爭進(jìn)一步升級，一些車企開始喊出“全民智駕”的口號。而從技術(shù)層面來說，處在頭部位置的車企已經(jīng)在推動下一代自動駕駛架構(gòu)的落地。
在3月18日的NVIDIA GTC 2025上，理想汽車自動駕駛技術(shù)研發(fā)負(fù)責(zé)人賈鵬發(fā)表了主題為《VLA：邁向自動駕駛物理智能體的關(guān)鍵一步》的演講，并發(fā)布了理想汽車的下一代自動駕駛架構(gòu)——MindVLA。
理想汽車董事長兼CEO李想當(dāng)日在社交平臺發(fā)文稱，“MindVLA是一個視覺-語言-行為大模型，但我們更愿意將其稱為“機(jī)器人大模型”，它將空間智能、語言智能和行為智能統(tǒng)一在一個模型里，讓自動駕駛擁有感知、思考和適應(yīng)環(huán)境的能力，是我們通往L4路上最重要的一步?！彼€表示，MindVLA能為自動駕駛賦予類似人類的駕駛能力，就像iPhone 4重新定義了手機(jī)，MindVLA也將重新定義自動駕駛。
全棧自研，MindVLA開啟自動駕駛iPhone 4時刻
理想汽車的智能駕駛經(jīng)過幾次迭代和升級。去年10月，理想汽車全量推送“端到端+VLM”雙系統(tǒng)方案后，該模式漸漸成為行業(yè)的標(biāo)桿。許多企業(yè)開始采用這一路線。特別值得一提的是，不僅在自動駕駛領(lǐng)域，在通用機(jī)器人領(lǐng)域該系統(tǒng)也得到應(yīng)用。
基于上述“端到端+VLM”雙系統(tǒng)架構(gòu)的實(shí)踐，及對前沿技術(shù)的洞察，理想自研了MindVLA大模型。VLA是機(jī)器人大模型的新范式，其將賦予自動駕駛強(qiáng)大的3D空間理解能力、邏輯推理能力和行為生成能力。
值得注意的是，MindVLA不是簡單地將端到端模型和VLM模型結(jié)合在一起，所有模塊都是全新設(shè)計。3D空間編碼器通過語言模型后，和邏輯推理結(jié)合在一起后，給出合理的駕駛決策，并輸出一組action token（動作詞元），action token指的是對周圍環(huán)境和自車駕駛行為的編碼，并通過diffusion（擴(kuò)散模型）進(jìn)一步優(yōu)化出最佳的駕駛軌跡，整個推理過程都要發(fā)生在車端，并且要做到實(shí)時運(yùn)行。
2010年中發(fā)布的iPhone 4是智能手機(jī)時代的首個爆款，也是智能手機(jī)滲透率加速提升的起點(diǎn)。對汽車行業(yè)來說，理想汽車最新的MindVLA也將重新定義自動駕駛，加速行業(yè)的快速發(fā)展。
從用戶體驗(yàn)方面來看，有MindVLA賦能的汽車不再只是一個簡單的駕駛工具，而是一個能與用戶溝通、理解用戶意圖的智能體。能夠聽得懂、看得見、找得到，是一個真正意義上的司機(jī)Agent或者叫“專職司機(jī)”。
所謂“聽得懂”是用戶可以通過語音指令改變車輛的路線和行為，MindVLA能夠理解并執(zhí)行“開太快了”“應(yīng)該走左邊這條路”等這些指令。“看得見”是指MindVLA具備強(qiáng)大的通識能力，不僅能夠認(rèn)識星巴克、肯德基等不同的商店招牌；當(dāng)用戶在陌生地點(diǎn)找不到車輛時，可以拍一張附近環(huán)境的照片發(fā)送給車輛，擁有MindVLA賦能的車輛能夠搜尋照片中的位置，并自動找到用戶。“找得到”意味著車輛可以自主地在地庫、園區(qū)和公共道路上漫游，其中典型應(yīng)用場景是用戶在商場地庫，可以跟車輛說：“去找個車位停好”，車輛就會利用強(qiáng)大的空間推理能力自主尋找車位，即便遇到死胡同，車輛也會自如地倒車，重新尋找合適的車位停下，整個過程不依賴地圖或?qū)Ш叫畔ⅲ耆蕾嘙indVLA的空間理解和邏輯推理能力。
對于人工智能領(lǐng)域而言，汽車作為物理人工智能的最佳載體，未來探索出物理世界和數(shù)字世界結(jié)合的范式，將有望賦能多個行業(yè)協(xié)同發(fā)展。
打破傳統(tǒng)，六大關(guān)鍵技術(shù)引領(lǐng)行業(yè)創(chuàng)新
在理想交付端到端+VLM期間，空間智能、LLM、AIGC和具身智能等技術(shù)有了快速發(fā)展。基于此，理想開始思考能否將端到端模型和VLM模型合二為一，像GPT O1和DeepSeek R1一樣，讓模型自己學(xué)會快慢思考，同時賦予模型強(qiáng)大的3D空間理解能力和行為生成能力，將雙系統(tǒng)的天花板進(jìn)一步打開。
MindVLA打破了自動駕駛技術(shù)框架設(shè)計的傳統(tǒng)模式，使用能夠承載豐富語義，且具備出色多粒度、多尺度3D幾何表達(dá)能力的3D高斯（3D Gaussian）這一優(yōu)良的中間表征，充分利用海量數(shù)據(jù)進(jìn)行自監(jiān)督訓(xùn)練，極大提升了下游任務(wù)性能。
而在過去，從單目2D特征到單目3D特征，再到多攝像頭的鳥瞰圖（BEV）特征和占據(jù)網(wǎng)格（OCC）等不同階段，大多依賴于監(jiān)督學(xué)習(xí)，需要精準(zhǔn)標(biāo)注的數(shù)據(jù)，效率和數(shù)據(jù)利用率都很低下。
理想還從0設(shè)計和訓(xùn)練一個適合VLA的LLM基座模型，使其具備3D空間理解和推理能力，并能在有限資源下實(shí)現(xiàn)實(shí)時推理，保證模型規(guī)模增長的同時，不降低端側(cè)的推理效率。而在訓(xùn)練模型去學(xué)習(xí)人類的思考過程，理想讓快慢思考有機(jī)結(jié)合到同一模型中，并可實(shí)現(xiàn)自主切換快思考和慢思考。
為了把NVIDIA Drive AGX的性能發(fā)揮到極致，MindVLA采取小詞表結(jié)合投機(jī)推理，以及創(chuàng)新性地應(yīng)用并行解碼技術(shù)，進(jìn)一步提升了實(shí)時推理的速度。至此，MindVLA實(shí)現(xiàn)了模型參數(shù)規(guī)模與實(shí)時推理性能之間的平衡。
理想利用diffusion模型，將action token解碼成最終的駕駛軌跡，并讓RLHF與diffusion結(jié)合，學(xué)習(xí)和對齊人類行為的同時，提升安全下限。
MindVLA基于自研的重建+生成云端統(tǒng)一世界模型，深度融合重建模型的三維場景還原能力與生成模型的新視角補(bǔ)全，以及未見視角預(yù)測能力，構(gòu)建接近真實(shí)世界的仿真環(huán)境。源于世界模型的技術(shù)積累與充足計算資源的支撐，MindVLA實(shí)現(xiàn)了基于仿真環(huán)境的大規(guī)模閉環(huán)強(qiáng)化學(xué)習(xí)，即真正意義上的從“錯誤中學(xué)習(xí)”。過去一年，理想自動駕駛團(tuán)隊(duì)完成了世界模型大量的工程優(yōu)化，顯著提升了場景重建與生成的質(zhì)量和效率，其中一項(xiàng)工作是將3D GS的訓(xùn)練速度提升至7倍以上。
理想通過創(chuàng)新性的預(yù)訓(xùn)練和后訓(xùn)練方法，讓MindVLA實(shí)現(xiàn)了卓越的泛化能力和涌現(xiàn)特性，其不僅在駕駛場景下表現(xiàn)優(yōu)異，在室內(nèi)環(huán)境也展示出了一定的適應(yīng)性和延展性。
持續(xù)精進(jìn)，朝全球領(lǐng)先的AI企業(yè)再進(jìn)一步
在上述六大技術(shù)的突破下，理想MindVLA能為自動駕駛行業(yè)帶來革命性的變化。而這離不開理想在智能駕駛技術(shù)、AI大模型等領(lǐng)域的持續(xù)投入。
理想在不斷進(jìn)行技術(shù)創(chuàng)新的同時，還在人工智能領(lǐng)域頂級學(xué)術(shù)會議和期刊發(fā)表了大量論文，為加速技術(shù)發(fā)展貢獻(xiàn)了重要力量。
李想曾說過，理想要做的不是汽車的智能化，而是人工智能的汽車化，并將推動人工智能普惠到每一個家庭。從行業(yè)視角來看，汽車將從工業(yè)時代的交通工具，進(jìn)化成為人工智能時代的空間機(jī)器人。在對整個世界的理解上，理想通過人工智能將物理世界與數(shù)字世界進(jìn)行融合，讓有限的空間實(shí)現(xiàn)無限的延伸。