文|峰瑞資本
30多年前，錢(qián)學(xué)森先生提議將“Virtual Reality”翻譯為“靈境”，并預(yù)言VR技術(shù)將成為促進(jìn)人機(jī)結(jié)合以及人類(lèi)社會(huì)進(jìn)化的一個(gè)技術(shù)路線。世紀(jì)之交上映的《黑客帝國(guó)》三部曲，向觀眾展示了Matrix虛擬空間中真假難辨的虛幻與現(xiàn)實(shí)。
2023年6月的WWDC（蘋(píng)果全球開(kāi)發(fā)者大會(huì)）上，研發(fā)了7年之久的蘋(píng)果Vision Pro面世。
Vision Pro是一款A(yù)R（Augmented Reality，增強(qiáng)現(xiàn)實(shí)）與VR（Virtual Reality，虛擬現(xiàn)實(shí)）融合的混合現(xiàn)實(shí)設(shè)備。從人機(jī)交互、硬件規(guī)格到操作系統(tǒng)，它的多項(xiàng)指標(biāo)都為近年來(lái)處于探索階段的XR行業(yè)帶來(lái)了新的產(chǎn)品標(biāo)準(zhǔn)。因此，Vision Pro的面世也被行業(yè)評(píng)價(jià)為“XR（XR，extended reality，擴(kuò)展現(xiàn)實(shí)）的iPhone時(shí)刻”。
從科幻電影中真假難辨的虛擬空間，到蘋(píng)果的突破性XR設(shè)備Vision Pro，在本篇報(bào)告中，我們將層層深入，聚焦XR行業(yè)，探討如下問(wèn)題：
- VR/AR/MR/XR分別是什么意思？
- XR行業(yè)是如何發(fā)展起來(lái)的？
- AI技術(shù)的引入，為什么說(shuō)蘋(píng)果Vision Pro的面世被行業(yè)評(píng)價(jià)為“XR的iPhone時(shí)刻”？
- 挑選一臺(tái)XR設(shè)備，可以關(guān)注哪些技術(shù)指標(biāo)？
- 我們距離理想中的XR體驗(yàn)還有多遠(yuǎn)？
- XR行業(yè)進(jìn)步目前面臨的關(guān)鍵技術(shù)挑戰(zhàn)是什么？
- XR行業(yè)有哪些創(chuàng)業(yè)投資機(jī)會(huì)？
如果你也關(guān)注XR，或者在前沿科技領(lǐng)域創(chuàng)業(yè)，歡迎聯(lián)系本文作者，峰瑞資本副總裁顏黔杭（qianhang@freesvc.com）。
/ 01 / XR：從幻想走向現(xiàn)實(shí)
30多年前，錢(qián)學(xué)森在一封寫(xiě)給時(shí)任“863計(jì)劃”智能計(jì)算機(jī)專(zhuān)家組組長(zhǎng)汪成為的信中，提議將“Virtual Reality”翻譯為“靈境”，并在后續(xù)的信件中預(yù)言，VR技術(shù)將成為促進(jìn)人機(jī)結(jié)合以及人類(lèi)社會(huì)進(jìn)化的一個(gè)技術(shù)路線。
▲圖片來(lái)源：上海交大錢(qián)學(xué)森圖書(shū)館
世紀(jì)之交上映的《黑客帝國(guó)》三部曲，向觀眾展示了Matrix虛擬空間中虛幻與現(xiàn)實(shí)的交織。在科幻電影中，人們通過(guò)腦后“插管”等腦機(jī)接口技術(shù)，進(jìn)入完全擬真的虛擬環(huán)境，與錢(qián)老對(duì)未來(lái)“人機(jī)融合”的“靈境”暢想不謀而合。
從科幻回到現(xiàn)實(shí)，2012年，創(chuàng)業(yè)公司Oculus首次在Kickstarter完成眾籌，將VR設(shè)備帶入了大眾視野。Oculus后被Meta的前身Facebook收購(gòu)。2016年，Oculus Rift發(fā)售，頭戴顯示器搭配上體感手柄的設(shè)計(jì)，成為了2016年VR元年前后業(yè)內(nèi)主流的設(shè)備形態(tài)。HTC、索尼，以及國(guó)內(nèi)的Pico紛紛入局推出各自的產(chǎn)品。
▲2016年發(fā)布的Oculus Rift CV1。圖片來(lái)源：Touchdesigner
討論虛擬現(xiàn)實(shí)，我們繞不開(kāi)AR、VR、MR、XR這些概念，它們究竟指什么，區(qū)別在哪？
AR（Augmented Reality）通常被直譯為增強(qiáng)現(xiàn)實(shí)。與虛擬現(xiàn)實(shí)VR不同，AR是將虛擬內(nèi)容與現(xiàn)實(shí)物理世界疊加的技術(shù)。Google在2012年發(fā)布了Google Glass的原型機(jī)，是消費(fèi)級(jí)AR設(shè)備較為早期的商業(yè)化探索。
▲2012年Google I/O大會(huì)上，跳傘員佩戴Google Glass準(zhǔn)備跳傘。圖片來(lái)源：愛(ài)范兒
MR（Mixed Reality）被譯為混合現(xiàn)實(shí)，最早由科學(xué)家Paul Milgram 和 Fumio Kishino研究引入。2015年，微軟發(fā)布HoloLens，讓MR的概念進(jìn)一步具象化，強(qiáng)調(diào)虛擬世界與現(xiàn)實(shí)世界的混合以及可交互。
▲HoloLens 1。圖片來(lái)源：微軟
MR與AR和VR似乎聽(tīng)起來(lái)都有類(lèi)似之處，下圖能夠比較直觀的體現(xiàn)三者的區(qū)別。
▲圖片來(lái)源：Linkedln“The Difference between AR, VR &MR"
2017年，高通提出了XR（extended reality）擴(kuò)展現(xiàn)實(shí)的概念，涵蓋了VR、AR、MR的范圍，成為了虛擬現(xiàn)實(shí)交互類(lèi)技術(shù)的統(tǒng)稱(chēng)。此后，高通還推出了XR的專(zhuān)用平臺(tái)和基礎(chǔ)硬件平臺(tái)。
▲2023年9月，高通推出第二代驍龍XR2平臺(tái)。圖片來(lái)源：高通公司
/ 02 / 蘋(píng)果Vision Pro帶來(lái)的技術(shù)和體驗(yàn)
蘋(píng)果Vision Pro的面世被行業(yè)評(píng)價(jià)為“XR的iPhone時(shí)刻”。雖然目前Vision Pro尚未在市場(chǎng)上正式面向消費(fèi)者發(fā)售，但無(wú)論是相關(guān)的媒體測(cè)評(píng)還是官方披露的技術(shù)參數(shù)，都為整個(gè)行業(yè)“打了個(gè)樣”，展現(xiàn)出了過(guò)硬的技術(shù)和產(chǎn)品水平，也吊足了人們的胃口。
▲圖片來(lái)源：蘋(píng)果
在外觀上，Vision Pro的設(shè)計(jì)酷似潛水鏡。邊框在面部周?chē)⑽澢?，更加貼合臉型，提升了佩戴的舒適度。此外，Vision Pro以 VST（video see through）的方式實(shí)現(xiàn)XR功能。用戶(hù)并非直接透過(guò)“眼鏡片”觀察外界，而是先由攝像頭采集外部環(huán)境畫(huà)面，再通過(guò)低延時(shí)把畫(huà)面顯示在眼前的屏幕上。
在系統(tǒng)上，Vision Pro采用的visionOS操作系統(tǒng)被蘋(píng)果稱(chēng)為“第一個(gè)為空間計(jì)算而設(shè)計(jì)的操作系統(tǒng)”。visionOS與iPhone的iOS操作系統(tǒng)看上去有些相似。與iPhone不同的是，它的系統(tǒng)界面以立體空間感的形式呈現(xiàn)，可以實(shí)現(xiàn)眼睛、雙手、語(yǔ)音交互的空間操作。
▲空間操作系統(tǒng)visionOS。圖片來(lái)源：蘋(píng)果
在硬件上，Vision Pro更是被業(yè)內(nèi)稱(chēng)為“不計(jì)成本，極限堆料”。Vision Pro擁有12個(gè)攝像頭、一個(gè)激光雷達(dá)傳感器（LiDAR），再加一個(gè)M2芯片和一個(gè)R1芯片作為雙處理器。其中M2負(fù)責(zé)圖形計(jì)算，R1負(fù)責(zé)對(duì)周邊環(huán)境和用戶(hù)手勢(shì)的感知協(xié)助。設(shè)備采用Micro OLED顯示屏，擁有雙目2300百萬(wàn)像素，這也是業(yè)內(nèi)最高規(guī)格的顯示水平。
通過(guò)軟硬件的創(chuàng)新，Vision Pro提升了用戶(hù)的體驗(yàn)，無(wú)論是在辦公室還是家里，用戶(hù)眼前的顯示面板和數(shù)字內(nèi)容都能與所處環(huán)境相匹配。
▲圖片來(lái)源：蘋(píng)果
具體來(lái)說(shuō)，Vision Pro從空間視聽(tīng)、五感交互、空間OS及內(nèi)容生態(tài)三個(gè)方面重構(gòu)了以往的XR體驗(yàn)。
首先，在空間視聽(tīng)方面，Vision Pro的屏幕像素密度達(dá)到3386PPI，估算空間分辨率（Pixel per degree）約為35左右，即視場(chǎng)角中平均每1°夾角內(nèi)填充的像素點(diǎn)的數(shù)量為35，這相當(dāng)于每只眼睛分到的像素比4K電視還多。基于蘋(píng)果Airpods耳機(jī)積累的空間音頻技術(shù)，用戶(hù)可以通過(guò)Vision Pro辨別聲音從哪個(gè)位置傳來(lái)，獲得更加精準(zhǔn)的空間視聽(tīng)體驗(yàn)。
▲圖片來(lái)源：蘋(píng)果
其次，在交互方式上，Vision Pro采用了“眼動(dòng)焦點(diǎn)交互”和“手勢(shì)交互”兩種人機(jī)交互設(shè)計(jì)，無(wú)需手柄等其他外接設(shè)備。這種基于人類(lèi)本能設(shè)計(jì)的交互方式被稱(chēng)為五感交互，也叫自然交互。
最后，在空間OS和內(nèi)容生態(tài)方面，蘋(píng)果一貫擅長(zhǎng)將軟硬件開(kāi)發(fā)相結(jié)合，用軟件系統(tǒng)的創(chuàng)新幫助打造更好的產(chǎn)品體驗(yàn)。這一次，蘋(píng)果推出了空間操作系統(tǒng)visionOS。未來(lái)，或許會(huì)有更多應(yīng)用接入visionOS系統(tǒng)，成為蘋(píng)果產(chǎn)品體驗(yàn)的重要組成部分。
/ 03 / 理想XR體驗(yàn)的關(guān)鍵技術(shù)要素
從Vision Pro公布的信息和目前媒體評(píng)測(cè)的反饋看，無(wú)論是Micro OLED帶來(lái)的視覺(jué)體驗(yàn)，還是軟硬件有機(jī)整合帶來(lái)的良好交互和應(yīng)用體驗(yàn)，都將用戶(hù)視角下的XR體驗(yàn)帶到了一個(gè)新的高度。并且，Vision Pro實(shí)現(xiàn)了VR與AR的無(wú)縫切換，相比于近年來(lái)的VR頭顯以及AR眼鏡，實(shí)現(xiàn)了突破性的創(chuàng)新。
當(dāng)然，Vision Pro的體驗(yàn)升級(jí)離不開(kāi)技術(shù)上的“極致堆料”。
如果我們跳出當(dāng)前現(xiàn)有的技術(shù)水平，滿(mǎn)足用戶(hù)預(yù)期的理想XR體驗(yàn)應(yīng)該是怎么樣的呢？
▲圖片來(lái)源：《紐約時(shí)報(bào)》中文網(wǎng)
VR和AR的目標(biāo)體驗(yàn)是有差異的。前者追求虛擬世界對(duì)真實(shí)世界的完全替代，后者追求虛擬世界與真實(shí)世界的無(wú)縫融合。
單從科學(xué)幻想的效果來(lái)看，未來(lái)的VR也許像電影《頭號(hào)玩家》，讓用戶(hù)沉浸到一個(gè)全新的世界，完全用虛擬世界替代現(xiàn)實(shí)世界。這需要以視覺(jué)、聽(tīng)覺(jué)為主的完全擬真的感官體驗(yàn)。而未來(lái)的AR也許像電影《鋼鐵俠》，在現(xiàn)實(shí)世界中和虛擬面板進(jìn)行交互，側(cè)重于虛擬跟現(xiàn)實(shí)之間的無(wú)縫融合。
▲圖片來(lái)源：《中國(guó)青年報(bào)》
為了達(dá)到這樣的理想狀況，新一代的XR需要達(dá)到哪些技術(shù)指標(biāo)呢？
接下來(lái)，我們基于用戶(hù)體驗(yàn)，將評(píng)價(jià)XR所需的技術(shù)指標(biāo)進(jìn)行拆解：第一是視覺(jué)空間維度的指標(biāo)，即單幀畫(huà)面質(zhì)量；第二是視覺(jué)時(shí)間維度的指標(biāo)，即動(dòng)態(tài)響應(yīng)速度；第三是交互與佩戴的體驗(yàn)。
▎視覺(jué)空間維度
1. 空間分辨率
空間分辨率反映了VR畫(huà)面顯示的細(xì)膩程度。
目前，智能手機(jī)屏幕的技術(shù)發(fā)展已十分成熟，顯示效果接近于人眼視覺(jué)的極限。但VR設(shè)備與手機(jī)不同，屏幕距人眼僅在3-5厘米之內(nèi)，是非常近場(chǎng)的顯示。因此，評(píng)價(jià)VR的單幀畫(huà)面質(zhì)量時(shí)，我們通常采用的指標(biāo)是空間分辨率（Pixel Per Degree，PPD）
空間分辨率指視場(chǎng)角中平均每1°夾角內(nèi)填充的像素?cái)?shù)量，由顯示屏分辨率和光學(xué)系統(tǒng)共同決定。理想情況下，每1°夾角的像素?cái)?shù)越高越好。
▲圖片來(lái)源：泡咖AI
人眼正常視力的分辨能力極限在50PPD-60PPD，PPD小于50，就能感受到視覺(jué)上的網(wǎng)格感，也就是所謂的紗窗效應(yīng)。目前主流的VR產(chǎn)品PPD大約在19-25，比如PICO 4的PPD是20.6，距離理想值還有較大差距。
蘋(píng)果Vision Pro則預(yù)估在35左右，雖然已經(jīng)遠(yuǎn)超其他廠家的產(chǎn)品，但它的空間分辨率還需要提高75%以上才能滿(mǎn)足擬真需求。目前為止，還沒(méi)有消費(fèi)級(jí)產(chǎn)品的空間分辨率達(dá)到40以上，而達(dá)到60以上才能對(duì)應(yīng)普通屏幕單眼8K、雙眼16K的分辨率。因此，顯示芯片技術(shù)還有很大提升空間。
▲左上、右上、左下、右下依次展示了空間分辨率（PPD）分別為10、20、30、40的顯示效果；圖片來(lái)源：ANSYS-HFSS
2. 渲染質(zhì)量
相信游戲愛(ài)好者一定不會(huì)對(duì)“渲染質(zhì)量”感到陌生，它直接影響到游戲畫(huà)面帶來(lái)的沉浸感。對(duì)于主打沉浸式體驗(yàn)的XR來(lái)說(shuō)，渲染質(zhì)量同樣重要。
渲染的四要素包含渲染對(duì)象的材質(zhì)貼圖、幾何體模型、光照、采樣精度等。這些參數(shù)越高，渲染質(zhì)量越高，用戶(hù)能看到的虛擬環(huán)境就越真實(shí)，沉浸度就越高。
虛擬物體以及環(huán)境的渲染，依賴(lài)計(jì)算機(jī)圖形學(xué)中的實(shí)時(shí)渲染管線（Real-time Rendering Pipeline）。目前業(yè)內(nèi)最先進(jìn)的實(shí)時(shí)渲染技術(shù)是混合光線追蹤渲染管線。
與下圖Meta元宇宙公布的渲染效果相比，2020年出品的游戲《Cyberpunk 2077》中，已經(jīng)用上了業(yè)內(nèi)最先進(jìn)的混合光線追蹤渲染管線。
▲扎克伯格在Meta元宇宙中的自拍。圖片來(lái)源：Meta
▲Cyberpunk 2077畫(huà)面效果（2020年）。圖片來(lái)源：Cyberpunk
從用戶(hù)的視角來(lái)看，畫(huà)面渲染質(zhì)量如果不夠好，會(huì)使虛擬環(huán)境的體驗(yàn)與現(xiàn)實(shí)差距過(guò)大，帶給用戶(hù)巨大的割裂感。
既然我們已經(jīng)能看到十分精美的電影動(dòng)畫(huà)，為什么渲染質(zhì)量還會(huì)成為XR的技術(shù)難題？
電影特效采用的是離線渲染方式，每一幀都提前花費(fèi)大量時(shí)間渲染完成，再呈現(xiàn)到熒幕上。一部電影甚至需要數(shù)月的渲染時(shí)間，花費(fèi)幾億資金。而XR卻需要實(shí)時(shí)渲染，渲染后每個(gè)畫(huà)面都會(huì)直接推流到屏幕上，對(duì)圖形GPU的算力要求極高，需要極高性能的顯卡。但高規(guī)格的顯卡不僅數(shù)量較少，移動(dòng)端的設(shè)備也無(wú)法支持，因此短期內(nèi)，渲染質(zhì)量仍然受限于算力。
▎視覺(jué)時(shí)間維度
視覺(jué)的時(shí)間維度即動(dòng)態(tài)響應(yīng)速度。幀率是否夠高，延時(shí)是否夠短，直接關(guān)系到設(shè)備顯示出的畫(huà)面是否流暢絲滑，用戶(hù)帶上設(shè)備會(huì)不會(huì)“頭暈眼花”。
幀率代表畫(huà)面每秒重繪的次數(shù)，以Hz為單位。幀率越高，意味著顯示內(nèi)容動(dòng)態(tài)越流暢清晰。目前主流VR頭顯的幀率在90Hz左右。而手機(jī)與顯示器的幀率已經(jīng)向120Hz以上發(fā)展。
XR的“動(dòng)作畫(huà)面響應(yīng)延遲”也就是MTP（Motion To Photons），是指畫(huà)面數(shù)據(jù)在傳輸、渲染等過(guò)程中的時(shí)間差和輸入指令處理的時(shí)間差造成的延遲。
過(guò)高的延遲容易造成用戶(hù)的“3D眩暈癥”。如果用戶(hù)眼動(dòng)、頭動(dòng)甚至身體移動(dòng)后，畫(huà)面在100毫秒之后才發(fā)生變化，用戶(hù)就會(huì)明顯感到仿佛醉酒的眩暈狀態(tài)。理想狀態(tài)下，延遲短于20毫秒才不會(huì)引起人體的敏感。
▲圖片展示了，在XR設(shè)備中，由于運(yùn)算造成的延遲。圖片來(lái)源：ResearchGate
▎交互與佩戴體驗(yàn)
1. 自然式交互
目前主流的XR產(chǎn)品仍舊依靠手柄這類(lèi)外接設(shè)備作為交互方式，在操作便捷度和直覺(jué)匹配上仍有較大提升空間。比如，當(dāng)用戶(hù)戴上VR或者AR眼鏡，看到眼前的物體，會(huì)本能地伸出手去抓。但受限于多數(shù)設(shè)備的技術(shù)水平，用戶(hù)經(jīng)常會(huì)感覺(jué)夠不到眼前的東西，或者手直接從影像穿過(guò)去了。
自然式交互是指用戶(hù)以自然、基于直覺(jué)的方式與設(shè)備進(jìn)行交互。最符合自然交互的方式是手勢(shì)結(jié)合眼動(dòng)，以及語(yǔ)音交互，因?yàn)椴恍枰~外配置控制器。Vision Pro走的就是自然式交互的路線。
觸覺(jué)傳感器也是一種自然交互的解決方案。但目前觸覺(jué)傳感設(shè)備相對(duì)昂貴，且不夠穩(wěn)定。所以，蘋(píng)果Vision Pro在研發(fā)過(guò)程中放棄了觸覺(jué)傳感器的方案，選擇了手勢(shì)、眼動(dòng)和語(yǔ)音結(jié)合的自然式交互。下面的圖片是visionOS支持的一些操作手勢(shì)。比如，通過(guò)放開(kāi)和捏起手指，就能實(shí)現(xiàn)圖像的放大縮小。
▲蘋(píng)果Vision Pro的交互方式。圖片來(lái)源：蘋(píng)果
2. 設(shè)備輕量化
設(shè)備的佩戴體驗(yàn)是產(chǎn)品綜合集成的結(jié)果，輕量化仍然是產(chǎn)品設(shè)計(jì)的方向。
當(dāng)前VR類(lèi)設(shè)備的重量平均在500g左右，盡管產(chǎn)品設(shè)計(jì)在人體工學(xué)上投入大量精力，佩戴時(shí)間過(guò)長(zhǎng)仍然會(huì)造成不適。與之相對(duì)，AR眼鏡的設(shè)備重量已經(jīng)能降低到200g以?xún)?nèi)。
值得注意的是，輕量化應(yīng)當(dāng)是在前述幾項(xiàng)技術(shù)指標(biāo)完善之后，進(jìn)一步追求的目標(biāo)，如果以現(xiàn)有的技術(shù)水平一味追求輕量化，用戶(hù)的綜合體驗(yàn)就無(wú)法得到保證了。
▲蘋(píng)果Vision Pro。圖片來(lái)源：蘋(píng)果
/ 04 / XR進(jìn)步的關(guān)鍵技術(shù)挑戰(zhàn)
目前來(lái)看，XR行業(yè)面臨的巨大挑戰(zhàn)在于，用戶(hù)期待更好的產(chǎn)品體驗(yàn)，但當(dāng)下的技術(shù)暫時(shí)還滿(mǎn)足不了用戶(hù)的高期待。和臺(tái)式設(shè)備不同，XR設(shè)備只能借助移動(dòng)端有限的算力和顯示設(shè)備，并且XR設(shè)備功耗又偏高。
站在科技創(chuàng)業(yè)投資的角度，峰瑞一直關(guān)注關(guān)鍵技術(shù)點(diǎn)的突破，及其帶來(lái)的爆發(fā)性商業(yè)機(jī)會(huì)。XR行業(yè)在2016年經(jīng)歷過(guò)一波熱潮后，逐步沉淀下一些有商業(yè)化價(jià)值的B端需求，例如教育、工業(yè)巡檢。而在C端，更好的產(chǎn)品體驗(yàn)背后，離不開(kāi)關(guān)鍵技術(shù)迭代。
拆解了相關(guān)的技術(shù)指標(biāo)，我們認(rèn)為技術(shù)研發(fā)的關(guān)鍵挑戰(zhàn)在于提升XR的視覺(jué)體驗(yàn)。這背后不僅涉及到硬件端的顯示模組與光學(xué)系統(tǒng)方案，也依賴(lài)軟件層面CG實(shí)時(shí)渲染技術(shù)的進(jìn)一步發(fā)展。此外，如何改善畫(huà)面運(yùn)動(dòng)延遲、提升沉浸感也是目前XR設(shè)備的一大痛點(diǎn)。
▎下一代顯示模組：Micro LED
人們?cè)赬R設(shè)備里看到的屏幕主要是由顯示模組構(gòu)成的。目前顯示模組主要有Fast-LCD、Micro OLED和Micro LED這三種技術(shù)方案。
▲圖片來(lái)源：安信證券研究中心
Fast-LCD制造成本低，已經(jīng)實(shí)現(xiàn)大規(guī)模量產(chǎn)，但響應(yīng)速度相對(duì)較慢。
Micro OLED具備高像素密度、高對(duì)比度的特性。但OLED是一種有機(jī)材料，容易老化，并且亮度比LED低不少。
相比于Fast-LCD和Micro OLED，Micro LED或許是下一代顯示模組更理想的方案。根據(jù)智東西報(bào)道，蘋(píng)果已投入大量資金開(kāi)發(fā)Micro LED。蘋(píng)果于2014年5月收購(gòu)LuxVue，該公司主營(yíng)Micro LED 業(yè)務(wù)，擁有多項(xiàng)可用于蘋(píng)果設(shè)備的Micro LED專(zhuān)利。
Micro LED兼具了LCD和OLED的優(yōu)勢(shì)，同樣具有擁有高像素密度，高對(duì)比度，高分辨率等多重特性。Micro LED的亮度理論上可以達(dá)到10萬(wàn)尼特以上，高于Micro OLED兩個(gè)數(shù)量級(jí)。并且，由于Micro LED在生產(chǎn)過(guò)程中不易受到污染，因此良品率更高，壽命也更長(zhǎng)。
目前，全彩色Micro LED還處于研究階段，沒(méi)有實(shí)現(xiàn)大規(guī)模量產(chǎn)。如果要制備全彩色Micro LED，主要有三色集成和量子點(diǎn)轉(zhuǎn)色兩種路徑，兩種方案都處于技術(shù)早期，存在不同程度的挑戰(zhàn)。
三色集成方案對(duì)微觀制造工藝的要求非常高，需要所有單色器件具備較好的一致性。三色集成方案中，紅光器件在尺寸縮小到微米級(jí)別甚至更小時(shí)，發(fā)光效率遠(yuǎn)低于綠光和藍(lán)光器件。量子點(diǎn)轉(zhuǎn)色方案則可以規(guī)避三色集成方案中的工藝難點(diǎn)，直接使用相對(duì)較成熟的藍(lán)光器件作為光源，使用量子點(diǎn)材料轉(zhuǎn)色得到紅光與綠光。
然而，不吃工藝的苦，就要吃材料的苦。目前的量子點(diǎn)材料容易老化，使用壽命較短。另外，量子點(diǎn)器件的變色層有時(shí)會(huì)漏光，產(chǎn)生相互串?dāng)_。
由于工藝相對(duì)簡(jiǎn)單，量子點(diǎn)轉(zhuǎn)色是目前大部分創(chuàng)業(yè)團(tuán)隊(duì)的主流選擇。但從投資角度來(lái)看，兩種技術(shù)路線仍處于競(jìng)爭(zhēng)中，還需等待一個(gè)相對(duì)更成熟的關(guān)鍵點(diǎn)。不管哪一種路線最終勝出，都將推動(dòng)Micro LED技術(shù)的產(chǎn)業(yè)化。我們將持續(xù)關(guān)注Micro LED相關(guān)的工藝、材料以及設(shè)備等方向的技術(shù)創(chuàng)新。
▎光學(xué)設(shè)計(jì)
XR設(shè)備屏幕離人眼很近，人眼很難聚焦。所以，人們需要設(shè)計(jì)一套獨(dú)特的光學(xué)系統(tǒng)，讓光線在狹小的空間內(nèi)多次傳導(dǎo)，使人眼能夠清晰聚焦顯示面板上的內(nèi)容。
▲VR設(shè)備的光學(xué)設(shè)計(jì)方案。圖片來(lái)源：智東西
▲AR的衍射光波導(dǎo)方案。圖片來(lái)源：Digilens
目前，在VR領(lǐng)域，Pancake超短焦折疊光路方案已經(jīng)成為新款頭戴設(shè)備的主流選擇。當(dāng)前蘋(píng)果Vision Pro、字節(jié)旗下的Pico4均采用此方案。據(jù)財(cái)聯(lián)社報(bào)道，Pancake解決了VR模組過(guò)于厚重的痛點(diǎn)，可將機(jī)身厚度降低約50%。
而在AR領(lǐng)域，衍射光波導(dǎo)方案將成為AR主流的光學(xué)設(shè)計(jì)，整體結(jié)構(gòu)輕薄，視場(chǎng)角FOV與分辨率高。但目前衍射光波導(dǎo)技術(shù)的整體成熟度還不夠高，存在色散（由于光線的折射和散射現(xiàn)象導(dǎo)致的色彩偏移現(xiàn)象）和光損控制（光在傳播過(guò)程中的亮度損失）的問(wèn)題。
往前沿的方向看，超透鏡（Metalens）與微透鏡陣列是行業(yè)預(yù)期的下一代XR光學(xué)技術(shù)路線。超透鏡是使用超表面（一系列亞波長(zhǎng)厚度的平面二維結(jié)構(gòu)材料）聚焦光纖的平面透鏡，可以實(shí)現(xiàn)對(duì)入射光線振幅、相位、偏振等參量的靈活調(diào)控。
微透鏡陣列在概念上與超透鏡類(lèi)似，是由一系列微米級(jí)別的微小透鏡構(gòu)成的陣列，可以實(shí)現(xiàn)傳統(tǒng)單光學(xué)鏡片無(wú)法實(shí)現(xiàn)的復(fù)雜功能。Intel基于異構(gòu)微透鏡陣列技術(shù)研發(fā)出了180°FOV的小型緊湊VR頭顯設(shè)備。
超透鏡（Metalens）與微透鏡陣列這兩個(gè)技術(shù)路徑的優(yōu)勢(shì)就是集成度更高，可以用更小更輕薄的光學(xué)系統(tǒng)，滿(mǎn)足XR設(shè)備的顯示需求。盡管這兩種方案尚處于研發(fā)初期階段，但已經(jīng)展示出非常強(qiáng)大的應(yīng)用潛力。
超透鏡概念圖。圖片來(lái)源：36氪、 邁塔蘭斯
▎實(shí)時(shí)云渲染
我們?cè)谏衔奶岬剑苿?dòng)端設(shè)備算力有限，XR設(shè)備難免受限。如果能將渲染挪到“云端”，也就是“實(shí)時(shí)云渲染”，可能會(huì)突破算力約束、實(shí)現(xiàn)高質(zhì)量實(shí)時(shí)渲染。當(dāng)前，實(shí)時(shí)云渲染最直觀的應(yīng)用就是云游戲。
但實(shí)時(shí)云渲染的實(shí)現(xiàn)有兩個(gè)技術(shù)難點(diǎn)。
首先，實(shí)時(shí)云渲染僅局限于單GPU，暫不兼容分布式運(yùn)算，這一點(diǎn)和AI大模型天然支持分布式計(jì)算不同。
目前，業(yè)界正在探索在XR領(lǐng)域?qū)崿F(xiàn)多卡分布式渲染，提高算力，但進(jìn)展較為緩慢。如果未來(lái)分布式渲染能夠?qū)崿F(xiàn)突破，可能我們?cè)谑褂肰R設(shè)備時(shí)，就像我們今天能夠在手機(jī)上使用AI相關(guān)的應(yīng)用，體驗(yàn)到遠(yuǎn)超移動(dòng)端本身的算力性能。
實(shí)時(shí)云渲染的另一個(gè)難點(diǎn)在于，它增加了基于網(wǎng)絡(luò)的視頻推流環(huán)節(jié)，更難控制畫(huà)面延遲的問(wèn)題。針對(duì)視頻的網(wǎng)絡(luò)延遲控制，視頻編解碼優(yōu)化與端云異步渲染是當(dāng)前主要的發(fā)展方向。
視頻編解碼優(yōu)化是指，在視頻推流時(shí)用一套云端專(zhuān)用的編解碼定制芯片替代CPU和GPU，來(lái)優(yōu)化延遲。它可以把整個(gè)編解碼的時(shí)間降到1毫秒以?xún)?nèi)，并盡可能壓縮各個(gè)環(huán)節(jié)的時(shí)間。
端云異步渲染是指將畫(huà)面渲染與終端顯示并行執(zhí)行。云端渲染好基礎(chǔ)畫(huà)面，終端根據(jù)用戶(hù)位置和姿態(tài)二次計(jì)算得到實(shí)時(shí)畫(huà)面，從而減少延遲。
所以，渲染的技術(shù)進(jìn)步中，不僅有移動(dòng)端硬件的機(jī)會(huì)，比如在更高節(jié)點(diǎn)進(jìn)行網(wǎng)絡(luò)通訊和數(shù)據(jù)通訊；在軟件層面，也有更適合云端渲染的新渲染技術(shù)的機(jī)會(huì)。
▎XR專(zhuān)用協(xié)處理器
從2023年上半年開(kāi)始，主算力芯片加協(xié)處理芯片的雙芯片方案已經(jīng)成為XR業(yè)內(nèi)的主流處理器方案。通過(guò)一個(gè)XR協(xié)處理專(zhuān)用芯片為主芯片排憂(yōu)解難，兩個(gè)芯片共同配合工作，能夠有效提升使用效果和計(jì)算效率。
▲圖片來(lái)源：蘋(píng)果
作為負(fù)責(zé)空間計(jì)算和感知的專(zhuān)用芯片，用于XR的協(xié)處理芯片相當(dāng)于以前手機(jī)上的M系列芯片，它可以實(shí)現(xiàn)前端攝像頭加傳感器數(shù)據(jù)的感知合成、SLAM建圖、Mapping及手勢(shì)跟蹤等復(fù)雜功能。主處理芯片則只需進(jìn)行核心邏輯運(yùn)算。
蘋(píng)果Vision Pro中，R1芯片作為協(xié)處理器，負(fù)責(zé)處理來(lái)自12個(gè)視覺(jué)攝像頭，5個(gè)傳感器，6個(gè)麥克風(fēng)輸入信號(hào)的數(shù)據(jù)處理工作，實(shí)現(xiàn)空間計(jì)算所需的姿態(tài)跟蹤、眼動(dòng)跟蹤、3D環(huán)境感知以及手勢(shì)跟蹤等核心功能，動(dòng)態(tài)延遲僅有12毫秒。
▲圖片來(lái)源：半導(dǎo)體產(chǎn)業(yè)縱橫（作者：千芯科技 陳?。?/p>
目前協(xié)處理器所執(zhí)行的任務(wù)仍相對(duì)簡(jiǎn)單。未來(lái)，分區(qū)渲染、雙眼焦點(diǎn)的渲染等更復(fù)雜的功能或?qū)⒅鸩睫D(zhuǎn)移到協(xié)處理器上運(yùn)行，我們認(rèn)為，隨著蘋(píng)果的示范效應(yīng)，未來(lái)協(xié)處理器的定義和功能仍有機(jī)會(huì)拓展，并解決更多面向XR的專(zhuān)有需求。面向XR行業(yè)的雙芯片架構(gòu)將會(huì)在未來(lái)成為主流趨勢(shì)。
/ 05 / 總結(jié)
站在科技創(chuàng)業(yè)投資的角度，峰瑞一直關(guān)注關(guān)鍵技術(shù)點(diǎn)的突破，及其帶來(lái)的爆發(fā)性商業(yè)機(jī)會(huì)。蘋(píng)果的Vision Pro既為XR行業(yè)打了個(gè)樣，也將助力XR領(lǐng)域吸引更多的關(guān)注與創(chuàng)業(yè)資源。
而XR設(shè)備想要實(shí)現(xiàn)更好的產(chǎn)品體驗(yàn)，離不開(kāi)關(guān)鍵技術(shù)迭代。當(dāng)技術(shù)不斷成熟后，XR設(shè)備能應(yīng)用到更多場(chǎng)景，為更多用戶(hù)帶來(lái)實(shí)打?qū)嵉暮诵膬r(jià)值。
我們認(rèn)為，技術(shù)研發(fā)的關(guān)鍵挑戰(zhàn)在于提升XR的視覺(jué)與交互體驗(yàn)。這背后不僅涉及到硬件端的顯示模組、光學(xué)系統(tǒng)、交互模組，也依賴(lài)軟件層面CG實(shí)時(shí)渲染技術(shù)的進(jìn)一步發(fā)展。此外，如何改善畫(huà)面運(yùn)動(dòng)延遲、提升沉浸感也是目前XR設(shè)備的一大痛點(diǎn)。
我們也會(huì)持續(xù)關(guān)注在MicroLED、新型光學(xué)系統(tǒng)，以及CG實(shí)時(shí)渲染等相關(guān)軟硬件技術(shù)的突破。這些技術(shù)革新將助力XR設(shè)備未來(lái)成為下一代移動(dòng)計(jì)算設(shè)備，甚至有可能創(chuàng)造出類(lèi)似于智能手機(jī)替代傳統(tǒng)PC的大變革機(jī)會(huì)。
暢想未來(lái)，可能在幾年內(nèi)，用戶(hù)戴上XR設(shè)備之后，就能像鋼鐵俠那樣去體驗(yàn)各種各樣X(jué)R帶來(lái)的一些有意思的新應(yīng)用。這些新應(yīng)用不僅是提升生產(chǎn)力的應(yīng)用，還包括娛樂(lè)應(yīng)用。也許那時(shí)候，我們無(wú)需攢人品去搶一張周杰倫的演唱會(huì)，通過(guò)XR設(shè)備，就能沉浸式地從家里的沙發(fā)，瞬移到鳥(niǎo)巢體育場(chǎng)的座位。