正在閱讀:

Meta甩出10大硬核技術(shù),揭秘扎克伯格元宇宙野心

掃一掃下載界面新聞APP

Meta甩出10大硬核技術(shù),揭秘扎克伯格元宇宙野心

Meta的原型機體驗起來到底如何?

文|智東西

說起VR(虛擬現(xiàn)實)領(lǐng)域的前沿研究進展,全球最火爆的VR設(shè)備供應(yīng)商Meta,絕對是引領(lǐng)市場風(fēng)向的存在。

Meta的CEO馬克·扎克伯格最近在訪談中透露了Meta在元宇宙領(lǐng)域的最新布局。Meta將于10月推出新的VR頭顯——Meta Quest Pro。

據(jù)悉,該頭顯的最大亮點是具有面部和眼動跟蹤功能,可以讓虛擬數(shù)字化身進行眼神交流。硬件分析師Brad Lynch認為,Meta Quest Pro將采用經(jīng)過改進的XR2處理器,較現(xiàn)有的XR2處理器同比性能提升30%。分析師郭明錤預(yù)測,Quest Pro將使用單眼2160×2160分辨率的面板。

在訪談中,扎克伯格還談到了元宇宙社交,他認為,從文字、圖像、再到視頻,社交媒體的載體正朝著更大的信息容量演變,而下一個能比視頻承載更多信息量的載體,就在VR領(lǐng)域。

此前,扎克伯格親自下場推薦自家的社交平臺Horizon Worlds,并發(fā)表了一張VR自拍。雖然照片遭到全網(wǎng)群嘲,不過扎克伯格還是為Horizon Worlds帶起了一波全網(wǎng)熱度。

近來,Meta在元宇宙領(lǐng)域的動作頻繁。今年6月,Meta的VR部門Reality Labs推出了四款VR頭顯原型機,分別展示未來VR設(shè)備的4個關(guān)鍵技術(shù)演進方向:高分辨率、高動態(tài)范圍(HDR)、輕薄外形、降低暈眩感的變焦技術(shù)優(yōu)化。在8月舉辦的SIGGRAPH大會中,Meta的顯示系統(tǒng)開發(fā)負責(zé)人Douglas Lanman發(fā)表演講,為我們介紹了攻破VR技術(shù)瓶頸的十大挑戰(zhàn)。

在SIGGRAPH 2022大會上,外媒Auganix的記者Sam Sprigg特別體驗了主打HDR功能的VR原型機Starburst。Oculus Quest 2是Meta迄今推出的VR一體機巔峰之作,去年出貨量突破千萬臺,是史上最暢銷的VR產(chǎn)品,而Starburst的峰值亮度足足有Quest 2的200倍。

那么,Meta的元宇宙布局究竟是怎樣的?Meta的原型機體驗起來到底如何?Meta的百億研發(fā)都投入到了哪里?讓我們帶著這些疑問,一起來看看Meta在VR領(lǐng)域上的最新發(fā)展。

01.為探索四大研究領(lǐng)域,Meta發(fā)布四款原型機

今年6月,Meta Reality Labs公布了四款不同技術(shù)領(lǐng)域的VR頭顯原型機。

Butterscotch探索分辨率技術(shù)、Starburst探索HDR技術(shù)、Holocake 2探索VR頭顯的輕薄外形打造技術(shù)、Half Dome 系列探索變焦技術(shù)。這四款原型機分別代表了Meta在四個VR頭顯研發(fā)領(lǐng)域取得的最新進展。

此前,Meta的CEO馬克·扎克伯格曾提出視覺圖靈測試(Visual Turing test)的概念。簡單來說,視覺圖靈測試的考核標準就是虛擬圖像能否以假亂真,讓人眼無法分辨出虛擬圖像與真實圖像。扎克伯格表示,視覺圖靈測試有兩個重點,即照片級真實感和臨場感。

▲不同VR頭顯分辨率對比

而讓圖像更加逼真的方法之一,就是盡可能地提升圖像的分辨率。為此,Meta研發(fā)了原型機Butterscotch,其特點就是具有“視網(wǎng)膜級別”的分辨率。

Butterscotch的PPD達到55,很接近每1度角60像素的“視網(wǎng)膜分辨率”水平,其分辨率是Quest 2的2.5倍,Meta Reality Labs科研部門DSR團隊光學(xué)科學(xué)家Yang Zhao說,Butterscotch的定制透鏡模組中,有兩個高精度玻璃鏡片,鏡片的表面質(zhì)量更高,但也更重。此外,還有一個可衍射光線的特制透鏡。玻璃透鏡與衍射透鏡組合后,即可呈現(xiàn)清晰的圖像。

Starburst原型機的特點是具備高HDR(高動態(tài)范圍成像)功能,其背光的最大亮度可達20000nit,是現(xiàn)有VR頭顯Quest 2的200倍。Meta Reality Labs團隊開發(fā)Starburst的目的是在虛擬環(huán)境中還原完整的室內(nèi)照明,并探索能讓用戶實現(xiàn)最佳沉浸體驗的理想亮度。

Starburst采用COB LED(常用于車燈上的LED)取代原來的LCD屏幕背光,這在很大程度上提高了LCD的背光亮度,但也產(chǎn)生了更多的熱量。因此,Starburst還配備了風(fēng)扇和3D打印散熱底架。但是設(shè)備整體比較笨重,且耗電嚴重。在四項技術(shù)中,這項技術(shù)離上市的距離最遠。

Holocake 2原型機的特點是輕薄,可以提升VR頭顯的佩戴舒適度。Holocake 2是一款PC VR設(shè)備,雖然它的外形輕薄,但是它需要額外的計算和電池組件空間,采取分體式設(shè)計。

▲Half Dome發(fā)展史

Half Dome是基于Oculus Rift改造的VR頭顯原型機,其特點是采用可變焦透鏡。從第三代開始,Half Dome的透鏡從機械系統(tǒng)升級為電子變焦系統(tǒng),減少了機械噪音和震動。Half Dome 3有32個可切換的焦點平面。據(jù)體驗者透露,通過Half Dome的動態(tài)變焦玩《Lucky’s Tale》等游戲時,視野里的圖像焦點可以根據(jù)手柄移動的距離而變化。

02.Starburst峰值亮度為20000nit,是Quest 2的200倍

在本月舉辦的計算機圖形頂會SIGGRAPH 2022上,外媒Auganix的記者Sam Sprigg特別體驗了主打HDR功能的VR原型機Starburst。Oculus Quest 2是Meta迄今推出的VR一體機巔峰之作,去年出貨量突破千萬臺,是史上最暢銷的VR產(chǎn)品,而Starburst的峰值亮度足足有Quest 2的200倍。

在展會現(xiàn)場,兩臺Starburst被掛在一個框架上供參與者體驗。Starburst的重量約為2.5公斤,這個數(shù)字對于頭戴式設(shè)備而言,有點太大了。Sam Sprigg說:“它太重了,你無法把它戴在頭上,只能把它舉到臉前?!辈⑶?,Starburst需要大量電力支持其高亮度顯示,所以它被固定在了框架上。

Starburst的亮度是用“nit”來衡量的,Sam Sprigg稱,室內(nèi)環(huán)境的亮度超過10000nit,而Starburst的峰值亮度為20000nit。而Meta曾表示,Quest 2的峰值亮度約為100nit,Starburst的峰值亮度是Quest 2的200倍。

而20000nit的峰值也可以在一定程度上解釋Starburst的“笨重”。高亮度也會產(chǎn)生高熱量,為了散熱,Starburst配備了大型的鋁散熱器。Meta的顯示系統(tǒng)研究團隊(Display Systems Research,DSR)的研究科學(xué)家Nathan Matsuda說,鋁散熱器至少占了設(shè)備重量的50%。此外,設(shè)備頂部有一個大型風(fēng)扇,可以吸收散熱器中的熱量。

不過,Starburst的分辨率較低,約為2560x1620像素,比Quest 2略低。不過,這也可以讓人接受。因為Starburst主要展示HDR的解決方案,至于高分辨率,那是Butterscotch該探索的方向。

Starburst同時使用彩色和單色LCD(液晶顯示器)。Matsuda表示,這是因為單個LCD在低光下的對比度較差,而兩個彩色LCD又會吸收大部分光線,降低顯示效果。因此,將彩色和單色LCD串聯(lián)使用,就可以獲得最佳的顯示效果。

為了專注探索HDR技術(shù),Starburst在畫面的刷新率和視野方面做出了妥協(xié)。不過,Sam Sprigg稱,這種妥協(xié)并沒有影響Starburst在HDR和亮度方面的表現(xiàn)。

Starburst演示的第一部分就是在虛擬空間設(shè)置一個光源,再放置一些球體來顯示反射光源。Sam Sprigg稱,在10000nit顯示范圍下,這與Quest 2的體驗相同,沒有什么特別的地方。

但是,當亮度上升到10000nit時,他能感受到更明顯的亮度。展示10000nit光線時,演示切換到了海洋日落景觀。太陽穿過云層,光線打在海洋的波浪上,水面波光粼粼。然后,光線上升到了峰值20000nit,畫面中有一個虛擬的太陽。Sam Sprigg稱,他覺得自己仿佛看到了真實的太陽,因為光線實在太亮了。最后,太陽落山時,海浪發(fā)出了微弱的反光。這個演示令人印象深刻。

Sam Sprigg稱,他在Starburst中直視20000nit的光源可能跟盯著60瓦燈泡的感覺差不多。但是,VR中的光源距離他的眼睛只有幾英寸,這個距離很近。他認為,這種亮度顯示可以為用戶帶來更加真實且富有沉浸感的體驗。

但是,Sam Sprigg也指出,功率、熱量、外形是限制VR頭顯發(fā)展HDR技術(shù)的重要阻礙。他認為,我們可能還需要很長的時間,才能等到能夠輸出20000nit的成熟上市產(chǎn)品。

03.困難重重,VR頭顯面臨十大技術(shù)挑戰(zhàn)

目前Meta雖然在VR頭顯上已經(jīng)取得了一些技術(shù)進展,但仍然遇到了很多目前無法解決的技術(shù)瓶頸。在SIGGRAPH大會的演講中,Meta顯示系統(tǒng)開發(fā)負責(zé)人Douglas Lanman為我們提供了一些參考方向——要想將VR體驗提升到新的高度,目前有十大挑戰(zhàn)亟待解決!

誰能率先攻破這些挑戰(zhàn),誰就有望在愈演愈烈的元宇宙硬件入口搶奪賽中,爭得先機。

1、分辨率:Meta開發(fā)Butterscotch原型機,致力提高分辨率

為了提高用戶的沉浸感,讓虛擬世界看起來更加逼真、清晰,VR頭顯必須擁有更高的分辨率。目前的VR頭顯分辨率離人類視覺水平還非常遙遠。

Meta表示,他們的初步目標是實現(xiàn)單眼8K分辨率和60PPD(像素密度)。但是目前Quest 2只達到了單眼2K分辨率和20PPD,距離這一目標還有較遠距離。

為了提高VR頭顯的分辨率,Meta開發(fā)了專注探索分辨率的Butterscotch原型機。在這方面,高分辨率顯示器的開發(fā)和生產(chǎn)并不是難點,難點在于如何為高分辨率顯示器配備相應(yīng)的計算能力。Lanman指出,注視點渲染(Foveated Rendering)和云流送(Cloud streaming)兩種技術(shù)或許有助于提升計算能力,但是這兩種技術(shù)本身的研發(fā)難度也很大。

2、視場角:VR頭顯視場角比人眼小一倍

人類的平均水平視場角為200度,而目前大多數(shù)商用VR頭顯的水平視場角為100度。這意味著VR頭顯的視野范圍比我們在真實環(huán)境中看到的更窄。此外,在垂直視場角方面,VR頭顯也有改進的余地。

視野越寬,VR頭顯呈現(xiàn)的像素也越多。這就要求更高的功率和更多的廢熱(waste heat)。此外,視線范圍變寬后,視線范圍邊緣的圖像容易失真。因此,更寬的視線范圍需要更好的透鏡技術(shù)支持。并且,研究人員還要確保鏡頭和顯示器的構(gòu)建方式不會增加VR頭顯的外形尺寸。

3、人體工程學(xué)(Ergonomics):VR頭顯佩戴舒適度不夠

目前大多數(shù)VR頭顯都會略顯“笨重”,例如Quest 2的重量超過500克,其設(shè)備厚度(從面部突出的距離)達8厘米。這樣的設(shè)備顯然不會為用戶帶來很好的佩戴體驗。理想的VR設(shè)備應(yīng)該更輕薄,能讓用戶舒適地長時間佩戴。

Pancake透鏡和全息透鏡或許會對減小頭顯體積有所幫助,目前Meta的Holocake 2原型機正在往此方向探索,但其尚未發(fā)展到大規(guī)模生產(chǎn)的水平。

4、視力矯正顯示屏:還未找到成本低廉的視力矯正顯示屏

更好的VR頭顯應(yīng)該具備視覺矯正功能,讓用戶不必在VR頭顯下還帶著常規(guī)眼鏡。這個問題可以通過特殊的鏡頭附件解決,但這不是理想的解決方案。最佳方案是頭顯的顯示器自帶視覺矯正功能,這樣頭顯設(shè)計師就不再需要考慮適配眼鏡等問題。

但挑戰(zhàn)就在于,如何才能找到一種制造成本低廉,且不會額外增加頭顯重量的解決方式呢?

5、變焦:Meta原型機Half Dome可實現(xiàn)人眼變焦

在自然環(huán)境中,為了看清不同距離的畫面,人眼可以自然變焦。但在VR頭顯中,因為人眼與屏幕之間的距離沒有改變,所以人眼無法變焦,也無法看清遠近景物之間的差別。這其中存在視覺輻輳調(diào)節(jié)沖突(vergence-accommodation-conflict)問題。所以有時用戶會感到眼睛疲勞,甚至出現(xiàn)頭痛和嘔吐現(xiàn)象。

為了解決這個問題,Meta的研究人員開發(fā)了一系列支持“漸進式視覺”(progressive vision)的原型機Half Dome。Half Dome可以模擬不同的焦點平面,呈現(xiàn)出不同的模糊程度,從而幫助人眼在虛擬世界里調(diào)整焦距。

6、眼動追蹤:難以適配所有人的眼部情況

眼動跟蹤是虛擬現(xiàn)實中的一項關(guān)鍵技術(shù)。它是眾多其他重要VR技術(shù)的基礎(chǔ),如變焦、畸變校正等。通過這項技術(shù),用戶可以在虛擬世界中實現(xiàn)與其他用戶的眼神交流,擁有更加真實的社交體驗。

但問題在于,每個人都有不同的瞳孔形狀、每個人眼瞼和睫毛的生長情況也不同,所以目前眼動追蹤技術(shù)還無法很好地適配所有用戶。因此,Lanman團隊將廣泛收集更多的用戶數(shù)據(jù),以此升級眼動追蹤技術(shù)技術(shù),努力讓它與更多人適配。

7、畸變校正:Meta研發(fā)失真模擬器,加快算法迭代速度

瞳孔的運動會引起圖像的失真,進而降低用戶的沉浸感,這種現(xiàn)象在配合變焦技術(shù)使用時尤其明顯。為了開發(fā)校正算法,研究人員必須在實物頭顯上進行調(diào)整測試,但生產(chǎn)頭顯可能會耗費數(shù)周甚至數(shù)月,這大大拖延了算法的迭代時間。

為了解決這個問題,Meta研究團隊開發(fā)了一種失真模擬器(distortion simulator)。有了這種模擬器,無需生產(chǎn)測試頭顯和特殊鏡頭,研究人員就能測試校正算法。

8、高動態(tài)范圍(HDR):Starburst原型機峰值亮度為20000nit

物理對象和環(huán)境的亮度遠遠高于VR頭顯,為了解決這個問題,Meta創(chuàng)造了Starburst原型機。Starburst的亮度峰值為20000nit,是現(xiàn)存Quest 2的200倍。

Starburst可以更真實地模擬封閉空間和夜晚的照明狀況,讓虛擬環(huán)境看起來更加真實。不過,目前Starburst很重,并且十分耗能。

Meta認為,HDR對視覺真實感的貢獻要大于分辨率和變焦,但這項技術(shù)距離實際應(yīng)用最為遙遠。

9、視覺逼真度(Visual realism):透視(Passthrough)技術(shù)尚不成熟

更好的VR頭顯應(yīng)該還能讓VR用戶與現(xiàn)實世界保持互動。VR頭顯可以記錄真實環(huán)境信息并在虛擬現(xiàn)實中顯示為視頻圖像。這種稱為“透視”(Passthrough)的技術(shù)已經(jīng)在商用VR頭顯中實現(xiàn),但其質(zhì)量很差。例如,Quest 2提供了一種黑白相間的透視模式,而Meta的即將推出的高端VR頭顯“Quest Pro”旨在追求更高的分辨率和彩色透視功能。

然而,VR頭顯尚未實現(xiàn)物理環(huán)境的完美重建。透視技術(shù)捕捉到的畫面視角在空間上與眼睛存在偏差,用戶在長時間使用時可能會感到不適。所以,Meta正在研究人工智能輔助的視線合成,該技術(shù)能實時生成視角正確的視點,并具有高視覺保真度。

此外,Meta還在研究一種“反向透視”(Reverse Passthrough)功能,該功能可以讓現(xiàn)實用戶看到VR用戶的眼鏡和臉部,進而進行眼神交流。但是目前這項技術(shù)在視覺上不協(xié)調(diào)、不自然,還遠未為市場做好準備。

10、面部重建:Meta開展“虛擬化身”項目研究

Meta希望未來人們在虛擬環(huán)境中見面就像在現(xiàn)實中一樣真實。為此,Meta正在展開了名為虛擬化身(Codec Avatars)的研究項目,該項目致力于為人們在虛擬環(huán)境中創(chuàng)建3D數(shù)字化身。

目前,VR頭顯可以實時讀取VR用戶的面部表情,并將其轉(zhuǎn)移到虛擬現(xiàn)實中。據(jù)悉,即將推出的Quest Pro或?qū)⒊蔀镸eta第一款提供面部跟蹤(face-tracking)的設(shè)備。

04.結(jié)語:Meta的VR技術(shù)已有突破,但仍需繼續(xù)攻克技術(shù)難題

Lanman在SIGGRAPH 2022上提出了目前VR頭顯面臨的十大挑戰(zhàn),我們可以從中看到目前Meta取得的進展和尚未解決的問題。Meta發(fā)布了四款原型機,目的是解決VR頭顯在分辨率、變焦、輕薄外形、HDR四個方面的問題。這四款原型機各有所長,在各自領(lǐng)域獲得了初步的技術(shù)進展。此外,Meta開展了虛擬化身項目助力VR頭顯的面部重建功能、開發(fā)了失真模擬器加速算法迭代。

這些原型機展現(xiàn)了現(xiàn)在Meta在VR單項技術(shù)領(lǐng)域能達到的最高水準,但這些技術(shù)遠遠不足以打造出一個成熟的VR頭顯。目前仍存在一些Meta暫時無法攻克的技術(shù)問題。例如VR頭顯的視場角比人眼更窄、VR頭顯佩戴的舒適度不夠、VR頭顯還未配備視力矯正功能、VR頭顯的眼動追蹤技術(shù)不能適配所有人、VR頭顯的“透視”技術(shù)尚不成熟等等。

細數(shù)目前Meta在VR頭顯上的探索,我們可以發(fā)現(xiàn),Meta已經(jīng)在VR頭顯探索的路上走了很長的一段距離。但是,Meta離這條路的終點還很遠。目前,VR頭顯相關(guān)的各項技術(shù)都在積極開發(fā)中,但這些技術(shù)還遠未成熟,離上市商用還有一段距離。從這個角度來看,VR的爆發(fā)潮還很遠。

來源:Auganix、Mixed

本文為轉(zhuǎn)載內(nèi)容,授權(quán)事宜請聯(lián)系原著作權(quán)人。

Facebook

5k
  • 美股三大指數(shù)收盤均漲超1%,道指創(chuàng)10月下旬以來最大單周跌幅
  • 搶在小米百度之前,閃極發(fā)布國內(nèi)首款量產(chǎn)AI眼鏡

評論

暫無評論哦,快來評價一下吧!

下載界面新聞

微信公眾號

微博

Meta甩出10大硬核技術(shù),揭秘扎克伯格元宇宙野心

Meta的原型機體驗起來到底如何?

文|智東西

說起VR(虛擬現(xiàn)實)領(lǐng)域的前沿研究進展,全球最火爆的VR設(shè)備供應(yīng)商Meta,絕對是引領(lǐng)市場風(fēng)向的存在。

Meta的CEO馬克·扎克伯格最近在訪談中透露了Meta在元宇宙領(lǐng)域的最新布局。Meta將于10月推出新的VR頭顯——Meta Quest Pro。

據(jù)悉,該頭顯的最大亮點是具有面部和眼動跟蹤功能,可以讓虛擬數(shù)字化身進行眼神交流。硬件分析師Brad Lynch認為,Meta Quest Pro將采用經(jīng)過改進的XR2處理器,較現(xiàn)有的XR2處理器同比性能提升30%。分析師郭明錤預(yù)測,Quest Pro將使用單眼2160×2160分辨率的面板。

在訪談中,扎克伯格還談到了元宇宙社交,他認為,從文字、圖像、再到視頻,社交媒體的載體正朝著更大的信息容量演變,而下一個能比視頻承載更多信息量的載體,就在VR領(lǐng)域。

此前,扎克伯格親自下場推薦自家的社交平臺Horizon Worlds,并發(fā)表了一張VR自拍。雖然照片遭到全網(wǎng)群嘲,不過扎克伯格還是為Horizon Worlds帶起了一波全網(wǎng)熱度。

近來,Meta在元宇宙領(lǐng)域的動作頻繁。今年6月,Meta的VR部門Reality Labs推出了四款VR頭顯原型機,分別展示未來VR設(shè)備的4個關(guān)鍵技術(shù)演進方向:高分辨率、高動態(tài)范圍(HDR)、輕薄外形、降低暈眩感的變焦技術(shù)優(yōu)化。在8月舉辦的SIGGRAPH大會中,Meta的顯示系統(tǒng)開發(fā)負責(zé)人Douglas Lanman發(fā)表演講,為我們介紹了攻破VR技術(shù)瓶頸的十大挑戰(zhàn)。

在SIGGRAPH 2022大會上,外媒Auganix的記者Sam Sprigg特別體驗了主打HDR功能的VR原型機Starburst。Oculus Quest 2是Meta迄今推出的VR一體機巔峰之作,去年出貨量突破千萬臺,是史上最暢銷的VR產(chǎn)品,而Starburst的峰值亮度足足有Quest 2的200倍。

那么,Meta的元宇宙布局究竟是怎樣的?Meta的原型機體驗起來到底如何?Meta的百億研發(fā)都投入到了哪里?讓我們帶著這些疑問,一起來看看Meta在VR領(lǐng)域上的最新發(fā)展。

01.為探索四大研究領(lǐng)域,Meta發(fā)布四款原型機

今年6月,Meta Reality Labs公布了四款不同技術(shù)領(lǐng)域的VR頭顯原型機。

Butterscotch探索分辨率技術(shù)、Starburst探索HDR技術(shù)、Holocake 2探索VR頭顯的輕薄外形打造技術(shù)、Half Dome 系列探索變焦技術(shù)。這四款原型機分別代表了Meta在四個VR頭顯研發(fā)領(lǐng)域取得的最新進展。

此前,Meta的CEO馬克·扎克伯格曾提出視覺圖靈測試(Visual Turing test)的概念。簡單來說,視覺圖靈測試的考核標準就是虛擬圖像能否以假亂真,讓人眼無法分辨出虛擬圖像與真實圖像。扎克伯格表示,視覺圖靈測試有兩個重點,即照片級真實感和臨場感。

▲不同VR頭顯分辨率對比

而讓圖像更加逼真的方法之一,就是盡可能地提升圖像的分辨率。為此,Meta研發(fā)了原型機Butterscotch,其特點就是具有“視網(wǎng)膜級別”的分辨率。

Butterscotch的PPD達到55,很接近每1度角60像素的“視網(wǎng)膜分辨率”水平,其分辨率是Quest 2的2.5倍,Meta Reality Labs科研部門DSR團隊光學(xué)科學(xué)家Yang Zhao說,Butterscotch的定制透鏡模組中,有兩個高精度玻璃鏡片,鏡片的表面質(zhì)量更高,但也更重。此外,還有一個可衍射光線的特制透鏡。玻璃透鏡與衍射透鏡組合后,即可呈現(xiàn)清晰的圖像。

Starburst原型機的特點是具備高HDR(高動態(tài)范圍成像)功能,其背光的最大亮度可達20000nit,是現(xiàn)有VR頭顯Quest 2的200倍。Meta Reality Labs團隊開發(fā)Starburst的目的是在虛擬環(huán)境中還原完整的室內(nèi)照明,并探索能讓用戶實現(xiàn)最佳沉浸體驗的理想亮度。

Starburst采用COB LED(常用于車燈上的LED)取代原來的LCD屏幕背光,這在很大程度上提高了LCD的背光亮度,但也產(chǎn)生了更多的熱量。因此,Starburst還配備了風(fēng)扇和3D打印散熱底架。但是設(shè)備整體比較笨重,且耗電嚴重。在四項技術(shù)中,這項技術(shù)離上市的距離最遠。

Holocake 2原型機的特點是輕薄,可以提升VR頭顯的佩戴舒適度。Holocake 2是一款PC VR設(shè)備,雖然它的外形輕薄,但是它需要額外的計算和電池組件空間,采取分體式設(shè)計。

▲Half Dome發(fā)展史

Half Dome是基于Oculus Rift改造的VR頭顯原型機,其特點是采用可變焦透鏡。從第三代開始,Half Dome的透鏡從機械系統(tǒng)升級為電子變焦系統(tǒng),減少了機械噪音和震動。Half Dome 3有32個可切換的焦點平面。據(jù)體驗者透露,通過Half Dome的動態(tài)變焦玩《Lucky’s Tale》等游戲時,視野里的圖像焦點可以根據(jù)手柄移動的距離而變化。

02.Starburst峰值亮度為20000nit,是Quest 2的200倍

在本月舉辦的計算機圖形頂會SIGGRAPH 2022上,外媒Auganix的記者Sam Sprigg特別體驗了主打HDR功能的VR原型機Starburst。Oculus Quest 2是Meta迄今推出的VR一體機巔峰之作,去年出貨量突破千萬臺,是史上最暢銷的VR產(chǎn)品,而Starburst的峰值亮度足足有Quest 2的200倍。

在展會現(xiàn)場,兩臺Starburst被掛在一個框架上供參與者體驗。Starburst的重量約為2.5公斤,這個數(shù)字對于頭戴式設(shè)備而言,有點太大了。Sam Sprigg說:“它太重了,你無法把它戴在頭上,只能把它舉到臉前?!辈⑶?,Starburst需要大量電力支持其高亮度顯示,所以它被固定在了框架上。

Starburst的亮度是用“nit”來衡量的,Sam Sprigg稱,室內(nèi)環(huán)境的亮度超過10000nit,而Starburst的峰值亮度為20000nit。而Meta曾表示,Quest 2的峰值亮度約為100nit,Starburst的峰值亮度是Quest 2的200倍。

而20000nit的峰值也可以在一定程度上解釋Starburst的“笨重”。高亮度也會產(chǎn)生高熱量,為了散熱,Starburst配備了大型的鋁散熱器。Meta的顯示系統(tǒng)研究團隊(Display Systems Research,DSR)的研究科學(xué)家Nathan Matsuda說,鋁散熱器至少占了設(shè)備重量的50%。此外,設(shè)備頂部有一個大型風(fēng)扇,可以吸收散熱器中的熱量。

不過,Starburst的分辨率較低,約為2560x1620像素,比Quest 2略低。不過,這也可以讓人接受。因為Starburst主要展示HDR的解決方案,至于高分辨率,那是Butterscotch該探索的方向。

Starburst同時使用彩色和單色LCD(液晶顯示器)。Matsuda表示,這是因為單個LCD在低光下的對比度較差,而兩個彩色LCD又會吸收大部分光線,降低顯示效果。因此,將彩色和單色LCD串聯(lián)使用,就可以獲得最佳的顯示效果。

為了專注探索HDR技術(shù),Starburst在畫面的刷新率和視野方面做出了妥協(xié)。不過,Sam Sprigg稱,這種妥協(xié)并沒有影響Starburst在HDR和亮度方面的表現(xiàn)。

Starburst演示的第一部分就是在虛擬空間設(shè)置一個光源,再放置一些球體來顯示反射光源。Sam Sprigg稱,在10000nit顯示范圍下,這與Quest 2的體驗相同,沒有什么特別的地方。

但是,當亮度上升到10000nit時,他能感受到更明顯的亮度。展示10000nit光線時,演示切換到了海洋日落景觀。太陽穿過云層,光線打在海洋的波浪上,水面波光粼粼。然后,光線上升到了峰值20000nit,畫面中有一個虛擬的太陽。Sam Sprigg稱,他覺得自己仿佛看到了真實的太陽,因為光線實在太亮了。最后,太陽落山時,海浪發(fā)出了微弱的反光。這個演示令人印象深刻。

Sam Sprigg稱,他在Starburst中直視20000nit的光源可能跟盯著60瓦燈泡的感覺差不多。但是,VR中的光源距離他的眼睛只有幾英寸,這個距離很近。他認為,這種亮度顯示可以為用戶帶來更加真實且富有沉浸感的體驗。

但是,Sam Sprigg也指出,功率、熱量、外形是限制VR頭顯發(fā)展HDR技術(shù)的重要阻礙。他認為,我們可能還需要很長的時間,才能等到能夠輸出20000nit的成熟上市產(chǎn)品。

03.困難重重,VR頭顯面臨十大技術(shù)挑戰(zhàn)

目前Meta雖然在VR頭顯上已經(jīng)取得了一些技術(shù)進展,但仍然遇到了很多目前無法解決的技術(shù)瓶頸。在SIGGRAPH大會的演講中,Meta顯示系統(tǒng)開發(fā)負責(zé)人Douglas Lanman為我們提供了一些參考方向——要想將VR體驗提升到新的高度,目前有十大挑戰(zhàn)亟待解決!

誰能率先攻破這些挑戰(zhàn),誰就有望在愈演愈烈的元宇宙硬件入口搶奪賽中,爭得先機。

1、分辨率:Meta開發(fā)Butterscotch原型機,致力提高分辨率

為了提高用戶的沉浸感,讓虛擬世界看起來更加逼真、清晰,VR頭顯必須擁有更高的分辨率。目前的VR頭顯分辨率離人類視覺水平還非常遙遠。

Meta表示,他們的初步目標是實現(xiàn)單眼8K分辨率和60PPD(像素密度)。但是目前Quest 2只達到了單眼2K分辨率和20PPD,距離這一目標還有較遠距離。

為了提高VR頭顯的分辨率,Meta開發(fā)了專注探索分辨率的Butterscotch原型機。在這方面,高分辨率顯示器的開發(fā)和生產(chǎn)并不是難點,難點在于如何為高分辨率顯示器配備相應(yīng)的計算能力。Lanman指出,注視點渲染(Foveated Rendering)和云流送(Cloud streaming)兩種技術(shù)或許有助于提升計算能力,但是這兩種技術(shù)本身的研發(fā)難度也很大。

2、視場角:VR頭顯視場角比人眼小一倍

人類的平均水平視場角為200度,而目前大多數(shù)商用VR頭顯的水平視場角為100度。這意味著VR頭顯的視野范圍比我們在真實環(huán)境中看到的更窄。此外,在垂直視場角方面,VR頭顯也有改進的余地。

視野越寬,VR頭顯呈現(xiàn)的像素也越多。這就要求更高的功率和更多的廢熱(waste heat)。此外,視線范圍變寬后,視線范圍邊緣的圖像容易失真。因此,更寬的視線范圍需要更好的透鏡技術(shù)支持。并且,研究人員還要確保鏡頭和顯示器的構(gòu)建方式不會增加VR頭顯的外形尺寸。

3、人體工程學(xué)(Ergonomics):VR頭顯佩戴舒適度不夠

目前大多數(shù)VR頭顯都會略顯“笨重”,例如Quest 2的重量超過500克,其設(shè)備厚度(從面部突出的距離)達8厘米。這樣的設(shè)備顯然不會為用戶帶來很好的佩戴體驗。理想的VR設(shè)備應(yīng)該更輕薄,能讓用戶舒適地長時間佩戴。

Pancake透鏡和全息透鏡或許會對減小頭顯體積有所幫助,目前Meta的Holocake 2原型機正在往此方向探索,但其尚未發(fā)展到大規(guī)模生產(chǎn)的水平。

4、視力矯正顯示屏:還未找到成本低廉的視力矯正顯示屏

更好的VR頭顯應(yīng)該具備視覺矯正功能,讓用戶不必在VR頭顯下還帶著常規(guī)眼鏡。這個問題可以通過特殊的鏡頭附件解決,但這不是理想的解決方案。最佳方案是頭顯的顯示器自帶視覺矯正功能,這樣頭顯設(shè)計師就不再需要考慮適配眼鏡等問題。

但挑戰(zhàn)就在于,如何才能找到一種制造成本低廉,且不會額外增加頭顯重量的解決方式呢?

5、變焦:Meta原型機Half Dome可實現(xiàn)人眼變焦

在自然環(huán)境中,為了看清不同距離的畫面,人眼可以自然變焦。但在VR頭顯中,因為人眼與屏幕之間的距離沒有改變,所以人眼無法變焦,也無法看清遠近景物之間的差別。這其中存在視覺輻輳調(diào)節(jié)沖突(vergence-accommodation-conflict)問題。所以有時用戶會感到眼睛疲勞,甚至出現(xiàn)頭痛和嘔吐現(xiàn)象。

為了解決這個問題,Meta的研究人員開發(fā)了一系列支持“漸進式視覺”(progressive vision)的原型機Half Dome。Half Dome可以模擬不同的焦點平面,呈現(xiàn)出不同的模糊程度,從而幫助人眼在虛擬世界里調(diào)整焦距。

6、眼動追蹤:難以適配所有人的眼部情況

眼動跟蹤是虛擬現(xiàn)實中的一項關(guān)鍵技術(shù)。它是眾多其他重要VR技術(shù)的基礎(chǔ),如變焦、畸變校正等。通過這項技術(shù),用戶可以在虛擬世界中實現(xiàn)與其他用戶的眼神交流,擁有更加真實的社交體驗。

但問題在于,每個人都有不同的瞳孔形狀、每個人眼瞼和睫毛的生長情況也不同,所以目前眼動追蹤技術(shù)還無法很好地適配所有用戶。因此,Lanman團隊將廣泛收集更多的用戶數(shù)據(jù),以此升級眼動追蹤技術(shù)技術(shù),努力讓它與更多人適配。

7、畸變校正:Meta研發(fā)失真模擬器,加快算法迭代速度

瞳孔的運動會引起圖像的失真,進而降低用戶的沉浸感,這種現(xiàn)象在配合變焦技術(shù)使用時尤其明顯。為了開發(fā)校正算法,研究人員必須在實物頭顯上進行調(diào)整測試,但生產(chǎn)頭顯可能會耗費數(shù)周甚至數(shù)月,這大大拖延了算法的迭代時間。

為了解決這個問題,Meta研究團隊開發(fā)了一種失真模擬器(distortion simulator)。有了這種模擬器,無需生產(chǎn)測試頭顯和特殊鏡頭,研究人員就能測試校正算法。

8、高動態(tài)范圍(HDR):Starburst原型機峰值亮度為20000nit

物理對象和環(huán)境的亮度遠遠高于VR頭顯,為了解決這個問題,Meta創(chuàng)造了Starburst原型機。Starburst的亮度峰值為20000nit,是現(xiàn)存Quest 2的200倍。

Starburst可以更真實地模擬封閉空間和夜晚的照明狀況,讓虛擬環(huán)境看起來更加真實。不過,目前Starburst很重,并且十分耗能。

Meta認為,HDR對視覺真實感的貢獻要大于分辨率和變焦,但這項技術(shù)距離實際應(yīng)用最為遙遠。

9、視覺逼真度(Visual realism):透視(Passthrough)技術(shù)尚不成熟

更好的VR頭顯應(yīng)該還能讓VR用戶與現(xiàn)實世界保持互動。VR頭顯可以記錄真實環(huán)境信息并在虛擬現(xiàn)實中顯示為視頻圖像。這種稱為“透視”(Passthrough)的技術(shù)已經(jīng)在商用VR頭顯中實現(xiàn),但其質(zhì)量很差。例如,Quest 2提供了一種黑白相間的透視模式,而Meta的即將推出的高端VR頭顯“Quest Pro”旨在追求更高的分辨率和彩色透視功能。

然而,VR頭顯尚未實現(xiàn)物理環(huán)境的完美重建。透視技術(shù)捕捉到的畫面視角在空間上與眼睛存在偏差,用戶在長時間使用時可能會感到不適。所以,Meta正在研究人工智能輔助的視線合成,該技術(shù)能實時生成視角正確的視點,并具有高視覺保真度。

此外,Meta還在研究一種“反向透視”(Reverse Passthrough)功能,該功能可以讓現(xiàn)實用戶看到VR用戶的眼鏡和臉部,進而進行眼神交流。但是目前這項技術(shù)在視覺上不協(xié)調(diào)、不自然,還遠未為市場做好準備。

10、面部重建:Meta開展“虛擬化身”項目研究

Meta希望未來人們在虛擬環(huán)境中見面就像在現(xiàn)實中一樣真實。為此,Meta正在展開了名為虛擬化身(Codec Avatars)的研究項目,該項目致力于為人們在虛擬環(huán)境中創(chuàng)建3D數(shù)字化身。

目前,VR頭顯可以實時讀取VR用戶的面部表情,并將其轉(zhuǎn)移到虛擬現(xiàn)實中。據(jù)悉,即將推出的Quest Pro或?qū)⒊蔀镸eta第一款提供面部跟蹤(face-tracking)的設(shè)備。

04.結(jié)語:Meta的VR技術(shù)已有突破,但仍需繼續(xù)攻克技術(shù)難題

Lanman在SIGGRAPH 2022上提出了目前VR頭顯面臨的十大挑戰(zhàn),我們可以從中看到目前Meta取得的進展和尚未解決的問題。Meta發(fā)布了四款原型機,目的是解決VR頭顯在分辨率、變焦、輕薄外形、HDR四個方面的問題。這四款原型機各有所長,在各自領(lǐng)域獲得了初步的技術(shù)進展。此外,Meta開展了虛擬化身項目助力VR頭顯的面部重建功能、開發(fā)了失真模擬器加速算法迭代。

這些原型機展現(xiàn)了現(xiàn)在Meta在VR單項技術(shù)領(lǐng)域能達到的最高水準,但這些技術(shù)遠遠不足以打造出一個成熟的VR頭顯。目前仍存在一些Meta暫時無法攻克的技術(shù)問題。例如VR頭顯的視場角比人眼更窄、VR頭顯佩戴的舒適度不夠、VR頭顯還未配備視力矯正功能、VR頭顯的眼動追蹤技術(shù)不能適配所有人、VR頭顯的“透視”技術(shù)尚不成熟等等。

細數(shù)目前Meta在VR頭顯上的探索,我們可以發(fā)現(xiàn),Meta已經(jīng)在VR頭顯探索的路上走了很長的一段距離。但是,Meta離這條路的終點還很遠。目前,VR頭顯相關(guān)的各項技術(shù)都在積極開發(fā)中,但這些技術(shù)還遠未成熟,離上市商用還有一段距離。從這個角度來看,VR的爆發(fā)潮還很遠。

來源:Auganix、Mixed

本文為轉(zhuǎn)載內(nèi)容,授權(quán)事宜請聯(lián)系原著作權(quán)人。