正在閱讀:

我在VR里看冬奧:運(yùn)動(dòng)員在我頭頂飛

掃一掃下載界面新聞APP

我在VR里看冬奧:運(yùn)動(dòng)員在我頭頂飛

360度VR觀賽、25位虛擬人組團(tuán)“打工”,冬奧元宇宙味兒真濃!

文 | 智東西 徐珊

編輯 | 云鵬

“這簡直太好玩了,我還沒有玩夠!”運(yùn)動(dòng)員在冬奧會(huì)場館內(nèi)沉迷玩VR游戲的視頻近日在多個(gè)社交媒體上廣泛傳播。

冬奧場館內(nèi)的VR游戲?qū)崨r

隨著全民對冬奧賽事的關(guān)注度提高,越來越多的人感受到冰雪運(yùn)動(dòng)的魅力。一些精彩瞬間的背后,VR直播、360度自由觀賽、虛擬數(shù)字人……不少“元宇宙”要素活躍在北京冬奧會(huì)的各個(gè)角落。自從2016年里約奧運(yùn)會(huì)首次使用VR技術(shù)以后,奧運(yùn)會(huì)不但記錄著運(yùn)動(dòng)員的成長,也見證著VR技術(shù)發(fā)展。

比如說,2018年韓國平昌奧運(yùn)會(huì)期間,英特爾通過True VR技術(shù)對部分賽事拍攝,提供360度全景視頻觀看,同時(shí)還提供VR直播和VR點(diǎn)播兩種類型的賽事觀看服務(wù)。今年北京冬奧會(huì),VR技術(shù)的應(yīng)用更是在娛樂、訓(xùn)練、觀賽等多個(gè)領(lǐng)域都給人們帶來了更多的驚喜。

通過360度全景視頻觀看比賽

冬奧會(huì)賽事進(jìn)程已接近尾聲,VR技術(shù)究竟用在了哪些地方?國內(nèi)VR廠商們又是如何在冬奧會(huì)中贏得世界關(guān)注?經(jīng)過一番調(diào)查并親自VR觀賽后,我們發(fā)現(xiàn)這次冬奧會(huì),VR廠商們都在集體“秀大招”。

01.親測3種VR看冬奧,大屏觀賽如臨現(xiàn)場

“VR直播年年有,但是每次直播效果都不好。”過去的VR直播受限于場地、設(shè)備等原因,轉(zhuǎn)播的畫面總會(huì)出現(xiàn)模糊不清、觀看角度不好和時(shí)效性差等問題,因此,部分觀眾一直不看好大型賽事的VR直播,對于臨場感和沉浸感更是不奢求。

為了解決這些難題,國內(nèi)早在2019年就專門組建了“冰雪項(xiàng)目交互式多維度觀賽體驗(yàn)技術(shù)與系統(tǒng)”項(xiàng)目團(tuán)隊(duì),由北京大學(xué)牽頭,國家實(shí)驗(yàn)室、企業(yè)和其他高校參與合作研發(fā),北京大學(xué)教授陳寶權(quán)為項(xiàng)目負(fù)責(zé)人。

北京大學(xué)教授陳寶權(quán)

研究人員會(huì)根據(jù)場館情況布置多臺(tái)攝像機(jī),記錄比賽現(xiàn)場的精彩畫面。他們在首都場館部署的40臺(tái)4K陣列攝像機(jī)和3臺(tái)可實(shí)現(xiàn)8K VR直播的相機(jī)。

賽場的攝像機(jī)陣列

部分細(xì)心的網(wǎng)友扒出攝像機(jī)陣列的相關(guān)細(xì)節(jié),認(rèn)為其廠商可能是國內(nèi)攝像機(jī)品牌Z-CAM,而8K VR直播的相機(jī)可能為Insta 360影石專業(yè)級(jí)相機(jī)Titan。

賽場旁的Titan相機(jī)

1、VR冬奧怎么看?親測三種VR觀賽方式經(jīng)過調(diào)查,我們發(fā)現(xiàn)目前共有三種方式可以感受VR冬奧的魅力:VR設(shè)備、手機(jī)上的央視頻APP、以及H5頁面。除了使用國內(nèi)自研的VR攝像設(shè)備之外,北京冬奧會(huì)還實(shí)現(xiàn)了“自由視角觀賽”,即從3DoF(即眼睛可以向上下左右看)升級(jí)到6D0F(頭部位置也可以移動(dòng))。這樣一來,觀眾就可以在任何位置觀看任何角度的比賽。

實(shí)際效果究竟怎么樣?我親自體驗(yàn)了一番,首先我用手機(jī)央視頻APP的VR冬奧觀看了2月16日的冰球男子1/4決賽。當(dāng)進(jìn)入到相關(guān)頁面后,我看到畫面的正前方是一個(gè)虛擬的VR大屏,就像現(xiàn)場的大屏一樣,可以觀看到比賽的細(xì)節(jié)和回放。鏡頭隨后會(huì)轉(zhuǎn)到運(yùn)動(dòng)選手身上,我可以看到他們從起點(diǎn)出發(fā)的動(dòng)作,隨后畫面會(huì)隨著場上賽事的節(jié)奏自主切換角度,我也嘗試自己調(diào)整觀看角度,甚至我能看到他們擊中冰球入門的手勢動(dòng)作。

用手機(jī)端觀看冰球男子1/4決賽的畫面

在用手機(jī)觀看VR比賽時(shí),我仍感到一些不足之處,比如說,畫面清晰度還不是很高,畫面總會(huì)有一層灰蒙蒙的感覺,較正常的手機(jī)視頻清晰度略差一些。但打開VR設(shè)備后,我就不再吐槽滿是噪點(diǎn)的畫面清晰度了。

我戴上Pico Neo 3設(shè)備,打開央視頻VR APP,就進(jìn)入央視頻專為冬奧打造的觀賽空間,海報(bào)、抱枕、奧林匹克標(biāo)志,央媽一次拉滿了冬奧氛圍。

央視頻VR的觀賽區(qū)

不僅如此,央視頻還貼心地設(shè)計(jì)了定制個(gè)性化菜單,并在日歷中標(biāo)出每天將會(huì)有哪些賽事。連我最關(guān)心的獎(jiǎng)牌情況,央視頻都會(huì)清晰地呈現(xiàn)在下方。無論是想按項(xiàng)目觀看比賽,還是想按日期觀看比賽,清晰、便捷的菜單設(shè)置都簡化了我查找賽事的過程,讓我以最快的速度看到想看的比賽。

央視頻VR APP提供的多項(xiàng)觀賽項(xiàng)目

而觀賽的形式和手機(jī)上的體驗(yàn)比較類似,但整體上畫面清晰度大幅提升,我可以清晰地看到運(yùn)動(dòng)員做了哪些動(dòng)作,就好像站在賽道旁看著運(yùn)動(dòng)員從自己的頭頂飛過。

用Pico Neo 3 VR觀賽

與現(xiàn)場觀賽相比,我在VR觀賽中感到比較遺憾的可能是不能感受到整體現(xiàn)場的歡呼聲。但僅從觀看體驗(yàn)上來說,用VR設(shè)備觀看比賽確實(shí)給人帶來不少驚喜。部分比賽過程中,導(dǎo)播們還通過AR技術(shù)給出一些信息,告知觀眾賽場上的最新情況。

除此之外,在觀看賽事的過程中,我常常還會(huì)因?yàn)閷?dǎo)播切換畫面而找不到運(yùn)動(dòng)員在哪里,從而錯(cuò)過精彩瞬間。而手機(jī)上的H5界面多會(huì)采用360度全景圖片,向我介紹奧運(yùn)場館的相關(guān)信息,較少涉及比賽本身。

公開信息顯示,軟件研發(fā)和服務(wù)公司天源迪科和中國聯(lián)通合作了“中國聯(lián)通冬奧5G智慧觀賽產(chǎn)品創(chuàng)新研發(fā)項(xiàng)目”,場內(nèi)聯(lián)通用戶可通過H5頁面或小程序接入場館邊緣媒體服務(wù)器,獲得多視角、精彩回放、場內(nèi)服務(wù)預(yù)訂等視頻服務(wù)及信息服務(wù)。不僅如此,VR全景服務(wù)商蛙色VR也表示他們提供技術(shù)支持和新華社聯(lián)手打造360°沉浸式漫游場館。

用手機(jī)H5頁面觀看首都體育館

2、耗時(shí)長、畫面卡,VR直播難題如何解?“觀眾可以不斷地、連續(xù)地改變視點(diǎn),從不同角度觀看同一個(gè)賽事。”項(xiàng)目負(fù)責(zé)人陳寶權(quán)說,“不僅如此,還有機(jī)會(huì)實(shí)現(xiàn)電影《黑客帝國》中‘子彈時(shí)間’的炫酷體驗(yàn)。”“子彈時(shí)間”是指某個(gè)凝固的時(shí)間點(diǎn),人們通過360度全景攝像觀看到那一刻的所有人和物的畫面,也因此,實(shí)現(xiàn)“子彈時(shí)間”意味著觀眾可以實(shí)現(xiàn)觀看角度自由。

電影《黑客帝國》中展現(xiàn)的“子彈時(shí)間”

但在冬奧會(huì)的賽場上實(shí)現(xiàn)“子彈時(shí)間”并非易事。要知道,按照傳統(tǒng)的拍攝方式,一臺(tái)攝像機(jī)一秒的8K畫面可能會(huì)有高達(dá)幾個(gè)GB甚至十幾個(gè)GB的內(nèi)容,而幾十臺(tái)攝像機(jī)同時(shí)構(gòu)建某一秒的畫面可能會(huì)用到近幾百GB大小的內(nèi)容素材,在過去,攝影團(tuán)隊(duì)想要制作一個(gè)“子彈時(shí)間”場景,往往需要花費(fèi)相當(dāng)長的時(shí)間。

面對巨大的內(nèi)容素材,如何實(shí)時(shí)渲染畫面、如何呈現(xiàn)連貫的比賽畫面、如何實(shí)時(shí)完成360度全景觀看,這些都是擺在項(xiàng)目研究人員面前的難題。

據(jù)陳寶權(quán)介紹,解決這些問題主要靠他們研發(fā)的“端到端自由視角視頻系統(tǒng)”和“VR冬奧賽事孿生推演與視聽語言創(chuàng)意設(shè)計(jì)軟件”。

“端到端自由視角視頻系統(tǒng)”不但可以在較短的時(shí)間內(nèi)處理完龐大的圖像信息,同時(shí)還能通過三維重建生成新視點(diǎn)的圖像,避免因現(xiàn)場相機(jī)個(gè)數(shù)有限導(dǎo)致畫面不連貫。“如果采用足夠多的新(虛擬)視點(diǎn)插入,最終實(shí)現(xiàn)絲滑般的自由視角觀賽體驗(yàn)?!标悓殭?quán)說。

虛擬視點(diǎn)效果圖(來源:B站UP主阿里達(dá)摩院掃地僧)

而“VR冬奧賽事孿生推演與視聽語言創(chuàng)意設(shè)計(jì)軟件”正是針對此前VR觀賽的遺憾之處——“不知道看哪里比較好”推出的軟件系統(tǒng)。研究人員通過和一些專業(yè)人士合作,對賽場上可能會(huì)出現(xiàn)的精彩時(shí)刻設(shè)計(jì)視頻鏡頭軌跡,進(jìn)行實(shí)時(shí)導(dǎo)播,幫助觀眾抓住每一個(gè)熱淚盈眶的時(shí)刻。

VR冬奧賽事孿生推演與視聽語言創(chuàng)意設(shè)計(jì)軟件演示圖(來源:北京大學(xué))

從VR直播體驗(yàn)來看,北京冬奧會(huì)給觀眾提供了一個(gè)自由視角的VR直播,比賽畫面也較為流暢。而北京冬奧會(huì)在大規(guī)模賽事中運(yùn)用VR直播,以及實(shí)現(xiàn)360度高自由度觀看,也為VR技術(shù)在文娛領(lǐng)域的應(yīng)用增添新的成功案例。

02.既可以休閑,又可以訓(xùn)練VR技術(shù)用途多多

VR技術(shù)帶給人們高度仿真的情景,讓人們不再受時(shí)間和空間的限制,可以瞬間進(jìn)入自己希望去往的地方。這一點(diǎn)在疫情下?lián)碛辛烁嗟囊饬x。此次冬奧會(huì)采用全封閉式管理的形式,如何給運(yùn)動(dòng)員們提供一個(gè)舒適、放松的環(huán)境,VR技術(shù)從中起到了不小的作用。

1、什么VR游戲讓運(yùn)動(dòng)員大呼過癮?除了VR技術(shù)在直播賽事上的運(yùn)用吸引了不少人關(guān)注之外,VR游戲也“蹭”了一波冬奧會(huì)的熱度。在冬奧場館內(nèi),VR游戲區(qū)的設(shè)備吸引了不少國外運(yùn)動(dòng)員在這里流連忘返,紛紛前來打卡。

冬奧場館內(nèi)的VR游戲區(qū)不僅有太空模擬艙、4D載人深海模擬器等,讓運(yùn)動(dòng)員們可以一天之內(nèi)上天入地,無處不去,還有模擬戰(zhàn)場、VR賽車等游戲,讓運(yùn)動(dòng)員們大呼“過癮”。

太空模擬艙

借著這次全民關(guān)注的運(yùn)動(dòng)盛會(huì),游戲廠商紛紛推出VR冬奧系列IP如《奇幻滑雪》等。HTC更是接連上線了5款運(yùn)動(dòng)游戲,其中兩款游戲《奇幻滑雪3》、《VR冬奧會(huì)》是針對VR一體機(jī)推出的。

三款游戲《極限滑雪》、《冰球大戰(zhàn)VR》、《Fantasy Skiing 2》是針對PC端推出的VR游戲。其中,《奇幻滑雪3》是目前較為熱門的VR游戲,你可以通過VR設(shè)備感受到滑雪的樂趣。想成為下一個(gè)“谷愛凌”?你可以先用VR設(shè)備去體驗(yàn)一下滑雪的魅力。

《奇幻滑雪3》滑雪場景

目前,《奇幻滑雪3》登陸了Pico應(yīng)用商店等國內(nèi)多家VR設(shè)備的應(yīng)用商店。

2、用VR模擬真實(shí)環(huán)境,運(yùn)動(dòng)員開啟“刷分”之路像游戲之類的VR設(shè)備主要是給運(yùn)動(dòng)員們提供休閑娛樂,讓他們在緊張的賽程中放松一下繃勁的神經(jīng),而用于VR模擬訓(xùn)練的設(shè)備則不同,更高的精準(zhǔn)度,更逼真的模擬環(huán)境才能為運(yùn)動(dòng)員們帶來更有效地成績提升。

像鋼架雪車、雪橇、越野滑雪等這類運(yùn)動(dòng)往往具有較高的風(fēng)險(xiǎn)性。同時(shí),冰雪運(yùn)動(dòng)的訓(xùn)練計(jì)劃會(huì)受天氣和環(huán)境的影響,一年時(shí)間里訓(xùn)練較少。VR模擬訓(xùn)練器模擬的較為真實(shí)的虛擬環(huán)境,可以提供無限制的訓(xùn)練環(huán)境。

并且,VR模擬訓(xùn)練器精準(zhǔn)收集的數(shù)據(jù)能夠?yàn)檫\(yùn)動(dòng)員提供更多指導(dǎo)方向?!斑@樣一來,在一些技巧方面,運(yùn)動(dòng)員可以一天練習(xí)多次提高熟練度。”一位參與研發(fā)的人士說道,他們還為此打造了一套六自由度電動(dòng)模擬體育訓(xùn)練系統(tǒng)。

整理相關(guān)資料時(shí),我們發(fā)現(xiàn)不少北方大學(xué)參與到VR訓(xùn)練模擬器研發(fā)中。東北大學(xué)不但打造了一個(gè)VR滑雪系統(tǒng),還做了個(gè)滑行速度測量機(jī)器人。機(jī)器人可以收集最真實(shí)的環(huán)境信息,再將這些信息同步到VR滑雪系統(tǒng)中,讓運(yùn)動(dòng)員們感受到最真實(shí)的環(huán)境變化,調(diào)整狀態(tài)。

河北地質(zhì)大學(xué)同樣也制造了一款VR滑雪模擬器,模擬真實(shí)的滑雪環(huán)境,其腳下的六自由度機(jī)器人可以跟隨滑雪地形進(jìn)行實(shí)時(shí)的響應(yīng),為訓(xùn)練者提供視覺、聽覺、風(fēng)感、轉(zhuǎn)向感、俯沖感、超重感、失重感等多感官交互,為滑雪者帶來沉浸式的滑雪體驗(yàn)。

現(xiàn)在,VR模擬訓(xùn)練在不少領(lǐng)域已經(jīng)開始逐步落地,國外部分政府曾采用VR設(shè)備鍛煉員工的反應(yīng)能力。前不久,東方時(shí)尚公告采購1000臺(tái)VR駕駛模擬器,金額達(dá)1.8億元。IDC數(shù)據(jù)顯示,2020年全球VR企業(yè)培訓(xùn)市場規(guī)模約為13億美元。

用VR設(shè)備模擬案件場景

VR訓(xùn)練在冬奧場景上的運(yùn)用,讓更多企業(yè)看到VR訓(xùn)練的實(shí)用性以及功能性,吸引更多的玩家加入其中。

03.虛擬數(shù)字人24小時(shí)為冬奧打工?谷愛凌再現(xiàn)“分身術(shù)”

說起來你可能不信,據(jù)不完全統(tǒng)計(jì),至少有25個(gè)虛擬數(shù)字人正在冬奧會(huì)24小時(shí)“打工”。百度智能云AI人機(jī)交互實(shí)驗(yàn)室負(fù)責(zé)人、主架構(gòu)師李士巖曾告訴智東西,虛擬數(shù)字人可以按場景分為服務(wù)型數(shù)字人和演藝型數(shù)字人。其中,服務(wù)型數(shù)字人往往指具有一定功能的“虛擬員工”,演藝型數(shù)字人更偏向文娛領(lǐng)域的“偶像”。

與北京冬奧會(huì)有關(guān)的虛擬數(shù)字人(來源:雷報(bào))

最“值錢”的虛擬數(shù)字人應(yīng)該屬谷愛凌的虛擬數(shù)字分身MeetGu。MeetGu出現(xiàn)在直播間的次日,咪咕視頻母公司中國移動(dòng)的股價(jià)大幅上漲,漲幅達(dá)到10%,市值達(dá)1.44萬億元,達(dá)A股上市以來最高值。

谷愛凌的虛擬數(shù)字人MeetGu

事實(shí)上,不僅是谷愛凌的虛擬數(shù)字人,像徐夢桃、隋文靜、韓聰、任子威等熱門冰雪運(yùn)動(dòng)員均有自己的虛擬數(shù)字人。奧運(yùn)會(huì)舉辦期間,這些虛擬數(shù)字人會(huì)在冬奧賽事演播室中完成滑雪賽事解說、播報(bào)及場景電商的虛擬互動(dòng)等工作。

從冬奧會(huì)上,我們可以看到像這類由真人衍生出來的虛擬數(shù)字人同樣能分擔(dān)“正主”所帶來的流量效應(yīng)。

那么,數(shù)字分身和現(xiàn)實(shí)本人之間應(yīng)該是什么樣的關(guān)系?虛實(shí)科技CEO張金玉認(rèn)為,目前,數(shù)字分身和現(xiàn)實(shí)本人之間的關(guān)系處在“各管各的”階段,虛擬數(shù)字人并沒有本人所具有的一些特性。“目前,國內(nèi)大部分虛擬數(shù)字人都處在這個(gè)階段?!彼v道。

張金玉認(rèn)為,想要打造一個(gè)更具有本人特征的虛擬數(shù)字人,廠商們需要打通虛擬數(shù)字人和本人之間的信息壁壘?!霸O(shè)想一下,如果你的虛擬分身能夠知道你今天看了哪些消息,并且同步學(xué)習(xí)這些知識(shí),它是不是會(huì)對你了解更多,并且對你的興趣也一清二楚?!睆牟煌陌l(fā)展變化來看,未來虛擬數(shù)字人也許會(huì)幫助人們從繁瑣勞累的工作中解脫出來,做更多的事情。

但并非人人都喜歡虛擬數(shù)字人過度侵入自己的生活,就如亞馬遜最新的AI助手Alexa廣告一樣,主人公最后說道,“也許Alexa不能讀懂想法會(huì)更好?!?/p>

除了這類身份型虛擬數(shù)字人,功能型虛擬數(shù)字人同樣受到不少廠商的歡迎。騰訊、小冰、百度紛紛帶著自己的虛擬數(shù)字人在冬奧會(huì)上“露一手”,手語翻譯、電商帶貨、天氣播報(bào)等各種類型的虛擬數(shù)字人開始“卷”起來了。

手語播報(bào)數(shù)字人

冬奧會(huì)上大規(guī)模的虛擬數(shù)字人應(yīng)用,一方面打破了人們對以往單板、無趣、功能單一虛擬數(shù)字人的刻板印象。另一方面,虛擬數(shù)字人也在受到更多企業(yè)的關(guān)注。據(jù)調(diào)查,2022年過了不到一個(gè)月,虛擬人領(lǐng)域融資數(shù)量已經(jīng)達(dá)到近百起,融資金額達(dá)4.11億元。由此看來,虛擬數(shù)字人行業(yè)正在落地應(yīng)用上進(jìn)入一波快速擴(kuò)張的階段。

04.結(jié)語:冬奧成VR落地應(yīng)用大舞臺(tái)

VR直播、VR訓(xùn)練、VR游戲……冬奧會(huì)上出現(xiàn)越來越多的VR技術(shù),這可能說明VR技術(shù)正在迎來新的關(guān)注度。冬奧會(huì)不但向世界展示了國內(nèi)最為先進(jìn)的虛擬技術(shù),而且對內(nèi),將校內(nèi)科研人員和校外科技企業(yè)緊密地連接在一起,換而言之,也是VR圈內(nèi)的一次交流會(huì)。

在這場交流中我們能看到像百度、騰訊等大廠的身影,也能看到不少創(chuàng)企,比如說蛙色VR,也在其中發(fā)揮自己的力量。2022年,元宇宙的熱度似乎降溫不少,但對于VR產(chǎn)業(yè)的關(guān)注依然在升溫。

本文為轉(zhuǎn)載內(nèi)容,授權(quán)事宜請聯(lián)系原著作權(quán)人。

評論

暫無評論哦,快來評價(jià)一下吧!

下載界面新聞

微信公眾號(hào)

微博

我在VR里看冬奧:運(yùn)動(dòng)員在我頭頂飛

360度VR觀賽、25位虛擬人組團(tuán)“打工”,冬奧元宇宙味兒真濃!

文 | 智東西 徐珊

編輯 | 云鵬

“這簡直太好玩了,我還沒有玩夠!”運(yùn)動(dòng)員在冬奧會(huì)場館內(nèi)沉迷玩VR游戲的視頻近日在多個(gè)社交媒體上廣泛傳播。

冬奧場館內(nèi)的VR游戲?qū)崨r

隨著全民對冬奧賽事的關(guān)注度提高,越來越多的人感受到冰雪運(yùn)動(dòng)的魅力。一些精彩瞬間的背后,VR直播、360度自由觀賽、虛擬數(shù)字人……不少“元宇宙”要素活躍在北京冬奧會(huì)的各個(gè)角落。自從2016年里約奧運(yùn)會(huì)首次使用VR技術(shù)以后,奧運(yùn)會(huì)不但記錄著運(yùn)動(dòng)員的成長,也見證著VR技術(shù)發(fā)展。

比如說,2018年韓國平昌奧運(yùn)會(huì)期間,英特爾通過True VR技術(shù)對部分賽事拍攝,提供360度全景視頻觀看,同時(shí)還提供VR直播和VR點(diǎn)播兩種類型的賽事觀看服務(wù)。今年北京冬奧會(huì),VR技術(shù)的應(yīng)用更是在娛樂、訓(xùn)練、觀賽等多個(gè)領(lǐng)域都給人們帶來了更多的驚喜。

通過360度全景視頻觀看比賽

冬奧會(huì)賽事進(jìn)程已接近尾聲,VR技術(shù)究竟用在了哪些地方?國內(nèi)VR廠商們又是如何在冬奧會(huì)中贏得世界關(guān)注?經(jīng)過一番調(diào)查并親自VR觀賽后,我們發(fā)現(xiàn)這次冬奧會(huì),VR廠商們都在集體“秀大招”。

01.親測3種VR看冬奧,大屏觀賽如臨現(xiàn)場

“VR直播年年有,但是每次直播效果都不好。”過去的VR直播受限于場地、設(shè)備等原因,轉(zhuǎn)播的畫面總會(huì)出現(xiàn)模糊不清、觀看角度不好和時(shí)效性差等問題,因此,部分觀眾一直不看好大型賽事的VR直播,對于臨場感和沉浸感更是不奢求。

為了解決這些難題,國內(nèi)早在2019年就專門組建了“冰雪項(xiàng)目交互式多維度觀賽體驗(yàn)技術(shù)與系統(tǒng)”項(xiàng)目團(tuán)隊(duì),由北京大學(xué)牽頭,國家實(shí)驗(yàn)室、企業(yè)和其他高校參與合作研發(fā),北京大學(xué)教授陳寶權(quán)為項(xiàng)目負(fù)責(zé)人。

北京大學(xué)教授陳寶權(quán)

研究人員會(huì)根據(jù)場館情況布置多臺(tái)攝像機(jī),記錄比賽現(xiàn)場的精彩畫面。他們在首都場館部署的40臺(tái)4K陣列攝像機(jī)和3臺(tái)可實(shí)現(xiàn)8K VR直播的相機(jī)。

賽場的攝像機(jī)陣列

部分細(xì)心的網(wǎng)友扒出攝像機(jī)陣列的相關(guān)細(xì)節(jié),認(rèn)為其廠商可能是國內(nèi)攝像機(jī)品牌Z-CAM,而8K VR直播的相機(jī)可能為Insta 360影石專業(yè)級(jí)相機(jī)Titan。

賽場旁的Titan相機(jī)

1、VR冬奧怎么看?親測三種VR觀賽方式經(jīng)過調(diào)查,我們發(fā)現(xiàn)目前共有三種方式可以感受VR冬奧的魅力:VR設(shè)備、手機(jī)上的央視頻APP、以及H5頁面。除了使用國內(nèi)自研的VR攝像設(shè)備之外,北京冬奧會(huì)還實(shí)現(xiàn)了“自由視角觀賽”,即從3DoF(即眼睛可以向上下左右看)升級(jí)到6D0F(頭部位置也可以移動(dòng))。這樣一來,觀眾就可以在任何位置觀看任何角度的比賽。

實(shí)際效果究竟怎么樣?我親自體驗(yàn)了一番,首先我用手機(jī)央視頻APP的VR冬奧觀看了2月16日的冰球男子1/4決賽。當(dāng)進(jìn)入到相關(guān)頁面后,我看到畫面的正前方是一個(gè)虛擬的VR大屏,就像現(xiàn)場的大屏一樣,可以觀看到比賽的細(xì)節(jié)和回放。鏡頭隨后會(huì)轉(zhuǎn)到運(yùn)動(dòng)選手身上,我可以看到他們從起點(diǎn)出發(fā)的動(dòng)作,隨后畫面會(huì)隨著場上賽事的節(jié)奏自主切換角度,我也嘗試自己調(diào)整觀看角度,甚至我能看到他們擊中冰球入門的手勢動(dòng)作。

用手機(jī)端觀看冰球男子1/4決賽的畫面

在用手機(jī)觀看VR比賽時(shí),我仍感到一些不足之處,比如說,畫面清晰度還不是很高,畫面總會(huì)有一層灰蒙蒙的感覺,較正常的手機(jī)視頻清晰度略差一些。但打開VR設(shè)備后,我就不再吐槽滿是噪點(diǎn)的畫面清晰度了。

我戴上Pico Neo 3設(shè)備,打開央視頻VR APP,就進(jìn)入央視頻專為冬奧打造的觀賽空間,海報(bào)、抱枕、奧林匹克標(biāo)志,央媽一次拉滿了冬奧氛圍。

央視頻VR的觀賽區(qū)

不僅如此,央視頻還貼心地設(shè)計(jì)了定制個(gè)性化菜單,并在日歷中標(biāo)出每天將會(huì)有哪些賽事。連我最關(guān)心的獎(jiǎng)牌情況,央視頻都會(huì)清晰地呈現(xiàn)在下方。無論是想按項(xiàng)目觀看比賽,還是想按日期觀看比賽,清晰、便捷的菜單設(shè)置都簡化了我查找賽事的過程,讓我以最快的速度看到想看的比賽。

央視頻VR APP提供的多項(xiàng)觀賽項(xiàng)目

而觀賽的形式和手機(jī)上的體驗(yàn)比較類似,但整體上畫面清晰度大幅提升,我可以清晰地看到運(yùn)動(dòng)員做了哪些動(dòng)作,就好像站在賽道旁看著運(yùn)動(dòng)員從自己的頭頂飛過。

用Pico Neo 3 VR觀賽

與現(xiàn)場觀賽相比,我在VR觀賽中感到比較遺憾的可能是不能感受到整體現(xiàn)場的歡呼聲。但僅從觀看體驗(yàn)上來說,用VR設(shè)備觀看比賽確實(shí)給人帶來不少驚喜。部分比賽過程中,導(dǎo)播們還通過AR技術(shù)給出一些信息,告知觀眾賽場上的最新情況。

除此之外,在觀看賽事的過程中,我常常還會(huì)因?yàn)閷?dǎo)播切換畫面而找不到運(yùn)動(dòng)員在哪里,從而錯(cuò)過精彩瞬間。而手機(jī)上的H5界面多會(huì)采用360度全景圖片,向我介紹奧運(yùn)場館的相關(guān)信息,較少涉及比賽本身。

公開信息顯示,軟件研發(fā)和服務(wù)公司天源迪科和中國聯(lián)通合作了“中國聯(lián)通冬奧5G智慧觀賽產(chǎn)品創(chuàng)新研發(fā)項(xiàng)目”,場內(nèi)聯(lián)通用戶可通過H5頁面或小程序接入場館邊緣媒體服務(wù)器,獲得多視角、精彩回放、場內(nèi)服務(wù)預(yù)訂等視頻服務(wù)及信息服務(wù)。不僅如此,VR全景服務(wù)商蛙色VR也表示他們提供技術(shù)支持和新華社聯(lián)手打造360°沉浸式漫游場館。

用手機(jī)H5頁面觀看首都體育館

2、耗時(shí)長、畫面卡,VR直播難題如何解?“觀眾可以不斷地、連續(xù)地改變視點(diǎn),從不同角度觀看同一個(gè)賽事?!表?xiàng)目負(fù)責(zé)人陳寶權(quán)說,“不僅如此,還有機(jī)會(huì)實(shí)現(xiàn)電影《黑客帝國》中‘子彈時(shí)間’的炫酷體驗(yàn)?!薄白訌棔r(shí)間”是指某個(gè)凝固的時(shí)間點(diǎn),人們通過360度全景攝像觀看到那一刻的所有人和物的畫面,也因此,實(shí)現(xiàn)“子彈時(shí)間”意味著觀眾可以實(shí)現(xiàn)觀看角度自由。

電影《黑客帝國》中展現(xiàn)的“子彈時(shí)間”

但在冬奧會(huì)的賽場上實(shí)現(xiàn)“子彈時(shí)間”并非易事。要知道,按照傳統(tǒng)的拍攝方式,一臺(tái)攝像機(jī)一秒的8K畫面可能會(huì)有高達(dá)幾個(gè)GB甚至十幾個(gè)GB的內(nèi)容,而幾十臺(tái)攝像機(jī)同時(shí)構(gòu)建某一秒的畫面可能會(huì)用到近幾百GB大小的內(nèi)容素材,在過去,攝影團(tuán)隊(duì)想要制作一個(gè)“子彈時(shí)間”場景,往往需要花費(fèi)相當(dāng)長的時(shí)間。

面對巨大的內(nèi)容素材,如何實(shí)時(shí)渲染畫面、如何呈現(xiàn)連貫的比賽畫面、如何實(shí)時(shí)完成360度全景觀看,這些都是擺在項(xiàng)目研究人員面前的難題。

據(jù)陳寶權(quán)介紹,解決這些問題主要靠他們研發(fā)的“端到端自由視角視頻系統(tǒng)”和“VR冬奧賽事孿生推演與視聽語言創(chuàng)意設(shè)計(jì)軟件”。

“端到端自由視角視頻系統(tǒng)”不但可以在較短的時(shí)間內(nèi)處理完龐大的圖像信息,同時(shí)還能通過三維重建生成新視點(diǎn)的圖像,避免因現(xiàn)場相機(jī)個(gè)數(shù)有限導(dǎo)致畫面不連貫。“如果采用足夠多的新(虛擬)視點(diǎn)插入,最終實(shí)現(xiàn)絲滑般的自由視角觀賽體驗(yàn)?!标悓殭?quán)說。

虛擬視點(diǎn)效果圖(來源:B站UP主阿里達(dá)摩院掃地僧)

而“VR冬奧賽事孿生推演與視聽語言創(chuàng)意設(shè)計(jì)軟件”正是針對此前VR觀賽的遺憾之處——“不知道看哪里比較好”推出的軟件系統(tǒng)。研究人員通過和一些專業(yè)人士合作,對賽場上可能會(huì)出現(xiàn)的精彩時(shí)刻設(shè)計(jì)視頻鏡頭軌跡,進(jìn)行實(shí)時(shí)導(dǎo)播,幫助觀眾抓住每一個(gè)熱淚盈眶的時(shí)刻。

VR冬奧賽事孿生推演與視聽語言創(chuàng)意設(shè)計(jì)軟件演示圖(來源:北京大學(xué))

從VR直播體驗(yàn)來看,北京冬奧會(huì)給觀眾提供了一個(gè)自由視角的VR直播,比賽畫面也較為流暢。而北京冬奧會(huì)在大規(guī)模賽事中運(yùn)用VR直播,以及實(shí)現(xiàn)360度高自由度觀看,也為VR技術(shù)在文娛領(lǐng)域的應(yīng)用增添新的成功案例。

02.既可以休閑,又可以訓(xùn)練VR技術(shù)用途多多

VR技術(shù)帶給人們高度仿真的情景,讓人們不再受時(shí)間和空間的限制,可以瞬間進(jìn)入自己希望去往的地方。這一點(diǎn)在疫情下?lián)碛辛烁嗟囊饬x。此次冬奧會(huì)采用全封閉式管理的形式,如何給運(yùn)動(dòng)員們提供一個(gè)舒適、放松的環(huán)境,VR技術(shù)從中起到了不小的作用。

1、什么VR游戲讓運(yùn)動(dòng)員大呼過癮?除了VR技術(shù)在直播賽事上的運(yùn)用吸引了不少人關(guān)注之外,VR游戲也“蹭”了一波冬奧會(huì)的熱度。在冬奧場館內(nèi),VR游戲區(qū)的設(shè)備吸引了不少國外運(yùn)動(dòng)員在這里流連忘返,紛紛前來打卡。

冬奧場館內(nèi)的VR游戲區(qū)不僅有太空模擬艙、4D載人深海模擬器等,讓運(yùn)動(dòng)員們可以一天之內(nèi)上天入地,無處不去,還有模擬戰(zhàn)場、VR賽車等游戲,讓運(yùn)動(dòng)員們大呼“過癮”。

太空模擬艙

借著這次全民關(guān)注的運(yùn)動(dòng)盛會(huì),游戲廠商紛紛推出VR冬奧系列IP如《奇幻滑雪》等。HTC更是接連上線了5款運(yùn)動(dòng)游戲,其中兩款游戲《奇幻滑雪3》、《VR冬奧會(huì)》是針對VR一體機(jī)推出的。

三款游戲《極限滑雪》、《冰球大戰(zhàn)VR》、《Fantasy Skiing 2》是針對PC端推出的VR游戲。其中,《奇幻滑雪3》是目前較為熱門的VR游戲,你可以通過VR設(shè)備感受到滑雪的樂趣。想成為下一個(gè)“谷愛凌”?你可以先用VR設(shè)備去體驗(yàn)一下滑雪的魅力。

《奇幻滑雪3》滑雪場景

目前,《奇幻滑雪3》登陸了Pico應(yīng)用商店等國內(nèi)多家VR設(shè)備的應(yīng)用商店。

2、用VR模擬真實(shí)環(huán)境,運(yùn)動(dòng)員開啟“刷分”之路像游戲之類的VR設(shè)備主要是給運(yùn)動(dòng)員們提供休閑娛樂,讓他們在緊張的賽程中放松一下繃勁的神經(jīng),而用于VR模擬訓(xùn)練的設(shè)備則不同,更高的精準(zhǔn)度,更逼真的模擬環(huán)境才能為運(yùn)動(dòng)員們帶來更有效地成績提升。

像鋼架雪車、雪橇、越野滑雪等這類運(yùn)動(dòng)往往具有較高的風(fēng)險(xiǎn)性。同時(shí),冰雪運(yùn)動(dòng)的訓(xùn)練計(jì)劃會(huì)受天氣和環(huán)境的影響,一年時(shí)間里訓(xùn)練較少。VR模擬訓(xùn)練器模擬的較為真實(shí)的虛擬環(huán)境,可以提供無限制的訓(xùn)練環(huán)境。

并且,VR模擬訓(xùn)練器精準(zhǔn)收集的數(shù)據(jù)能夠?yàn)檫\(yùn)動(dòng)員提供更多指導(dǎo)方向?!斑@樣一來,在一些技巧方面,運(yùn)動(dòng)員可以一天練習(xí)多次提高熟練度?!币晃粎⑴c研發(fā)的人士說道,他們還為此打造了一套六自由度電動(dòng)模擬體育訓(xùn)練系統(tǒng)。

整理相關(guān)資料時(shí),我們發(fā)現(xiàn)不少北方大學(xué)參與到VR訓(xùn)練模擬器研發(fā)中。東北大學(xué)不但打造了一個(gè)VR滑雪系統(tǒng),還做了個(gè)滑行速度測量機(jī)器人。機(jī)器人可以收集最真實(shí)的環(huán)境信息,再將這些信息同步到VR滑雪系統(tǒng)中,讓運(yùn)動(dòng)員們感受到最真實(shí)的環(huán)境變化,調(diào)整狀態(tài)。

河北地質(zhì)大學(xué)同樣也制造了一款VR滑雪模擬器,模擬真實(shí)的滑雪環(huán)境,其腳下的六自由度機(jī)器人可以跟隨滑雪地形進(jìn)行實(shí)時(shí)的響應(yīng),為訓(xùn)練者提供視覺、聽覺、風(fēng)感、轉(zhuǎn)向感、俯沖感、超重感、失重感等多感官交互,為滑雪者帶來沉浸式的滑雪體驗(yàn)。

現(xiàn)在,VR模擬訓(xùn)練在不少領(lǐng)域已經(jīng)開始逐步落地,國外部分政府曾采用VR設(shè)備鍛煉員工的反應(yīng)能力。前不久,東方時(shí)尚公告采購1000臺(tái)VR駕駛模擬器,金額達(dá)1.8億元。IDC數(shù)據(jù)顯示,2020年全球VR企業(yè)培訓(xùn)市場規(guī)模約為13億美元。

用VR設(shè)備模擬案件場景

VR訓(xùn)練在冬奧場景上的運(yùn)用,讓更多企業(yè)看到VR訓(xùn)練的實(shí)用性以及功能性,吸引更多的玩家加入其中。

03.虛擬數(shù)字人24小時(shí)為冬奧打工?谷愛凌再現(xiàn)“分身術(shù)”

說起來你可能不信,據(jù)不完全統(tǒng)計(jì),至少有25個(gè)虛擬數(shù)字人正在冬奧會(huì)24小時(shí)“打工”。百度智能云AI人機(jī)交互實(shí)驗(yàn)室負(fù)責(zé)人、主架構(gòu)師李士巖曾告訴智東西,虛擬數(shù)字人可以按場景分為服務(wù)型數(shù)字人和演藝型數(shù)字人。其中,服務(wù)型數(shù)字人往往指具有一定功能的“虛擬員工”,演藝型數(shù)字人更偏向文娛領(lǐng)域的“偶像”。

與北京冬奧會(huì)有關(guān)的虛擬數(shù)字人(來源:雷報(bào))

最“值錢”的虛擬數(shù)字人應(yīng)該屬谷愛凌的虛擬數(shù)字分身MeetGu。MeetGu出現(xiàn)在直播間的次日,咪咕視頻母公司中國移動(dòng)的股價(jià)大幅上漲,漲幅達(dá)到10%,市值達(dá)1.44萬億元,達(dá)A股上市以來最高值。

谷愛凌的虛擬數(shù)字人MeetGu

事實(shí)上,不僅是谷愛凌的虛擬數(shù)字人,像徐夢桃、隋文靜、韓聰、任子威等熱門冰雪運(yùn)動(dòng)員均有自己的虛擬數(shù)字人。奧運(yùn)會(huì)舉辦期間,這些虛擬數(shù)字人會(huì)在冬奧賽事演播室中完成滑雪賽事解說、播報(bào)及場景電商的虛擬互動(dòng)等工作。

從冬奧會(huì)上,我們可以看到像這類由真人衍生出來的虛擬數(shù)字人同樣能分擔(dān)“正主”所帶來的流量效應(yīng)。

那么,數(shù)字分身和現(xiàn)實(shí)本人之間應(yīng)該是什么樣的關(guān)系?虛實(shí)科技CEO張金玉認(rèn)為,目前,數(shù)字分身和現(xiàn)實(shí)本人之間的關(guān)系處在“各管各的”階段,虛擬數(shù)字人并沒有本人所具有的一些特性?!澳壳埃瑖鴥?nèi)大部分虛擬數(shù)字人都處在這個(gè)階段?!彼v道。

張金玉認(rèn)為,想要打造一個(gè)更具有本人特征的虛擬數(shù)字人,廠商們需要打通虛擬數(shù)字人和本人之間的信息壁壘。“設(shè)想一下,如果你的虛擬分身能夠知道你今天看了哪些消息,并且同步學(xué)習(xí)這些知識(shí),它是不是會(huì)對你了解更多,并且對你的興趣也一清二楚。”從不同的發(fā)展變化來看,未來虛擬數(shù)字人也許會(huì)幫助人們從繁瑣勞累的工作中解脫出來,做更多的事情。

但并非人人都喜歡虛擬數(shù)字人過度侵入自己的生活,就如亞馬遜最新的AI助手Alexa廣告一樣,主人公最后說道,“也許Alexa不能讀懂想法會(huì)更好。”

除了這類身份型虛擬數(shù)字人,功能型虛擬數(shù)字人同樣受到不少廠商的歡迎。騰訊、小冰、百度紛紛帶著自己的虛擬數(shù)字人在冬奧會(huì)上“露一手”,手語翻譯、電商帶貨、天氣播報(bào)等各種類型的虛擬數(shù)字人開始“卷”起來了。

手語播報(bào)數(shù)字人

冬奧會(huì)上大規(guī)模的虛擬數(shù)字人應(yīng)用,一方面打破了人們對以往單板、無趣、功能單一虛擬數(shù)字人的刻板印象。另一方面,虛擬數(shù)字人也在受到更多企業(yè)的關(guān)注。據(jù)調(diào)查,2022年過了不到一個(gè)月,虛擬人領(lǐng)域融資數(shù)量已經(jīng)達(dá)到近百起,融資金額達(dá)4.11億元。由此看來,虛擬數(shù)字人行業(yè)正在落地應(yīng)用上進(jìn)入一波快速擴(kuò)張的階段。

04.結(jié)語:冬奧成VR落地應(yīng)用大舞臺(tái)

VR直播、VR訓(xùn)練、VR游戲……冬奧會(huì)上出現(xiàn)越來越多的VR技術(shù),這可能說明VR技術(shù)正在迎來新的關(guān)注度。冬奧會(huì)不但向世界展示了國內(nèi)最為先進(jìn)的虛擬技術(shù),而且對內(nèi),將校內(nèi)科研人員和校外科技企業(yè)緊密地連接在一起,換而言之,也是VR圈內(nèi)的一次交流會(huì)。

在這場交流中我們能看到像百度、騰訊等大廠的身影,也能看到不少創(chuàng)企,比如說蛙色VR,也在其中發(fā)揮自己的力量。2022年,元宇宙的熱度似乎降溫不少,但對于VR產(chǎn)業(yè)的關(guān)注依然在升溫。

本文為轉(zhuǎn)載內(nèi)容,授權(quán)事宜請聯(lián)系原著作權(quán)人。