文｜財報看公司 文斌
2022江蘇衛(wèi)視跨年演唱會上，周深與鄧麗君一曲跨越時空的合唱讓人久久不能自已。但當(dāng)人們從歌曲的旋律中回過頭來，大家更感興趣的，或許是鄧麗君這樣虛擬形象應(yīng)當(dāng)如何構(gòu)建。
畢竟，元宇宙已經(jīng)來了，而在這個顏值即正義的時代，我們真實的長相沒得選擇，元宇宙的長相卻可以定制。
有需求就會有市場，讓人在虛擬世界“長”出一張好看的臉這件事自然也早就有人在做。
2021年年初，Epic Game公司旗下的虛幻引擎平臺發(fā)布了一款新的工具M(jìn)etaHuman Creator，宣稱能夠讓任何人在幾分鐘里創(chuàng)造一個配備完整骨骼、毛發(fā)和服裝的數(shù)字人形象。
在韓國，有人已經(jīng)通過MetaHuman Creator制造的虛擬形象在游戲直播平臺上成為網(wǎng)紅，年入千萬。在國內(nèi)，類似的AI捏臉技術(shù)其實也早已在《逆水寒》《天諭》《永劫無間》等諸多游戲中落地。
然而，作為AI捏臉技術(shù)的構(gòu)建者，AI捏臉師的幕后故事卻不太被人們所知。
但最近，隨著元宇宙概念的風(fēng)起，在虛擬世界里塑造一個更真實的人物形象成為建設(shè)元宇宙的基礎(chǔ)技術(shù)之一，像晚豐一樣長期從事AI捏臉技術(shù)研究的工程師們也開始被推到了前臺。
所以這一次，商業(yè)數(shù)據(jù)派也訪談了網(wǎng)易伏羲的幾位AI“捏臉師”，看看在他們眼中，一個新興的職業(yè)從幕后到臺前，究竟經(jīng)歷了怎樣的故事？而面對已經(jīng)乘風(fēng)而起的元宇宙，他們又期望技術(shù)給世界帶來怎樣的改變？
顏值即正義的虛擬世界，捏臉是第一步
顏值即正義，進(jìn)入元宇宙的第一步就是創(chuàng)建一個虛擬形象。
經(jīng)常玩游戲的朋友都會知道，為了增強(qiáng)體驗，現(xiàn)在很多游戲都會設(shè)置一個環(huán)節(jié)，讓玩家可以為自己的角色親手塑造一個形象。
2013年，韓國游戲廠商N(yùn)CSoft推出的一款主打東方武俠和捏臉系統(tǒng)的游戲《劍靈》在國內(nèi)爆火。從此之后，捏臉系統(tǒng)就逐漸成為了絕大多數(shù)MMORPG類游戲中不可或缺的一部分。2018年，網(wǎng)易推出一款大型端游《逆水寒》，其中就包含了捏臉系統(tǒng)。
“當(dāng)時的捏臉系統(tǒng)很復(fù)雜，幾十上百個滑塊，調(diào)整各種參數(shù)，普通玩家要好幾天才能捏出一個自己的形象?！盇I捏臉師，網(wǎng)易伏羲視覺技術(shù)負(fù)責(zé)人神秀說道：“這個流程太復(fù)雜，我們希望開發(fā)一個AI算法，讓每一個用戶都能用一張照片在游戲中快速創(chuàng)建讓自己滿意的形象?！?/p>
“我們最初的構(gòu)想是，希望AI能夠模仿真實人類在捏臉時的反饋，比如我先捏一個初稿，然后和用戶上傳的圖像對比，看看哪里不像，比如說眼睛、嘴巴，然后再針對性地去調(diào)整。然后再對比，再調(diào)整，如此反復(fù)，最終讓兩者無限的接近一致?！?/p>
說起來容易，但做起來卻并不簡單。
“剛拿到這個課題的時候是最難的?！鄙裥愀嬖V商業(yè)數(shù)據(jù)派：“因為整個業(yè)界在之前都沒有人做過這個事，沒有先例可以借鑒。”
首先就是如何捏臉的問題，當(dāng)時伏羲內(nèi)部其實也從不同角度討論了許多方法，但最終只有兩種是比較成熟可行的。
一種是從骨骼捏臉的角度去做嘗試，這種方式比較成熟，也比較適合現(xiàn)有的一套產(chǎn)業(yè)化流程，所以在游戲中落地也比較容易。但它的缺點就是沒有那么像。
另一種方案就是從人臉重建的角度去嘗試，這套方案可以完全重建人臉的三維貼圖，甚至人臉皮膚的每一個褶皺。但它的缺點就是計算的耗時會比較長，然后同步也會比較困難，這也讓它不太適合游戲的場景。
確定了如何捏臉，第二個問題就是如何落地。網(wǎng)易伏羲技術(shù)負(fù)責(zé)人木白告訴我們，捏臉這項技術(shù)，早期主要就是服務(wù)雷火游戲，所以直接的問題就是如何與游戲系統(tǒng)相結(jié)合。
按照最初的設(shè)計，捏臉系統(tǒng)采用深度學(xué)習(xí)算法編寫。但要與游戲相結(jié)合，就需要把游戲的渲染系統(tǒng)引入到深度學(xué)習(xí)算法里面去調(diào)優(yōu)。而問題是，游戲的渲染系統(tǒng)沒有辦法讀懂AI的數(shù)學(xué)參數(shù)。
面對這些問題，再三衡量之后，伏羲最終決定在基于神經(jīng)網(wǎng)絡(luò)算法的基礎(chǔ)上再開發(fā)一套游戲渲染系統(tǒng)，從而將整個pipeline（綜合解決方案）打通。
在一系列研發(fā)的問題解決之后，本以為之后的工作會輕松一些，但另一個新的問題又出現(xiàn)了，而且這個問題還是一直埋頭開發(fā)的程序員們之前一直沒想到的。
“使用這套系統(tǒng)，需要玩家上傳一張照片的，所以在游戲中我們會提示玩家上傳一張正臉照片?！鄙裥愀嬖V我們：“在我們的預(yù)想中，玩家提供的照片是正臉、角度正常、然后光照是均勻的、手也不要抖。”
“但大多數(shù)玩家不會聽你的，即使你的提示寫的很誠懇，他們也是隨便一拍完事。這樣自動捏臉的效果肯定就不會好，所以許多玩家就會說，這個系統(tǒng)真垃圾?！?/p>
“我們肯定也會感到很委屈，但也很快認(rèn)識到自己的錯誤。”神秀回顧道：“我們一開始預(yù)設(shè)的是一個理想的實驗室環(huán)境，真實的線上環(huán)境肯定不是這樣的，它會面臨許多干擾，比如拍攝時的光照，不同設(shè)備的拍攝條件，是否手抖等等?！?/p>
“另一個錯誤則是，我們一開始設(shè)想的是讓玩家來配合技術(shù)，而不是技術(shù)去適應(yīng)玩家，所以沒考慮到之前那些問題?！?/p>
根據(jù)這些情況，網(wǎng)易伏羲團(tuán)隊依靠提高算法的魯棒性，讓隨手拍的照片都能被識別。除此之外，還對算法做了進(jìn)一步的加速，減少了玩家的等待時間，也會適當(dāng)?shù)貙μ摂M形象做一些美化。
在與玩家不斷的“碰撞”下，捏臉系統(tǒng)也逐漸得到完善。
技術(shù)男學(xué)化妝
雖然AI捏臉的開發(fā)過程并不容易，但事實上，有些難題反而會讓這個過程變得更加有趣。
“你肯定很難想象我們一堆做技術(shù)的直男，會去看美妝視頻，研究口紅色號?！鄙裥阈φ劦馈?/p>
事情起因，神秀和同事們在做捏臉?biāo)惴ǖ臅r候，發(fā)現(xiàn)許多女玩家會傾向于把自己好看的照片，比如美顏或者妝后的照片拿上來，這和男玩家有很大不同，男玩家可能就是隨便拍一下。
“在我們最初的認(rèn)知里，女生化妝就等于涂口紅嘛。所以就想加一個口紅，相當(dāng)于給女玩家的捏臉加上了妝容?！鄙裥慊貞浀溃骸拔覀儙讉€男生也討論過，比如說口紅有幾種顏色，但是我們沒有人知道，所以最后就隨便拍板定了三種顏色認(rèn)為應(yīng)該足夠了。”
“后來這件事情被產(chǎn)品經(jīng)理發(fā)現(xiàn)了，我們就被噴了?！鄙裥阌行┎缓靡馑迹骸拔覀儺a(chǎn)品是個女生，她告訴我們口紅有多少種色號。而不止我們之前定的紅色、橘色、大粉紅色?！?/p>
這件事情之所以會被如此在意，是因為按照算法，為了讓捏臉的效果更自然、精準(zhǔn)，帶有妝容的照片一般都需要先進(jìn)行檢測和還原，捏完臉之后再匹配一些系統(tǒng)的妝容。
因此，要讓系統(tǒng)自動實現(xiàn)這個過程，工程師在編寫算法的時候自然也需要對女生妝容的效果有一些基本的了解，比如高光、陰影、眉毛的造型、腮紅的款式、霧面感、亂神感等等。
“事情鬧出了笑話，所以我們后面就真的去B站、各種短視頻上學(xué)習(xí)化妝。”神秀說道：“看了之后才知道，原來化妝還有這么多步驟，什么眼影、腮紅、遮瑕、陰影等等，我們從中也了解到許多神奇的知識。”
“我會在B站上看一些仿妝，像之前很火的范冰冰仿妝。”同為捏臉師的晚豐說道：“算不上系統(tǒng)的學(xué)習(xí)，就是會關(guān)注、了解，然后發(fā)展成為一個業(yè)余愛好，了解這些之后，起碼和女朋友聊到化妝話題的時候就不會再接不上話了?！?/p>
“現(xiàn)在我們比之前好多了，起碼不會再將化妝和涂口紅劃上等號，看到一些妝容也能大概能知道她可能涂了什么。”神秀說道。
除了化妝，從事這份工作之后，對人的了解也會加深入。晚豐告訴商業(yè)數(shù)據(jù)派，因為捏臉經(jīng)常會了解一些人的面部結(jié)構(gòu)，比如中庭長短、三庭五眼之類的。工作久了之后，個人審美也會提升一些。
晚豐提到，他是2020年初進(jìn)入這個崗位，至今已經(jīng)快兩年了。和一些科班出身的同事不同，晚豐在學(xué)校的專業(yè)是自動化，后來一直做視覺AI相關(guān)的工作。進(jìn)入智能捏臉這個項目，除了團(tuán)隊內(nèi)部機(jī)緣巧合之外，更大程度也在于自己的興趣。
日常休息的時候，晚豐也會去游戲中體驗自己開發(fā)的系統(tǒng)，捏一些的自己喜歡的角色。當(dāng)一個喜歡的二次元形象通過自己開發(fā)的系統(tǒng)逐漸變得鮮活的時候，就會感受到一種特別喜悅。
“而且通過我們開發(fā)的算法，讓更多地人都能夠感受到開心的時候，其實是很自豪的?！蓖碡S告訴商業(yè)數(shù)據(jù)派，捏臉和其他產(chǎn)品不同，這份工作直接服務(wù)于用戶，能夠和用戶直接交流，能夠給玩家?guī)砜鞓?，這本身就是一件很酷的事情。
捏臉，也是在捏世界
此前，捏臉最主要應(yīng)用在游戲的世界，但元宇宙的來臨，讓虛擬形象有了更多用武之地。
在2020年，由于新冠疫情在全球范圍的影響，線上會議、活動、交流變得越來越尋常，捏臉技術(shù)曾經(jīng)有限的使用場景也開始迎來了改變的契機(jī)。
這其中，一個非常重要的時間是2020年7月24日，在一個名叫動物森友會的游戲中，一場世界頂級的學(xué)術(shù)會議正在準(zhǔn)備開始。
雖然是在游戲世界，但主持人仍然鄭重地表示：“很抱歉這場活動出現(xiàn)了一些延遲，但現(xiàn)在我很高興地宣布 ACAI 2020 Workshop 正式開始?！?/p>
作為世界頂級的學(xué)術(shù)會議，ACAI 2020 Workshop 在游戲世界舉辦打開了虛擬世界舉辦嚴(yán)肅會議的大門。
這一年，作為第二屆國際分布式人工智能學(xué)術(shù)會議（DAI2020）的主辦方，南京大學(xué)也面臨線下疫情的困擾。
南京大學(xué)老師找到網(wǎng)易，提出想將活動搬到線上舉辦的想法，雙方由此一拍即合。于是，依托最早一個版本的瑤臺，DAI2020搬到了線上舉辦。
于是，300余位AI領(lǐng)域?qū)W者在網(wǎng)易游戲《逆水寒》中參與了DAI2020大會，學(xué)者們上傳照片就可以實現(xiàn)自動AI捏臉，讓線上的學(xué)術(shù)會議也有了線下的真實感。
“除了外部的需求，公司內(nèi)部也有許多會議的需求，比如公司年會、招聘，以及一些遠(yuǎn)程的討論會等等?！鄙裥愀嬖V商業(yè)數(shù)據(jù)派。
“我們后來在游戲捏臉基礎(chǔ)上還做了一版迭代，在不依賴游戲捏臉系統(tǒng)本身的情況下去實現(xiàn)一個完全重建的游戲捏臉?biāo)惴?。這一次嘗試，也讓我們得以解鎖捏臉在更多場景的應(yīng)用，比如網(wǎng)易沉浸式活動平臺瑤臺就是這套算法的落地?！?/p>
今年12月網(wǎng)易云音樂在港交所上市，其中線上部分就是在瑤臺中進(jìn)行的。2000年29歲的丁磊和2021年50歲的丁磊，與線下真實的丁磊同時敲下上市的銅鑼，實現(xiàn)了三個“丁磊”跨時空對話的奇特場景。
顯然，從動森中的ACAI 2020 Workshop到網(wǎng)易云音樂的敲鐘，再到近期百度發(fā)布“希壤”，越來越多活動開始選擇在虛擬平臺中舉辦，而捏臉成為人們在虛擬世界中建立認(rèn)知，獲得真實感的第一步。
“在不同的場景中，我們會希望表現(xiàn)出不同地形象。”從游戲到國際會議，關(guān)于不同場景下的捏臉應(yīng)用，伏羲捏臉的產(chǎn)品經(jīng)理楚涵也有自己思考。
“比如社交、化裝舞會、party，我們會需要一些有趣的形象，但在嚴(yán)肅性的會議，我們的形象一定是和真人1:1或者百分之八九十相近的，這樣能讓參會的用戶更有沉浸感?！?/p>
如今，隨著元宇宙的概念越來越火，捏臉也在更多地場景中被市場和行業(yè)所重視。
“我理解的元宇宙，就是互聯(lián)網(wǎng)從2D到3D的過程。”神秀和我們談到：“現(xiàn)在的互聯(lián)網(wǎng)更多傳遞的是一個2D的數(shù)據(jù)，2D的文本、2D的視頻，所以我們在社交媒體上的形象是通過頭像來展示的。但進(jìn)入元宇宙之后，我們身處在內(nèi)容當(dāng)中，成為內(nèi)容的一部分，也會需要一個3D的形象來作為自己的“頭像”，而捏臉技術(shù)恰恰就能提供這樣的服務(wù)?！?/p>
可以說，捏臉技術(shù)已經(jīng)成為了構(gòu)建元宇宙的基礎(chǔ)技術(shù)之一。而作為捏臉技術(shù)的重要應(yīng)用，虛擬會議平臺也正在拓展更多樣化的應(yīng)用場景。
“現(xiàn)階段瑤臺辦了許多的線上會議，但未來我們并不想將它局限成一個線上會議系統(tǒng)，期望它能夠給人們的生活帶來更多的改變?！本W(wǎng)易伏羲技術(shù)負(fù)責(zé)人木白說道。
“未來，我們可能會嘗試更多地線上活動，包括展會系統(tǒng)、電影院、教室、婚慶等場景等等，讓更多人通過虛擬平臺體驗到更便捷、更有趣、更有儀式感的生活?！?/p>
再回過頭來看，捏臉技術(shù)從萌芽到發(fā)展，參與其中的從業(yè)者們不僅自己因為捏臉而改變，同時因為他們捏的“臉”，整個世界也在發(fā)生悄然的變化。
對于這些平日里隱藏在寫字樓高大的落地玻璃，或者格子間背后的人工智能工程師來說，他們是在捏臉，同時也塑造著這個世界。
文中名字均為網(wǎng)易花名