文|娛樂資本論 夏雯琪
江蘇衛(wèi)視跨年晚會(huì)上，周深與鄧麗君跨時(shí)空合唱《大魚》感動(dòng)了許多人，B站彈幕被“淚目”刷屏?！疤摂M鄧麗君”背后的團(tuán)隊(duì)，來(lái)自數(shù)字王國(guó)（Digital Domain），這家公司曾用類似虛擬人的技術(shù)，完成了《速度與激情7》中已故男星保羅·沃克的戲份。
同樣是跨年的時(shí)間節(jié)點(diǎn)，百度結(jié)合AI技術(shù)推出的龔俊數(shù)字人在百度App上進(jìn)行了一場(chǎng)直播，這是國(guó)內(nèi)首個(gè)“可交互超寫實(shí)虛擬人”，唱歌、說(shuō)話都是由AI驅(qū)動(dòng)，與虛擬鄧麗君走了略為不同的技術(shù)路線。
而湖南衛(wèi)視新開播的《你好星期六》，也推出了數(shù)字人小漾，與龔俊、鄧麗君的“數(shù)字孿生”不同，小漾雖然語(yǔ)氣神態(tài)跟謝娜神似，但湖南衛(wèi)視顯然是希望從無(wú)到有，打造一個(gè)全新的形象。
進(jìn)入2022，明星與虛擬人技術(shù)的結(jié)合越來(lái)越深，越來(lái)越復(fù)雜。
AI驅(qū)動(dòng)、超寫實(shí)，技術(shù)上都已成熟；而明星的“數(shù)字孿生”是否要以假亂真，還是重塑一個(gè)新的人格，也引發(fā)行業(yè)新的思考。
百度在與龔俊合作數(shù)字人時(shí)，沒想到龔俊團(tuán)隊(duì)會(huì)提出：“不要100%相像，最好在外形、個(gè)性、特長(zhǎng)等方面有一定的差異。”
最終，百度借助AI技術(shù)，讓龔俊數(shù)字人做了一系列真人做不到的事，比如互動(dòng)聊天、AI作詞作曲、彈鋼琴、唱歌跳舞、直播賣貨等等。
數(shù)字王國(guó)CEO謝安對(duì)剁椒TMT透露：“數(shù)字王國(guó)事實(shí)上也可以實(shí)現(xiàn)讓AI驅(qū)動(dòng)鄧麗君的形象與外界對(duì)話，鄧麗君的語(yǔ)言、動(dòng)作、表情都可以做到非常逼真。但為了保證電視節(jié)目的萬(wàn)無(wú)一失，也保護(hù)鄧麗君的形象，數(shù)字王國(guó)最終采用了更穩(wěn)妥的、中之人的方式來(lái)呈現(xiàn)。”
此外，新冠期間的好萊塢，大量“以假亂真”的明星數(shù)字人，正在成為影視劇中的虛擬替身。
不斷迭代的明星數(shù)字人，未來(lái)將去向何處？剁椒TMT跟行業(yè)前沿的幾家公司聊了聊。
面捕、唇動(dòng)、TTS、NLP……多重科技加持下的龔俊數(shù)字人
如今，在百度APP中將“龔俊數(shù)字人”設(shè)置為語(yǔ)音搜索助理，“龔俊”便會(huì)為你播報(bào)搜索結(jié)果。百度還根據(jù)龔俊的人設(shè)特點(diǎn)為其設(shè)置了可由機(jī)器學(xué)習(xí)的問答，風(fēng)格與“小度”的說(shuō)話個(gè)性形成了極大的區(qū)別。
百度龔俊數(shù)字人項(xiàng)目負(fù)責(zé)人表示，從2019年開始，百度也在打造二次元數(shù)字人IP“度曉曉”，不過“明星數(shù)字人有粉絲基礎(chǔ)，比其他網(wǎng)紅數(shù)字人更容易破圈，可以讓更多人關(guān)注和使用百度APP，帶動(dòng)語(yǔ)音搜索的增長(zhǎng)。”
據(jù)悉，龔俊數(shù)字人這一項(xiàng)目，由百度MEG（移動(dòng)生態(tài)事業(yè)群組）作為統(tǒng)籌和核心落地，聯(lián)動(dòng)了百度智能云、百度大腦、語(yǔ)音技術(shù)部等多個(gè)部門。
在外型方面，“掃描當(dāng)天影棚遭遇臺(tái)風(fēng)，時(shí)間很緊張，項(xiàng)目組只用半小時(shí)，就掃描、捕捉好了龔俊說(shuō)話時(shí)的面部表情、口型肌肉等細(xì)微變化，”負(fù)責(zé)人表示，他們利用AI 自動(dòng)生成模型，將原本幾個(gè)月的制作周期壓縮到了三周。
同時(shí)，百度采集了龔俊的20條語(yǔ)音，依托TTS（Text To Speech）技術(shù)，合成音色接近真人的聲音；接著，基于百度的自然語(yǔ)言處理（NLP）技術(shù)，讓數(shù)字人可以與用戶對(duì)話，甚至在最近的直播中可以展現(xiàn)流暢的歌聲。
為了讓模型和AI語(yǔ)音結(jié)合起來(lái)，百度語(yǔ)音技術(shù)部用“唇動(dòng)技術(shù)”還原了真人說(shuō)話時(shí)的口型變化，使虛擬人說(shuō)話時(shí)自然生動(dòng)。“龔俊本人看到最終效果后，也覺得很有趣，還愿意與龔俊數(shù)字人進(jìn)行直播連線對(duì)話。”
現(xiàn)在，百度APP中的龔俊數(shù)字人只有幾個(gè)簡(jiǎn)單動(dòng)作，更深度的對(duì)話、唱歌等功能可以在百度青春版APP（Wonder）中體驗(yàn)。
目前，龔俊數(shù)字人比較大的不足是動(dòng)作、表情由于之前動(dòng)作掃描時(shí)間有限都還不夠精細(xì)，且因?yàn)閯?dòng)捕數(shù)據(jù)不足，在此前的直播中，雖然說(shuō)話、唱歌都是AI驅(qū)動(dòng)，但肢體動(dòng)作還是需要借助中之人來(lái)完成。
為了提升這些能力，需要對(duì)龔俊本人進(jìn)行更長(zhǎng)時(shí)間的動(dòng)作捕捉和面部捕捉。
百度方面表示，龔俊本人也有興趣再進(jìn)行一次更精細(xì)的動(dòng)作捕捉，未來(lái)，龔俊數(shù)字人有望可以根據(jù)語(yǔ)義自動(dòng)配合肢體反應(yīng)，進(jìn)行更復(fù)雜的互動(dòng)。
2022年，百度“龔俊數(shù)字人”有兩個(gè)任務(wù)，首先是進(jìn)行機(jī)器深度學(xué)習(xí)，將百度的AI交互能力進(jìn)一步遷移到龔俊數(shù)字人，逐漸引入更多功能，服務(wù)百度APP的用戶。
其次就是，探索數(shù)字人商業(yè)化的道路。明星數(shù)字人的代言費(fèi)顯然低于明星本人，但，數(shù)字人會(huì)自帶科技感，成為另一種的營(yíng)銷優(yōu)勢(shì)。目前，除了龔俊原本代言的品牌，也有其他品牌表達(dá)想要商業(yè)合作的意愿。
不過，除了與經(jīng)紀(jì)公司共同擁有版權(quán)、不能代言競(jìng)品產(chǎn)品外，明星數(shù)字人的精細(xì)度與資金成本也需要進(jìn)行平衡。
“龔俊數(shù)字人第一支亮相視頻精細(xì)度最高，1秒鐘成本近萬(wàn)元，而在Unreal中打造一個(gè)場(chǎng)景也價(jià)格不菲?！背瑢憣?shí)數(shù)字人的制作成本較高，其強(qiáng)大功能上線到百度App前，還要考慮安裝包包體增大、影響用戶體驗(yàn)的問題，目前它在百度App中的精細(xì)度就比較低。
“度曉曉、龔俊數(shù)字人、祝融號(hào)數(shù)字人，我們同時(shí)在走幾條不同的虛擬人道路，還需要驗(yàn)證模式，再進(jìn)行復(fù)制。”百度相關(guān)負(fù)責(zé)人表示。
虛擬鄧麗君背后：數(shù)字王國(guó)如何做到以假亂真？
“照片寫實(shí)級(jí)”，這是數(shù)字王國(guó)CEO謝安頻繁提到的一個(gè)詞。
的確，作為曾負(fù)責(zé)《泰坦尼克號(hào)》等幾百部大片特效的好萊塢巨頭，打造CG級(jí)別的虛擬人，是數(shù)字王國(guó)最大的優(yōu)勢(shì)和特點(diǎn)，而虛擬鄧麗君這些年也經(jīng)歷了許多次技術(shù)的迭代，逐漸做到“以假亂真”。
虛擬鄧麗君初次登臺(tái)，是在2013年周杰倫演唱會(huì)上合唱新歌《千里之外》。
謝安回憶起當(dāng)年第一版虛擬鄧麗君的制作過程：“我一輩子都不會(huì)忘記，當(dāng)時(shí)有一位得過兩次奧斯卡獎(jiǎng)的視效藝術(shù)家，他灰暗的辦公室里貼滿幾百?gòu)堗圎惥恼掌矛斞牛ń＼浖┮还P一劃、手工勾勒出了鄧小姐的3D模型?！?/p>
而在動(dòng)作方面，虛擬鄧麗君最初由美國(guó)的一位演員模仿動(dòng)作，進(jìn)行捕捉，略顯浮夸，還曾受到過“像迪士尼卡通人物”的爭(zhēng)議；而后，他們不斷修改、研究鄧麗君虛擬人的神態(tài)和動(dòng)作，提升精細(xì)度。
與當(dāng)年不同的是，如今數(shù)字王國(guó)的虛擬人，早已可以通過實(shí)時(shí)渲染生成，不僅成本大幅度降低，精細(xì)度、真實(shí)感也較此前大幅度提升。
2015年，數(shù)字王國(guó)開始對(duì)人物的肌肉、毛細(xì)血管進(jìn)行全方位的掃描，并引入了大量人工智能技術(shù)，利用機(jī)器深度學(xué)習(xí)去揣摩演員不同情緒下的動(dòng)作和表情反饋。
今年江蘇衛(wèi)視的跨年晚會(huì)，鄧麗君背后的聲音扮演者，是由模仿鄧麗君而走紅的歌手陳佳來(lái)?yè)?dān)任。除此之外，數(shù)字王國(guó)結(jié)合鄧麗君生前較高清的視頻，將這些機(jī)器深度學(xué)習(xí)得到的“密碼”輸入到模型中，實(shí)時(shí)轉(zhuǎn)化為鄧麗君歌唱、交談的樣子。
“最令我們最激動(dòng)的不是這八年來(lái)的合唱時(shí)刻，而是2019年底，我們?cè)靡曨l通話軟件，讓虛擬鄧麗君和鄧麗君生前的親朋好友們對(duì)話，有好幾個(gè)人都哭了，在房間里一首首合唱，不愿意離開。”
謝安表示，“在好萊塢這個(gè)小社區(qū)，大家都知道我們是虛擬人技術(shù)的革新者。以前演員們都痛恨必須花幾小時(shí)特效化妝，還擋住了面部表情。”
在《復(fù)仇者聯(lián)盟》系列的拍攝中，數(shù)字王國(guó)結(jié)合Unreal這一游戲引擎，導(dǎo)演可以在監(jiān)視器上實(shí)時(shí)看到渲染后“滅霸”呈現(xiàn)的情感，節(jié)省了很多時(shí)間和成本。
新冠疫情下，一些好萊塢明星拍少數(shù)電影鏡頭時(shí)還被要求戴口罩，數(shù)字王國(guó)還可以僅僅根據(jù)臺(tái)詞、語(yǔ)氣，訓(xùn)練機(jī)器深度學(xué)習(xí)，推測(cè)、渲染出演員的嘴型和表情，達(dá)到“以假亂真”的程度。
打造明星數(shù)字人：孿生VS新生？
從商業(yè)和新意的角度來(lái)看，與明星本人的不同之處，才是虛擬人存在的意義。
很多明星都希望數(shù)字孿生跟自己有一定區(qū)隔。林俊杰也曾在抖音首秀中，與“數(shù)字孿生”M.E同臺(tái)，雖然外型一模一樣，但數(shù)字人的個(gè)性人設(shè)與他完全相反、還有一些不同的技能才藝，達(dá)到了有趣的效果。
如果過于真實(shí)、復(fù)制，不論是明星還是普通人的數(shù)字孿生，都面臨著倫理問題的討論。一方面，已故明星的虛擬形象不應(yīng)過于商業(yè)化。
“我們心里一直有一個(gè)道德準(zhǔn)則，鄧長(zhǎng)富先生在簽約時(shí)曾經(jīng)說(shuō)，我把親妹妹交給你了，我說(shuō)過不會(huì)讓他失望。所以，除了曾開展過線下演唱會(huì)、跨年這種重要時(shí)刻演出，一般都是做慈善、公益活動(dòng)，我們不會(huì)去過度消費(fèi)鄧小姐?！?/p>
另外，可以做到交流互動(dòng)的超寫實(shí)虛擬人，也有著類似換臉技術(shù)的倫理風(fēng)險(xiǎn)。
2019年，數(shù)字王國(guó)高管Doug Roble穿著動(dòng)捕設(shè)備登上TED演講臺(tái)，而大屏幕呈現(xiàn)的是孿生虛擬人“DigiDoug”的演講，他擁有逼真的毛孔、皺紋，連血液跟隨表情改變以及睫毛悄悄顫動(dòng)都能實(shí)現(xiàn)，還能瞬間切換成其他寫實(shí)虛擬人。
“當(dāng)你們視頻采訪我，怎么確保那是我，而不是我的虛擬替身？其實(shí)是公關(guān)團(tuán)隊(duì)在幕后幫我回答？”謝安指出，新冠期間一些好萊塢演員不愿出國(guó)拍戲被隔離、感染，或者不愿和某人拍對(duì)手戲，“當(dāng)他使用虛擬替身后被提名了奧斯卡，這場(chǎng)戲到底是誰(shuí)演的？”
在“數(shù)字孿生”之外的另一條路，則是像Ayayi、柳夜熙這類“從無(wú)到有”的虛擬人。
據(jù)悉，Ins粉絲超過305萬(wàn)的雀斑虛擬人“Lil mequela”，2019年?duì)I收高達(dá)7600萬(wàn)元人民幣，單次代言合作百萬(wàn)元起步。
“很多大品牌知名度已經(jīng)很高了，他們考慮到明星的風(fēng)險(xiǎn)，很多想打造代表自己企業(yè)文化的虛擬人，”孔繁奇表示。
不過，憑空孵化“虛擬人”遇到的難題是，建立超寫實(shí)模型成本更高；沒有粉絲基礎(chǔ)，從0開始要做什么人設(shè)、什么外型才能走紅，如何進(jìn)行長(zhǎng)期內(nèi)容運(yùn)營(yíng)？這些都是擺在數(shù)字人行業(yè)專家們面前的問題。
比如《你好星期六》里面虛擬主持人“小漾”的表現(xiàn)被網(wǎng)友評(píng)價(jià)為“還沒長(zhǎng)大”，很多只有圖片動(dòng)態(tài)的網(wǎng)紅類虛擬人目前的粉絲數(shù)、互動(dòng)量已經(jīng)越來(lái)越低，沒有令人“眼前一亮”的人設(shè)和豐富內(nèi)容。
盡管虛擬人在技術(shù)發(fā)展方面已經(jīng)日趨成熟，但制作成本并未大規(guī)模降低，與此同時(shí)，缺乏運(yùn)營(yíng)層面的操盤手，也并未出現(xiàn)“獨(dú)角獸”公司。
曾經(jīng)，明星虛擬人需要解決的問題是“相似”，而如今，數(shù)字人行業(yè)更多考慮的是，如何讓一個(gè)數(shù)字人形象招人喜歡，甚至，過目不忘。
“不少公司找到我們，希望幫忙打造一個(gè)虛擬人。”一位數(shù)字人領(lǐng)域的操盤手表示：“但我們通常會(huì)反問，虛擬人長(zhǎng)什么樣，是什么人設(shè)，要花多大的成本，后續(xù)如何運(yùn)營(yíng)，你們，想清楚了嗎？”