記者 | 崔鵬
4月1日晚間，騰訊將在視頻號和騰訊視頻共同播出張國榮2000年《熱.情》演唱會(huì)的超清修復(fù)版，這是張國榮生前舉辦的最后一場演唱會(huì)。
環(huán)球音樂旗下的寶麗金唱片公司為騰訊提供了原版演唱會(huì)母帶，騰訊云、微信、視頻號和騰訊視頻參與了本次修復(fù)和播出工作，其中為視頻做修復(fù)的是騰訊多媒體實(shí)驗(yàn)室，隸屬于CSIG（云與智慧產(chǎn)業(yè)事業(yè)群）。
1號當(dāng)天，騰訊多媒體實(shí)驗(yàn)室相關(guān)負(fù)責(zé)人接受了界面新聞等媒體的采訪，介紹本次修復(fù)工作背后的技術(shù)和故事。
多媒體實(shí)驗(yàn)室總監(jiān)李松南介紹稱，團(tuán)隊(duì)日常的工作內(nèi)容主要有兩方面：參與國際國內(nèi)多媒體（音視頻）相關(guān)的標(biāo)準(zhǔn)制定；把平時(shí)積累的技術(shù)提供給其它部門，比如騰訊云音視頻、媒體AI中臺(tái)和數(shù)據(jù)萬象都會(huì)用到它們的技術(shù)。
今年初，在一個(gè)偶然機(jī)會(huì)下，多媒體實(shí)驗(yàn)室與環(huán)球音樂旗下的寶麗金唱片進(jìn)行接觸，了解到對方擁有張國榮一場演唱會(huì)的母帶，而每年4月1日文化娛樂業(yè)內(nèi)都會(huì)有紀(jì)念張國榮的活動(dòng)，雙方都覺得這里有合作機(jī)會(huì)，就達(dá)成了相關(guān)意向。
3月初多媒體實(shí)驗(yàn)室團(tuán)隊(duì)拿到母帶，開始正式做修復(fù)工作。其中純算法跑通大概只用了2天，所以在修復(fù)工作中，單純的算法修復(fù)環(huán)節(jié)耗時(shí)并不長。
但實(shí)驗(yàn)室希望盡量保留演唱會(huì)的藝術(shù)風(fēng)格，所以嘗試了不同算法和效果，希望能取得比較好的平衡。
目前，對于膠片產(chǎn)品的修復(fù)主要有物理修復(fù)和數(shù)字修復(fù)兩種，而數(shù)字修復(fù)也有人工修復(fù)和全自動(dòng)修復(fù)兩種方式。騰訊多媒體實(shí)驗(yàn)室做的是全自動(dòng)的基于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的修復(fù)，通過比較少的人力介入，減少后續(xù)人工修復(fù)的成本。
李松南告訴界面新聞等媒體，“我們的目標(biāo)是做自動(dòng)化的修復(fù)，算法比較通用，不需要針對性的去做優(yōu)化”，讓這套修復(fù)算法能夠適配更多類似場景。
李松南向界面新聞等媒體介紹稱，修復(fù)流程從算法角度來說主要分為四步：
首先是智能分析模塊。主要用來分析視頻的質(zhì)量，包括失幀的類型和程度，人臉的位置等。
其次是修復(fù)模塊。主要用于修復(fù)視頻中的各種失幀，比如老片中常出現(xiàn)的噪聲、隔行失幀，然后對清晰度低的片段進(jìn)行超分。
第三是增強(qiáng)模塊。主要是讓圖像本身的內(nèi)容更清晰，更豐富。
第四是編碼模塊。在盡量低碼率的情況下還原視頻內(nèi)容，因?yàn)樵谥辈ズ忘c(diǎn)播過程中，對碼率有一定要求。
張國榮這場演唱會(huì)的時(shí)長是兩小時(shí)，傳統(tǒng)人工修復(fù)大概需要一兩個(gè)月時(shí)間，但是用純算法修復(fù)大概兩天就能跑出結(jié)果。剩下的時(shí)間，團(tuán)隊(duì)都在盡量還原演唱會(huì)的藝術(shù)表達(dá)效果。
在這方面，演唱會(huì)視頻的修復(fù)與傳統(tǒng)電影電視劇作品的修復(fù)有很大區(qū)別。
多媒體實(shí)驗(yàn)室此前為騰訊視頻的《康熙王朝》等電視劇做過修復(fù)，影視劇作品的場景比較固定，人物運(yùn)動(dòng)和畫面色彩風(fēng)格都比較統(tǒng)一。
演唱會(huì)涉及不同色彩的燈光切換，畫面鏡頭多角度切換，針對同一個(gè)人物的遠(yuǎn)近景和大小臉切換。實(shí)驗(yàn)室在此前的修復(fù)工作中很少遇到這種復(fù)雜的場景，其中尤以動(dòng)態(tài)的人臉修復(fù)問題比較棘手。
現(xiàn)在行業(yè)內(nèi)主流的人臉修復(fù)大部分是基于單張照片進(jìn)行，在視頻修復(fù)上會(huì)遇到很多問題，比如臉的角度和姿態(tài)不一樣，在算法里的解決方式也不同。
另一個(gè)干擾項(xiàng)來自于燈光因素，演唱會(huì)現(xiàn)場的燈光顏色多變，打到人臉上就會(huì)出現(xiàn)很多算法難以處理的問題。
“我們做人臉修復(fù)時(shí)有個(gè)很大的臉特寫，那會(huì)正好燈光是紅色，打到張國榮臉上的時(shí)候，臉的顏色就跟正常不同，所以修復(fù)的時(shí)候人臉模型和修復(fù)結(jié)果需要專門做優(yōu)化?！?/p>
多媒體實(shí)驗(yàn)室2013年剛開始做視頻處理時(shí)，主要基于傳統(tǒng)算法做一些視頻降噪和背景增強(qiáng)，后來團(tuán)隊(duì)的很多模型依靠AI和深度學(xué)習(xí)方式在騰訊云上進(jìn)行，最開始基于卷積神經(jīng)網(wǎng)絡(luò)，現(xiàn)在擴(kuò)展至使用生成網(wǎng)絡(luò)來進(jìn)行。
從視頻修復(fù)對比來看，寶麗金給的母帶分辨率非常低，大概只有720×480分辨率，做完修復(fù)以后騰訊將其做到了接近4K的分辨率，分辨率大概提升了6倍。
目前，對于老舊影視劇和演唱會(huì)作品的修復(fù)，業(yè)內(nèi)并沒有統(tǒng)一的標(biāo)準(zhǔn)。也就是說，具體修復(fù)到什么程度，舞臺(tái)氛圍修復(fù)到什么樣子才算還原，有沒有達(dá)到“舊”的效果，比較依賴主觀判斷，每個(gè)人的看法都會(huì)不同。
從結(jié)果來看，寶麗金公司對修復(fù)的效果滿意，也表達(dá)了后續(xù)針對別的IP進(jìn)行合作的訴求。