火山引擎4K修復(fù)影片入選北影節(jié)“致敬·修復(fù)”單元
4月18日,第十四屆北京國(guó)際電影節(jié)正式開(kāi)幕。由中國(guó)電影資料館、抖音和火山引擎聯(lián)合4K修復(fù)版的港片《A 計(jì)劃》與《賣(mài)身契》入選“致敬·修復(fù)”單元,并于4月18日、19日進(jìn)行放映。
《A計(jì)劃》《賣(mài)身契》分別上映于1983、1978年,距今已四十多年。2023年8月,中國(guó)電影資料館、抖音和火山引擎共同發(fā)起了“經(jīng)典香港電影修復(fù)計(jì)劃”,宣布將4K修復(fù)100部香港電影。此次放映的這兩部影片就來(lái)自上述項(xiàng)目,影片的原始拍攝底片在香港完成4K規(guī)格掃描,整個(gè)修復(fù)流程包括中國(guó)電影資料館的物理和數(shù)字修復(fù),火山引擎的AI技術(shù)修復(fù),以及雙方合作的藝術(shù)修復(fù)等環(huán)節(jié)。
火山引擎是字節(jié)跳動(dòng)旗下的云服務(wù)平臺(tái),曾分別攜手西瓜視頻和抖音,完成100部國(guó)產(chǎn)經(jīng)典動(dòng)畫(huà)和Beyond經(jīng)典演唱會(huì)的4K修復(fù)。
在“經(jīng)典香港電影修復(fù)計(jì)劃”中,火山引擎首次將AIGC技術(shù)應(yīng)用于老片修復(fù)場(chǎng)景,借助視覺(jué)大模型強(qiáng)大的生成能力和豐富的先驗(yàn)知識(shí),實(shí)現(xiàn)修復(fù)效果在清晰度、色彩、流暢度和瑕疵消除等方面的全方位提升。
“一方面,大模型生成能力強(qiáng),借助Stable Diffusion大模型的生成能力,修復(fù)效果優(yōu)于之前的算法,畫(huà)面細(xì)節(jié)更自然;另一方面,大模型具有非常強(qiáng)的信息結(jié)構(gòu)化能力,在學(xué)習(xí)了海量數(shù)據(jù)對(duì)后,可以在其中提煉出大量的知識(shí)并‘存儲(chǔ)’在模型參數(shù)之中,其生成空間更豐富,能夠應(yīng)對(duì)更多的修復(fù)場(chǎng)景?!被鹕揭嬉曨l云技術(shù)架構(gòu)總監(jiān)王悅介紹。
目前,火山引擎已針對(duì)視覺(jué)大模型在一些場(chǎng)景下容易生成偽影或者虛假紋理,以及視頻多幀場(chǎng)景的穩(wěn)定性等問(wèn)題,在算法和工程上進(jìn)行了一系列優(yōu)化,提升了大模型在4K場(chǎng)景下的處理效率并兼顧算力成本。
隨著修復(fù)工作的深入,火山引擎多媒體實(shí)驗(yàn)室通過(guò)引入自適應(yīng)特征加權(quán)模塊、無(wú)監(jiān)督學(xué)習(xí)與有監(jiān)督學(xué)習(xí)相結(jié)合、文字語(yǔ)義先驗(yàn)等訓(xùn)練手段,對(duì)視覺(jué)大模型進(jìn)一步的調(diào)優(yōu),在極低畫(huà)質(zhì)人像重建、褪色膠片顏色調(diào)整和文字缺失筆畫(huà)生成等幾個(gè)方面取得了較好效果。
為保持“修舊如舊”的原片膠片質(zhì)感,技術(shù)團(tuán)隊(duì)在提升受損圖像紋理的平滑度、夜景噪聲去除等效果的同時(shí),還特意研發(fā)了自適應(yīng)質(zhì)感增強(qiáng)方案,添加模擬膠片噪聲的顆粒。
與此同時(shí),解決老片修復(fù)中的各項(xiàng)實(shí)際問(wèn)題,也為火山引擎多媒體實(shí)驗(yàn)室的學(xué)術(shù)研究提供了價(jià)值。在計(jì)算機(jī)視覺(jué)頂級(jí)會(huì)議CVPR 2024中,火山引擎多媒體實(shí)驗(yàn)室一舉奪得了NTIRE( 圖像恢復(fù)與增強(qiáng)的新趨勢(shì)New Trends in Image Restoration and Enhancement)賽道的冠軍,其奪冠方案是基于提示學(xué)習(xí)(Prompt Learning)的圖像增強(qiáng)恢復(fù),主要解決的問(wèn)題,就是修復(fù)類(lèi)似于老片中大量存在的不可預(yù)知的復(fù)雜損害(未知復(fù)雜退化)。
“老片修復(fù)這件事情,其實(shí)我們每天都在做?!蓖鯋傉f(shuō),老片中常見(jiàn)的清晰度低、流暢度低、色彩失真、有瑕疵等畫(huà)質(zhì)問(wèn)題,在抖音的海量投稿里也廣泛存在。通過(guò)服務(wù)抖音,火山引擎在老片修復(fù)方面已經(jīng)形成了一套較為完整的智能處理技術(shù)方案。
公開(kāi)資料顯示,電影修復(fù)工藝繁雜瑣碎,一位經(jīng)驗(yàn)豐富的修復(fù)師需要1個(gè)月才可以修復(fù)完成一部影片。近些年,通過(guò)深度學(xué)習(xí)等AI技術(shù),大幅提升老片修復(fù)的質(zhì)量和效率成為可能。
香港城市大學(xué)計(jì)算機(jī)系助理教授馬柯德表示,當(dāng)前人工智能技術(shù)的快速發(fā)展顯現(xiàn)出巨大的潛力,未來(lái)不僅一些老電影中音畫(huà)不同步的問(wèn)題將借由AIGC得到更有效的解決,甚至有望讓AI學(xué)會(huì)自動(dòng)評(píng)判修復(fù)效果。
老港片承載著許多觀眾的青春記憶,成龍?jiān)凇禔計(jì)劃》中的精湛演技與驚險(xiǎn)動(dòng)作場(chǎng)面,以及許冠文在《賣(mài)身契》中幽默詼諧的表演,都曾給觀眾帶來(lái)無(wú)數(shù)驚喜,伴隨修復(fù)技術(shù)的提升,這些舊時(shí)光里的經(jīng)典將重新煥發(fā)生機(jī)。
在《A計(jì)劃》的映前活動(dòng)環(huán)節(jié),曾任成龍中國(guó)副總裁的資深電影制片人孫嶸現(xiàn)場(chǎng)與影迷分享,成龍此前認(rèn)為《飛鷹計(jì)劃》里隧道的光不夠亮,“經(jīng)典香港電影修復(fù)計(jì)劃”團(tuán)隊(duì)根據(jù)意見(jiàn)調(diào)整,彌補(bǔ)了他當(dāng)年創(chuàng)作的遺憾。
目前,觀眾在抖音、西瓜視頻,可線上觀看“經(jīng)典香港電影修復(fù)計(jì)劃”已修復(fù)完成的電影,其余電影的4K修復(fù)版也將陸續(xù)上線。
經(jīng)濟(jì)新聞精選:
- 2024年12月27日 12:56:52
- 2024年12月27日 11:51:32
- 2024年12月27日 11:26:45
- 2024年12月27日 10:50:36
- 2024年12月27日 10:48:50
- 2024年12月27日 10:48:18
- 2024年12月27日 10:44:28
- 2024年12月27日 10:22:05
- 2024年12月27日 08:19:35
- 2024年12月27日 07:51:41