0
自他走后，明明是愚人節的4月1日總帶著點傷感。
任何一個想他的時候，榮迷們都會打開收藏夾中某部電影，或者打開他的某場演唱會。
而昨天，我的朋友圈被張國榮2000年《熱·情》演唱會超清修復版視頻刷屏了。
迫不及待地點開，撲面而來的清晰度和真實感讓人眼前一亮。要知道，從前觀看的視頻都是損傷畫質，堪稱時代的眼淚，榮迷們雖甘之如飴，但如果有高清畫質，當真是求之不得。
《熱·情》演唱會上，張先生浪漫而放肆，帶著撲面而來的炙熱，暖化了初春的夜晚，也暖化了人心。
把視頻分享給我的朋友后，不禁好奇，這具體是怎么實現的？是否未來哥哥乃至所有我們喜歡的老電影、老作品都有可能通過數字技術重新呈現？
今天，我們找到背后的技術修復師，騰訊云多媒體實驗室的總監李松南和專家研究員夏珍，跟他們聊了聊《熱·情》修復的相關技術。
他們介紹，這項技術是“超清沉浸感修復引擎”，是面向老片修復專門推出的技術解決方案，它沉淀了騰訊云多媒體實驗室多年的通信和處理研發經驗，主要包含四大模塊：智能分析、畫質修復、畫質增強和智能編碼。
其實，我們每次看修復視頻感到舒適，不僅在于清晰度提升，更在于畫質提升。
老片中的灰塵、污垢、霉斑、掉色、圖像抖動、劃痕、閃爍、噪聲、變色、模糊等各種問題對是最直觀影響影片質量的問題。
首先，實驗室利用智能分析模塊對視頻進行全方位、多維度分析，包括但不限于劃痕、豎線、雪花點、噪聲、壓縮失真、抖動等問題，評估視頻的運動、紋理復雜度，分析噪聲、壓縮失真程度等，這些數據都將成為畫質修復和增強的基礎。
其次進入修復階段。
實驗室在演唱會修復上使用了眾多他們獨創的算法。譬如劃痕算法，夏珍坦言，他至今還沒在公開服務中遇到過。
數據對深度學習算法來講是非常重要的。
假設需要修復老電影中的劃痕和雪花。粗略推算，需要幾萬甚至幾十萬的訓練對。
然而，目前缺少這樣龐大的劃痕公開數據庫，算法難以調優，建立數據庫的成本也很昂貴。
為此，實驗室為去劃痕項目設計了針對性的多維度數據生成和增廣方案。包括模仿劃痕數據、從真實數據上提取、劃痕的裁切及合并、隨機尺寸、隨機模糊程度、局部及全局隨機亮度調整、隨機透明度調整等。
當然，也得益于騰訊此前擁有強大的數據儲備，騰訊多年來以算法為翼探索各個場景，在音視頻領域，依靠騰訊視頻等渠道，已經積累了海量優質數據，算法可用性相比業界大為提升。
除了去劃痕算法以外，整體修復過程中他們還用到了很多其他的修復算法，包括視頻降噪、去壓縮失真等。
經過嘗試多種算法后，整體效果得到了明顯提升，如下圖更能直觀感受修復的效果。
如果你此前看過網絡上流傳的《熱情》原版視頻，再看昨天上線的版本，不夸張地說，會有震撼、驚艷之感。
這也許是修復技術師想呈現的沉浸感。
沉浸感一般更多用于3D、VR360、自由視角等相關工作。夏珍表示，不管是提高分辨率，還是提高幀率，在2D基礎上提高用戶體驗感受一直是他們的目標之一，而這對于他們，在技術上也是可實現的。
真實感來自畫質增強，包括分辨率增強、細節增強、色彩增強、幀率提升等，畫質增強包括將畫質拉到2022年的水平，讓畫面更接近現在觀眾喜歡的4K等高清畫質。
不知道你們發現沒有，張國榮的人臉特別真實，臉上的皺紋、胡渣甚至毛發都清晰可見。
這是因為他們在人臉修復上使用了“超分辨率”，通過多幀技術使用了基于GAN的超分網絡，生成的細節更加豐富和更加穩定，在放大視頻分辨率同時，細節清晰度也提升，所以整體感官上提升層次大。
夏珍介紹，自研的人臉修復模型，加上人臉檢測、人臉修復和融合模塊，將圖像修復遷移到視頻過程中加入幀間穩定性處理，解決人臉檢測穩定性，優化多角度人臉效果，解決視頻中動態人臉遇到的復雜場景問題。
再看色彩、畫面。
畫質增強有個更好理解的定義：藝術修復。
演唱會現場環境復雜，燈光轉換頻繁，色彩多、變化快，同時舞臺煙霧會讓整個畫面對比度和色彩飽和度不一。
對于修復效果，實驗室團隊原本有能力讓畫面清晰度更高、細節更豐富、飽和度更均衡。
但考慮到演唱會上的舞臺煙霧、現場顏色等都是張國榮藝術表達的重要形式。
而且，無論是影片還是演唱會，那個年代的香港整體畫面呈現都獨具特色，比如打光較為朦朧，太過超清，追求接近現代畫面反而會失去藝術真實性和香港藝術獨特的味道。
實驗室團隊基于對《熱情》藝術性的理解與尊重，也基于對香港影視唱片黃金時代的致敬，“修舊如舊”成為多媒體實驗室在修復老影片時的一個目標追求，他們希望最大程度還原張國榮的藝術表達，保留老片原汁原味。
他們通過視頻增強算法，對畫面進行多維度畫質提升，在空間和時間上提升視頻的分辨率和幀率，在空域上提升細節清晰度、色彩豐富度，在尊重歷史和原版的基礎上，保證畫質的提升，人臉和畫面都如此。
截取一幀張國榮在舞臺中央的靜態畫面，放大后仿佛可以透過畫面感受到22年前的現場舞臺。
昨天的演唱會，通過直播形式呈現，且直播效果流暢、畫面高清。
還有一項技術不得不提：視頻編解碼。這絕對是一項被低估的技術。
什么是視頻編解碼技術？
視頻是由一張張圖片連接起來形成的動態圖像序列，若直接將每張圖片的每一個像素點數據都加以存儲，視頻碼流所占用的帶寬將不可估量。
尤其在超高清視頻時代，幀率逐漸從30fps向60fps、120fps甚至240fps進發。高度密集的數據給帶寬和存儲帶來巨大挑戰。
此外，隨著硬件設備更好、帶寬更高，用戶開始對視頻分辨率的要求更高，對視頻質量要求沒有止境。
視頻編解碼技術的作用，將圖像進行壓縮和數字編碼，以用于傳輸。本質上，就是用盡可能小的帶寬傳送高質量的視音頻數據。
現在我們知道，在不改變視頻主觀質量的前提下，把超高清視頻搬上視頻號直播平臺，并保證畫質效果流暢、高質，是一項超級工程，也極為考驗視頻壓縮的功力。
騰訊云多媒體實驗室的視頻編解碼技術，在輸出相同質量視頻的情況下，碼率可以降低一半，大大降低了帶寬存儲。
這其中是得益于智能編碼模塊，通過自適應編碼在減少輸出文件大小、視頻傳輸成本的同時，保證視頻的主觀質量不受影響，實現最佳的畫面效果。
在此之前，在修復歷史影像作品甚至殘損影像上，騰訊云多媒體實驗室也經驗豐富，他們深度參與了包括《康熙王朝》、《天下人家》等多部經典影視劇高清修復工作，以及上海1949年新中國成立相關影像的修復。
據悉，一部90分鐘的老影，約有12—14萬幀畫面需要逐幀修復，一般需要十多人的修復團隊，平均每一個人需負責一萬多幀，工作量十分巨大。
對比之下，這場演唱會近2個小時，場景眾多，現場環境多變，細節不夠豐富，場景切換快，燈光環境復雜，顏色豐富，但實驗室從拿到母帶到最終修復上線，僅用了3周時間。
這是由于騰訊云多媒體實驗室的修復已路徑初成，多項修復模塊實現了不同程度的自動化。
查了下實驗室的背景，難怪。
它是多媒體通信和處理研發團隊，持續專注于多媒體數據傳輸與壓縮、智慧融合媒體、互動沉浸式媒體領域的技術研究與產品化，參與國際國內行業標準制定，包含多媒體數據壓縮，多媒體傳輸、系統與5G，以及多媒體AI等。
自2018年參與最新一代編解碼標準制定以來，實驗室已有超過500項提案被多個國際標準采納，數量全球領先。
騰訊杰出科學家、騰訊云多媒體實驗室總經理劉杉博士也是全球音視頻領域的頂尖技術帶頭人。
劉杉博士是國際著名多媒體專家，騰訊首位女性杰出科學家，IEEE Fellow, APSIPA杰出工業領袖，2020年入選福布斯中國科技女性50人，擁有500+已授權專利，發表100+學術論文和一部專著，本科畢業于清華大學電子工程系，碩士和博士畢業于美國南加州大學，研究方向包括音視頻、沉浸式和新興多媒體VR/XR等的壓縮、處理、傳輸、系統和智能化應用。深耕多媒體數據壓縮、傳輸協議和系統、無線網絡、IoT等行業標準領域，曾多次擔任國際標準專家組主席和聯席主席，現任IEEE數據壓縮標準委員會副主席。
自2017年加入騰訊以來，劉杉博士帶領團隊研發和交付多項多媒體核心技術，并深度參與了國際國內行業標準制定工作。
正是這樣一個團隊，讓這個被塵封21余年的“時代符號”的經典之作被首度解鎖，為曾見過和沒見過張國榮的觀眾帶來了一場前衛、華麗、優雅的視聽盛宴。
《哈利·波特與魔法石》經修復后登陸國內院線，首日票房便突破3200萬元，向市場再次展現了經典影片的票房號召力。
《尋秦記》、《士兵突擊》、《亮劍》等一批經典電視劇在經過畫質修復提升后，都活躍在視頻平臺的各大榜單前列。
經典作品自帶持久生命力。智能修復技術讓老舊視頻煥然一新，給觀眾帶來更好體驗。
夏珍表示，全球范圍內有非常多的諸如演唱會、電視劇、電影、紀錄片等經典影像。騰訊云多媒體實驗室目前已形成了較為完整的智能老片修復技術矩陣，未來希望通過超清沉浸感修復引擎，幫助更多的時代經典高質、高效地重現于觀眾面前。
回想起昨天的直播畫面，舞臺上，一束孤單的燈光折下來，張先生寂寞而堅決的表情幾乎是烙在每個愛他的人心上。
感謝技術，讓我們再一次相遇。寄寓未來，有更多經典重現。雷峰網雷峰網雷峰網(公眾號：雷峰網)
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
