這是一件關系到我們所有人的事情：討論天氣。近年來，在這方面可供討論的話題似乎越來越多了，既有猛烈的颶風和創記錄的高溫，也有引發洪水的大雨和肆虐的山火。

The Weather Channel電視網為美國觀眾提供專業的天氣預報和分析已有近40年之久。最近這家公司希望找到吸引和教育觀眾的新方式，它在2018年與The Future Group共同創作了關于閃電和龍卷風的沉浸式混合現實特別節目，當年晚些時候又制作了關于風暴潮和山火的節目。

這些一次性播出的節目具有極強的沉浸感，因此吸引了新聞界的大量報道，而它們讓觀眾真切理解危險天氣的作用也廣受好評——其中一檔節目甚至贏得了艾美獎。但是，它們都要花費大量時間來策劃和編排，而且雖然運用了虛幻引擎提供的實時渲染功能，卻不能實時播出：它們都是在播出前幾個小時錄制的，還要經過后期剪輯。

如果The Weather Channel能把沉浸式混合現實（IMR）放進他們每天的預報中，又會怎樣？以此為目標，在2020年6月2日，這家電視臺首次推出了新的IMR天氣演播室。

新的演播室擴展了實體空間，使得演播室一半是實體的，另一半是虛擬的，主持人能夠在這兩部分之間無縫地移動。虛擬部分的邊界有一塊玻璃幕墻，它可以降下來，讓主持人走進幕墻后面顯示的虛擬環境，從而使他們能展示“外面”的天氣，乃至走進相應的空間。

虛擬環境會發生改變來反映主題，例如，如果颶風臨近就會變成海濱，如果主題是面向滑雪者的雪情預報就會變成山地。為了讓演播室中顯示這些環境，有一個團隊負責從遍及全國的50個關鍵地點拍攝HDR影像。

“這種工具有不可思議的價值，它幫助我們強化了講故事的能力。”The Weather Channel的天氣演示總監Mike Chesterfield說，“大家非常欣賞這些內容——他們會感到自己身臨其境，因為這真是太逼真了。”

這個演播室還利用實時天氣數據驅動3D圖表和條形圖，甚至能在虛擬城市上展示一系列動畫3D混合現實天氣元素——雨、云、太陽、閃電等——來播出七天預報。用戶只要點擊一個按鈕就能調出一個100英尺的顯示屏，或者借助一個巨大的3D虛擬地球，真正展示全球范圍的天氣系統。

“這是我第一次在美國的信息網絡中看到真正實用的全日制虛擬演播室投入使用。”Chesterfield說，“我們正在做全新的天氣預報工作，而且都是實況直播。”

幕后揭秘：技術考察

這家電視臺負責將各種實時元素集成到虛擬環境中的資深技術美術Warren Drones解釋了這一切是如何實現的。

在這個演播室的流程中，有一套使用攝像機和綠幕布景的傳統廣播設置，而與它同時運行的是Zero Density的Reality Engine和Reality Keyer，前者是一種基于虛幻引擎的實時廣播合成系統，后者被Zero Density稱為全世界第一種也是僅有的一種在GPU上工作的基于圖像的實時摳像器。色度摳像是對整個背景假設一種顏色值，而基于圖像的摳像是將拍攝的視頻與空背景對比，從而能夠保留微妙的透明度細節和陰影。

為了給移動的攝像機創建空背景，Reality Keyer提供了創建綠幕大風景畫幕背景的虛擬版本的功能，將拍攝的實體綠幕布景的影像映射到這個數字化副本上。然后將來自攝像機的跟蹤數據（這家電視臺使用Mo－Sys系統）輸入這個節點中，使系統能夠為每一幀畫面創建空背景。

虛擬演播室的靜態元素主要是根據先前的實體演播室繪制的；事實上，團隊掃描了各種實體素材以確保完美吻合。道具在3ds Max中創建，并通過FBX導入虛幻引擎中。對于環境元素，團隊使用大型的高質量2D庫和3D Quixel Megascans，后者現已能夠在虛幻引擎中免費使用。

視覺特效美術師在虛幻引擎的Niagara視覺特效系統？中創建雨、雪、火、水等效果。動畫由Sequencer多軌道非線性編輯器驅動。通過API導入的實時天氣數據用于驅動3D圖表，甚至能使環境中降雨或太陽被云遮擋。

團隊廣泛使用了藍圖可視化腳本系統來編寫行為、腳本邏輯和觸發器事件。例如，在導演的指示下可以一鍵重新配置整個布景——而且實時播出。導演們還可以更改光照，切換到不同的饋送源，轉到新的機位等，這些操作都是實時進行的。

據Drones說，實時虛擬廣播改變了制作的面貌。與過去的做法相比，這種最新的虛擬內容制作方法更有挑戰性，但同時也帶來了吸引觀眾的即時感。

“提供信息的敘事最好是以實時的方式進行。”他說，“你會希望演藝人員在提供最新信息的同時帶有真正的即時反應，從而引起觀眾共鳴。預先錄制的視覺內容限制了提供實時敘事的能力，這樣就無法保持圖像的相關性。我們新的實時虛擬演播室消除了這種限制。”

Drones在看過虛幻引擎5公布會后，對混合現實廣播的未來更是充滿激情。

“我被它驚呆了。”他說，“隨著時間推移，開發與3D圖形之間的門檻正在逐漸消失，但我認為在近期，其他任何軟件為消除這種門檻所做的貢獻都比不上虛幻引擎。虛幻5的公布無可辯駁地證明了這一點，我非常希望能聽到更多關于它的消息。”