Single-View View Synthesis with Multiplane Images

最近在視圖合成方面的一系列工作使用深度學習來生成多平面圖像——一種以相機為中心的分層 3D 表示——給定兩個或多個已知視點的輸入圖像。我們將此表示應用于單視圖視圖合成，這是一個更具挑戰性但可能具有更廣泛應用的問題。我們的方法直接從單個圖像輸入中學習預測多平面圖像，并且我們引入了用于監督的尺度不變視圖合成，使我們能夠在在線視頻上進行訓練。我們展示了這種方法適用于幾個不同的數據集，它還生成了合理的深度圖，并且它學會了在背景層中填充前景對象邊緣后面的內容。

ASSET: Autoregressive Semantic Scene Editing with Transformers atHigh Resolutions

我們提出了資產，一種神經架構，用于根據用戶對其語義分割圖的編輯自動修改輸入的高分辨率圖像。我們的架構基于具有新穎注意力機制的轉換器。我們的關鍵思想是在高分辨率下稀疏變換器的注意力矩陣，由在較低圖像分辨率下提取的密集注意力引導。雖然以前的注意力機制在處理高分辨率圖像時計算成本太高，或者在阻礙遠程交互的特定圖像區域內受到過度限制，但我們新的注意力機制在計算上既高效又有效。我們的稀疏注意力機制能夠捕捉遠程交互和上下文，從而合成場景中有趣的現象，例如景觀到水面上的反射或與景觀的其余部分一致的論壇，這些是以前的卷積網絡無法可靠生成的和變壓器方法。我們提供定性和定量結果，以及用戶研究，證明我們方法的有效性。

我們的代碼和數據集可在我們的項目頁面上找到：https://github.com/DifanLiu/ASSET

審核編輯 ：李倩