如果從方法出發的話，兩張圖就能看懂：

圖 1

圖 2 上面是 NeRF 的網絡結構，下面是 Semantic-NeRF 的網絡結構，就是在 NeRF 的網絡中加了一個分支，輸出到語義。和 NeRF 一樣，Semantic-NeRF 能夠連續的表達空間信息，因此你可以看到 Semantic-NeRF 主頁里的各種酷炫的 demo. 這是 ICCV 2021 的 oral 工作。 如果有留意上一講的講座，從 Semantic-NeRF 的demo中你應該能推測出，這應該是第四種拍攝方式：

圖 3 這種拍攝方式在SLAM或者SFM中更多見，而傳統三維重建或者RGBD重建是很難做出 NeRF 或者 Semantic-NeRF 這種效果的。所以方法可能很簡單，但是這個工作很有意義。 應用的話，大家可以參考視頻。

Semantic-NeRF應用

稀疏監督下的新視角語義生成(Semantic View Synthesis with Sparse Labels

語義標簽去噪(LabelDenoising

語義標簽超分辨(Super-Resolution)

稀疏語義標簽傳播(LabelPropagation)

多視角語義融合(Multi-view Semantic Fusion)

稠密的語義三維重建

在這篇工作之后智博又做了 iLabel 的工作，將 imap 和 semantic-NeRF 結合，這里我們就不細講了，感興趣的同學歡迎去看原文。 需要提到的另一篇工作是 NeSF 這篇文章。 智博在講解 NeSF 的時候提到，訓練的sample是場景，而不是圖片，這是對這篇文章的一個高度概況。NeSF 首先會訓練許多場景，比如100個場景，那我們就會得到100個 NeRF 的模型，我們對這 100 個 NeRF 的模型做 Grid query，從而獲取一個 Density Grid，其實就是一堆規則的點，可以使用 3D 卷積，從而轉換為 Feature Grid. 對 Feature Grid 做 volume rendering 就能渲染出各個視角的語義圖像了。下面是 NeSF 的流程圖。

圖 4 NeSF流程圖 NeSF 的泛化性從 demo 來看還是不錯的，但是這樣的工作顯然不是我們可以玩的 (訓練 100 個 NeRF)， 你幾乎不用猜都知道是哪里出的工作。 這也就引出了 NeRF 的許多痛點，印象里第四講嘉賓在講 NeRF in the wild 和 Ha-NeRF 的時候說，每次實驗要 4 張V100 跑2天。因此不論是推理還是訓練，加速工作都顯得尤為重要，對語義 NeRF 相關的工作更是如此，因為目前的加速工作大都傾向于擺脫神經網絡。 動態場景的 NeRF 也有一些工作，但是是否一樣能像 Semantic NeRF 一樣，很輕松地 work 呢？其實能引發的問題還是挺多的。 評估一項工作的 novelty 的其中一項指標就是看這篇工作挖了多少坑，能啟發多少后續工作，Semantic NeRF 就是這樣的一篇工作。如果你看懂這個系列的工作，推薦大家立刻去看 panoptic NeRF 相關的工作。

審核編輯 ：李倩