Mission: Impossible - Ghost Protocol - Hallway Projection Scene
伊森和班吉引開守衛的注意力後，手腳俐落地在走廊上架設好投影設備。這個裝置能即時取得走廊後方的影像，根據守衛的視線重新渲染，然後將新畫面投影到布幕上。接著，一邊分散守衛的注意力，一邊慢慢地把投影幕往前推，最後繞過守衛。這個裝置運用了一種稱為 Novel View Synthesis 的電腦視覺技術，根據多個視角的畫面，產生新視角的影像。雖然技術上可行，但是要在走廊上投射出沒有破綻的畫面，還需要考慮人類的立體視覺和投影機的解析度。 2011 年的硬體恐怕還不具備這些條件，所以小編合理懷疑守衛其實是內應！現實世界中， Intel® True View 已經把 Novel View Synthesis 應用到運動比賽上，提供各種前所未見的視角。接下來，我們將分享 Novel View Synthesis 的最新進展。
延伸閱讀：
- Medium: The optical illusion from Mission Impossible IV: how it might work
- YouTube: Mission: Impossible - Ghost Protocol (2011) - Hallway Projection Scene
- YouTube: Intel® freeD Technology + NFL | Intel
用新視角開會
渲染逼真的人像是個複雜的問題，需要經過拍攝、建模、捕捉表情、合成表情、取得環境光、重新渲染等冗長的過程， Spider-Man 2 拍攝時用到的 Light Stage 2 就是個例子。但是，神經網路的進步提供了另一種有潛力的新方法：神經輻射場（Neural Radiance Field, NeRF）。現在只需要一張照片，就能即時渲染頭像，並且可以任意改變視角，甚至是變臉。
延伸閱讀：
Block-NeRF: Scalable Large Scene Neural View Synthesis
用新視角看地圖
十四年前，包含微軟在內的研究團隊收集了 150,000 張羅馬的照片，用 496 個 Compute Cores 運算 21 小時，在一天之內建出羅馬城 的點雲 。去年，另一個包含谷歌在內的研究團隊，收集超過兩百萬張舊金山景點的照片，運用神經輻射場的技術重建舊金山街景 ，大幅提升的品質讓人期待它能被 Google Map Street View 導入。
延伸閱讀：
- Project Page: Block-NeRF: Scalable Large Scene Neural View Synthesis
- Project Page: Building Rome in a Day
3D Humans and Environments in TV Shows
用新視角看電視
在往下看之前，請先看一下上面的圖片，是否有種熟悉感？如果你看過《宅男行不行》，是否發現左上角的房間是 Dr. Sheldon Cooper 的公寓？ UC Berkeley 的研究團隊運用 NeRF 等技術重建了幾部知名美劇的室內場景，甚至還有機會用新的視角來看這些美劇。
延伸閱讀：
Inside ARC
由 ARC 的 Jocelyn Chang Chien 負責執行的「技術公司研究計劃」，目前已經探索超過二十家技術公司。neural.love 是 ARC 最近感興趣的團隊：
- ARC Tech Firm Survey
- neural.love , makes complicated AI tools accessible for creators and business.
- CEO Denis Shiryaev 在創立 Neural.love 之前因為使用 Topaz Labs 的 Gigapixel AI 翻新舊影片 而聲名大噪 。
- 初始核心產品從 video restoration 出發，近期搭上 text-to-image 的浪潮也同步推出 Art generator。
- Blog: How to restore and enhance quality of a 100-year-old movie with AI
PyCon TW 2023 將在 2023-09-02/09-03 舉行，ARC 的 Iris Chen 也將在活動中帶來一場演講：Challenges in Data Cleaning and Transformation: Mistakes, Confusion, and Solutions 。
Technologies and Tools
- Python in Excel . Microsoft 與 Anaconda 聯手將 Python 導入 Excel ！
- imgsli . 一個提供 Before/After 圖片比對的線上服務。
- nerfstudio . 一個簡化 NeRFs 訓練與測試的工具。
Others
Fun
Found here .