作者:陳明陽電子時報

谷歌開發(fā)了& # 34；可點燃的東西& # 34；該系統(tǒng)結(jié)合了動態(tài)人體可調(diào)3D模型光照的重建技術(shù)和自由視點體捕捉技術(shù)，可以生成高分辨率、光源可調(diào)的3D模型動態(tài)人體，可以應用和集成到任何幾何精度非常高的計算機生成(CG)環(huán)境中。

體積捕捉技術(shù)可以用360度設置的多個相機拍攝動態(tài)人體，可以產(chǎn)生像照片一樣的真實圖像，細節(jié)如衣服變形和頭發(fā)運動。但是用來制作動態(tài)人體的3D模型有兩個嚴重的缺陷:一是輸出結(jié)果比3D模型更像3D電影，人體的姿態(tài)、特征、服裝都不能再改變了；其次，照明光源只能維持拍攝時的狀態(tài)，事后無法調(diào)整。

由通用體積測量和捕獲系統(tǒng)生成的3D模型缺乏高分辨率細節(jié)，并且主體的陰影已經(jīng)被預烘焙到紋理中。以往大多數(shù)體積測量和捕獲技術(shù)的研究進展主要集中在高分辨率紋理的三維幾何重建上，很少涉及光源重照明所需的光度特性。

許多研究致力于獲得可調(diào)光源的圖像，在一組基本照明環(huán)境中拍攝人體，然后組合圖像以在目標環(huán)境中顯示它們，并正確反映環(huán)境中的照明條件。"可點燃的東西& # 34；這項技術(shù)首先應用于高分辨率體積測量和捕獲系統(tǒng)。通過解決光源調(diào)整的問題，生成的3D模型可以應用于任何虛擬環(huán)境，可以反映虛擬環(huán)境的光源光照。

"可點燃的東西& # 34；該系統(tǒng)可以拍攝人體的全身動作，產(chǎn)生高分辨率、照片般的、光源可調(diào)的動態(tài)人體3D模型。虛擬光源可以使3D模型生成的圖像看起來像是被真實光源照亮，因此可以用于游戲、電影等會發(fā)生變化并自然融入應用場景的光照環(huán)境。谷歌的研究團隊已經(jīng)在SIGGRAPH Asia 2019 & # 34可點燃的東西& # 34；系統(tǒng)。

研究團隊將對象放在一個定制的測地線球體中，球體上配備了大量的高分辨率相機，一套高分辨率的主動深度傳感器，以及3D模型 LED燈，這些燈可以以特殊的結(jié)構(gòu)模式移動，并在相機拍攝人體時產(chǎn)生各種顏色，這樣就可以產(chǎn)生一個高分辨率，光照不可知，可重新照明的動態(tài)人體。

"可點燃的東西& # 34；該系統(tǒng)的創(chuàng)新之處在于Google AI的研究團隊設計的專屬硬件和軟件，包括可捕捉高達12.4MP深度圖的主動式深度傳感器；幾何和機器學習相結(jié)合的3D圖像重建系統(tǒng)用于處理輸入的高分辨率圖像并輸出具有可調(diào)光源的體視頻。

此外，它可以很好地利用以60Hz拍攝的具有不同顏色梯度照明的兩幅圖像中包含的信息來生成動態(tài)人體的時間一致的反射系數(shù)圖。許多試驗、比較和應用的結(jié)果表明& # 34；可點燃的東西& # 34；通過系統(tǒng)體積測量捕捉的可調(diào)光源和動態(tài)人體3D模型在應用于任何計算機生成的環(huán)境時都能顯著增強真實感。