新聞中心

EEPW首頁 > 汽車電子 > 新品快遞 > Waymo利用AI生成攝像頭圖像,用于自動駕駛仿真

Waymo利用AI生成攝像頭圖像,用于自動駕駛仿真

作者:時間:2020-06-15來源:電子產品世界收藏

據外媒報道,日前,表示開發了新方法SurfelGAN,利用汽車收集的傳感器數據,通過生成用于仿真的攝像頭圖像。SurfelGAN使用紋理映射表面元素(surface elements,簡稱surfel)重建場景和攝像頭視角,以獲取位置和方向。

本文引用地址:http://www.mzugvc.icu/article/202006/414229.htm

諸如這樣的汽車公司利用仿真環境來訓練、測試和驗證系統,然后再將系統部署到現實世界的車輛中。設計模擬器有多種方法,但一些基礎的模擬器忽略了對于場景理解至關重要的線索,比如行人的手勢和閃爍的燈光。而像 CarCraft這樣更復雜的模擬器,由于試圖對材料進行高度精確的建模,因此需要耗費大量的計算資源,以確保像激光雷達和雷達等傳感器在真實世界中可靠地工作。

隨著SurfelGAN的推出,Waymo提出了一種更簡單的、數據驅動的方法來模擬傳感器數據。SurfelGAN從真實世界的激光雷達傳感器和攝像頭獲取數據,創建并保存場景中所有物體的3D幾何、語義和外觀的豐富信息。然后,再從不同的距離和視角渲染仿真場景,以進行重建。

1592205607614442.png

Waymo發言人稱,“在仿真中,當汽車和其他道路使用者的移動軌跡發生變化時,系統會生成真實的視覺傳感器數據,幫助我們在新的環境中建模場景。部分系統正在生產中?!?/p>

SurfelGAN利用紋理增強表面元素地圖的場景表示方法,這是一種緊湊、易于構造的場景表示方法,能夠在保留傳感器信息的同時保持合理的計算效率。SurfelGAN將激光雷達掃描到的體元(3D空間中定義點的圖形信息的單位)轉換成表面元素盤(surfel discs),可根據攝像頭數據估算顏色,然后對這些元素進行后處理,以處理光線和姿態的變化。

為了處理車輛這類動態物體,SurfelGAN還使用了Waymo Open Dataset中的注釋。興趣物體的激光雷達掃描數據不斷積累,以便在仿真中Waymo可以生成汽車和行人的重建。

SurfelGAN中的生成對抗網絡(GAN)模塊負責將表面元素圖像渲染轉換成逼真的圖像。其生成器模型從使用分布采樣的隨機噪聲中生成合成示例,這些示例連同來自訓練數據集的真實示例一起反饋給鑒別器,而鑒別器視圖區分這兩者。生成器和鑒別器的能力不斷提升,直到鑒別器無法區分合成示例和真實示例。

SurfelGAN模塊以一種無人監管的方式進行訓練,意味著其在沒有參考已知、標記或注釋結果的情況下推斷語料庫中的模式。有趣的是,每當鑒別器正確地識別合成示例時,就會告訴生成器如何調整輸出,從而更加真實。

Waymo進行了一系列測試來評估SurfelGAN的表現,給它輸入了798個訓練序列,包括20秒的攝像頭數據和激光雷達數據,以及來自Waymo Open Dataset數據集中關于車輛、行人和騎行者的注釋。SurfelGAN團隊還創建和使用新的數據集Waymo Open Dataset-Novel View,為原始數據中的每一幀創建全新的表面元素圖像渲染。

最后,Waymo收集了未注釋攝像頭圖像的額外序列(共9800個,每個100幀),并構建了一個稱為雙攝像頭后數據集(Dual-Camera-Post Dataset,DCP)的語料庫,以測量SurfelGAN生成圖像的真實度。DCP可處理兩輛車同時觀察同一場景的情況;Waymo使用來自第一輛車的數據重建場景,并在第二輛車的精確姿態下渲染表面元素圖像。

研究人員稱,當SurfelGAN生成的圖像提供給現成的車輛探測器時,最高質量的合成圖像達到了與真實圖像相同的標準。SurfelGAN還改進了DCP(雙攝像頭后數據集)中的表面元素渲染,在一定距離內生成更逼真的圖像。此外,研究人員還證明,SurfelGAN生成的圖像還將車輛探測器的平均精度從11.9%提高到13%。

Waymo指出SurfelGAN并不完美。例如,它有時無法從損壞的幾何圖形中恢復,導致車輛看起來不真實。在沒有表面元素信息的情況下,表現出了很大的差異。盡管如此,研究人員仍然認為SurfelGAN是未來動態物體建模和視頻生成仿真系統的堅實基礎。



關鍵詞: AI Waymo 自動駕駛

評論


相關推薦

技術專區

關閉
下载优部怎么才能赚钱 天津快乐十分玩法图 贵州11选5带玩 快乐扑克3技巧 今晚广西快乐双彩开什么号码 广东快乐十分开奖遗漏 香港平特三连肖网址 新规律平特一肖验证 广东11选5开奖结果查 天津十一选五开奖历史 股票平台哪个好