1. 痛點問題

場景三維重建是未來視覺成像技術發展的重要趨勢，支撐導航與人機交互、虛擬現實與增強現實（VR/AR）、在線文旅、工程設計等前沿領域應用革命性發展。

目前技術僅僅是根據局限于面元自身區域內不同時刻的信息融合得到該面元的最終重建結果，忽略了面元之間的關系，導致重建面元的自由度過大，同時由于遮擋、光照變化、紋理不足、運動等因素的影響，降低了深度圖像的稠密度，同時存在相關尺度模糊問題。重建面元受到輸入深度圖像噪聲以及定位系統對相機定位誤差的影響，出現重建面元的位置及朝向可能與真實值存在明顯偏差，且相鄰面元之間可能存在不一致的情況，導致最終重建的三維模型的稠密度、魯棒性、一致性和準確性較低。

2. 解決方案

本項目成果提出了一套高精度稠密室內場景重建技術，首先提出基于物理空間推理和語義關聯建模的場景多粒度（像素/體素-超像素/體素-對象-場景）感知方法，綜合語義信息、幾何結構信息以及時空間信息進行濾波，實現準確深度估計，聯合光流估計與相機位姿估計進行多任務自監督訓練，實現深度估計網絡權重的在線調整，提高深度估計在未知場景下的性能，進一步引入在室內場景中常見的三種局部和全局尺度空間平面關系約束，為每一個重建面元提取三種支撐面元集，以支撐面元為載體將面元之間的空間關系作為額外約束引入密集面元生成階段，抑制深度圖噪聲和定位誤差的負面影響，提出基于語義先驗的實時概率稠密重建方法，通過時序傳播與概率模型更新實現實時場景深度重建，提高最終三維重建模型的稠密度、魯棒性、一致性和準確度，新引入的部分計算量小，能保持現有方案的實時性和可擴展性，能夠快速對大場景進行實景稠密三維重建，為用戶提供低成本、高效率、極便捷的空間3D重建解決方案。

合作需求

尋求在VR/AR、機器人、智慧城市等領域有相關技術開發、市場推廣經驗，能推廣本技術落地的高科技企業，可以進行深度合作。