1.痛點問題

本項預期成果是解決復雜場景中目標三維數據重建、驅動的關鍵技術。

針對實際應用中復雜運動場景，例如剛性運動的交通工具，變形移動行人等，傳統的運動結構恢復方法在進行場景深度求解時無法確定每個單元結構的相對尺度，導致無法對復雜運動場景進行重建。在現有的深度估計、語義分割、位姿估計等相關技術，存在識別精度低、提取不到關鍵信息、應用場景單一等問題，無法滿足大尺度場景應用的需求。

2.解決方案

本項目成果提出了一套面向目標、人體深度數據重建技術，有效實現對復雜運動場景下人、物的深度重建與驅動，有效解決現實場景目標的數字化模型生成與虛擬場景下的驅動映射問題。提出多模態采集、時空復用編碼攝像方法，獲取大景深、高時空分辨、豐富的精確場景視覺信息，基于超像素關系分析的深度重建方法，包括目標超像素分割，圖像幀匹配，運動關系判定，通過時序傳播與概率模型更新實現實時深度重建，提高最終三維重建模型的稠密度、魯棒性、一致性和準確度。構建了基于深度卷積神經網絡的目標實例檢測與位姿估計框架，從目標對象觀測圖片提取其分割掩碼并不斷迭代更新，輸入深度卷積神經網絡進而得到目標6D位姿估計并進行迭代改進，從而實現目標在動態復雜場景下的位姿還原，克服了在光照、姿態變化、遮擋等不良因素環境下的目標位姿不準確問題，確保了目標6D位姿估計的魯棒性與準確性。