基于多感知數據融合的人機自然交互系統

電子信息

本發明公開了一種基于多感知數據融合的人機自然交互系統，包括MEMS手臂跟蹤裝置、視覺跟蹤裝置，以及安裝在操作者的手掌上的力反饋裝置，上述各裝置由PC終端控制，PC終端包括手臂運動解算模塊、圖像處理模塊、力學解算模塊和虛擬場景渲染模塊；虛擬場景渲染模塊根據手臂運動軌跡和手指運動軌跡生成虛擬手臂和手指，力學解算模塊根據虛擬手指與虛擬物體的碰觸信息，計算操作者當前狀態下應得到的期望反饋力矢量；本發明可滿足手臂大范圍運動情況下的手臂運動軌跡的跟蹤要求；其次，可通過圖像信息測量操作者手指的運動軌跡，可精確測量手指上多個關節的角度；再者，可為操作者提供力反饋和虛擬場景的視覺反饋，增強系統的臨場感、交互性。

小批量或小范圍應用