现实与虚拟交互!DeepHand:手部运动深度学习系统!

2016-07-03 10:17:57 作者:yivian 来源:yivian 我要评论

 

  虚拟现实可以让人与虚拟环境进行交互,但需要电脑来解释人类不断变化的手部运动和关节角度,而这些变化几乎是无穷无尽,非常复杂。

  在虚拟现实和增强现实中,用户佩戴着可以展示虚拟环境的头显。其中,增强现实头显可以让用户既看到真实世界又看到虚拟世界,并与之交互,而虚拟现实则完全让用户沉浸在人工虚构环境之中。

  “无论哪种情况,系统都需要识别并解释用户的手部运动。”普渡大学的Karthik Ramani教授说道。“如果你的手部不能与虚拟世界进行交互,那么你什么都做不了。这也是为什么说手部是如此重要。”

  因此,普渡大学C Design Lab实验室研发出了一个名为“DeepHand”的新系统。这个系统使用了卷积神经网络来模仿人类大脑,并可以进行深度学习,理解手部关节和运动那几乎无穷无尽的变化。

  Ramani说:“我们把它称为空间用户界面,因为你是在空间中与电脑进行交互,而不是通过触摸屏和键盘。如果用户想从虚拟桌面上捡起物品,驾驶虚拟汽车的话,很明显手部是关键。我们可以实时监测到你的手部位置,你的手指位置,以及你的手部和手指所有的动作。”

  DeepHand使用了深度感应相机来捕捉用户的手部,并配备了专门的算法来解释手部运动。研究人员通过250万个手部姿势和形状组合来“训练”DeepHand。手指关节的位置被指定为“特征向量”,可以快速检索。然后,系统会从数据库中挑选一个最合适的数据来呈现给相机。

  Sinha表示:“我们可以识别出手部的关节角度,并通过数字组合来表达出这些角度的变化和形状组合。”

  Ramani说:“这个系统的算法跟Netflix的算法很接近。Netflix的算法可以根据之前的消费记录来向用户推荐电影。”

  训练这个系统需要庞大计算量,但一旦系统被训练完成,就可以在标准的电脑上运行了。

  关于DeepHand的研究论文,作者包括博士生Ayan Sinha、Chiho Choi和Ramani教授。论文信息可以在C Design Lab Web网站查询。普渡大学C Design Lab由美国国家科学基金会、Facebook和Oculus等机构赞助。

83830.com新视界的媒体

关注83830微信号,及时了解最新最快的VR资讯最专业的VR设备评测VR玩家群:166735015

请按Ctrl+D将本页添加到收藏夹