东京理工大学的研究人员与卡内基梅隆大学、圣安德鲁斯大学和新南威尔士大学的同事合作,开发了一种腕戴式3D姿势估计设备。该系统由一个摄像头组成,摄像头捕捉手背的图像,并由一个名为DorsalNet的神经网络支持。人工智能神经网络可以准确识别动态手势。
能够跟踪手势对于推进增强现实(AR)和虚拟现实(VR)设备非常重要,这两种设备已经开始在医疗、体育和娱乐领域获得巨大需求。到目前为止,这些设备都涉及使用笨重的数据手套,这往往会阻碍自然运动或使用有限范围的传感器。
现在,由东京工业大学Hideki Koike领导的研究团队设计了一种基于摄像头的腕戴式3D手势识别系统,未来可能会与智能手表相提并论。他们的系统可以极大地允许在移动环境中捕捉手部动作。
研究人员说:“这项工作是第一个基于视觉的实时3D手势估计器,它使用了手背的视觉特征。”该系统由一个摄像头组成,摄像头由一个名为DorsalNet的神经网络支持,可以通过检测手背的变化来准确估计3D手的姿态。
研究人员证实,他们的系统在识别动态手势方面的平均准确率比以前的工作高20%,在检测11种不同的抓握类型方面的准确率为75%。
这项工作可以促进支持徒手交互的控制器的发展。在初步测试中,研究人员证明了他们的系统可以用来控制智能设备,例如,智能手表上的时间只能通过改变手指角度来改变。他们还表明,该系统可以用作虚拟鼠标或键盘,例如,通过旋转手腕来控制指针的位置,并使用简单的8键键盘进行输入。
他们指出,为了在现实世界中使用,该系统还需要进一步改进,例如使用具有更高帧速率的相机来捕捉快速手腕运动,并能够应对更多不同的照明条件。