单摄像头RGB掌上键盘:混合现实交互新突破

清华大学的研究团队开发了一种名为Palmpad的交互技术,仅需一个RGB摄像头和Arduino就能实现混合现实中的打字交互。该系统通过摄像头追踪用户手指相对于手掌的运动,将虚拟键盘投射到手掌上,用户用另一只手的食指点击虚拟按键。该系统解决了以往类似技术中手指跟踪不稳定和触控检测精度低的问题,通过复杂的视频帧处理技术和卷积神经网络(CNN)实现高精度手指定位,并利用Arduino检测手指与手掌的接触,最终实现了97%的触控识别准确率,为混合现实交互提供了一种新颖便捷的方式。
阅读更多