手部跟踪实现鼠标输入
2024-11-19
本文作者受到苹果Vision Pro手指输入的启发，使用MediaPipe库和摄像头实现了手部跟踪控制鼠标的功能。文章详细介绍了项目开发过程，包括使用OpenCV和Python的初步尝试、使用WebSocket实现Web前端与Python后端通信、鼠标点击和拖动逻辑的实现、抖动问题的解决以及屏幕边缘安全区的设置。作者还尝试了Tauri框架和Rust来提高性能和实现后台运行。此外，作者还实现了类似Meta Quest的指点模式，并讨论了该模式下抖动和漂移等问题。最终，朝下模式运行稳定，而指点模式仍需改进。
8