PalmPad: Tippen auf der Handfläche mit einer einzigen RGB-Kamera

Ein Team der Tsinghua-Universität hat PalmPad entwickelt, eine neuartige Technologie für die Interaktion in der Mixed Reality. Mit nur einer RGB-Kamera und einem Arduino projiziert PalmPad eine virtuelle Tastatur auf die Handfläche des Benutzers. Der Benutzer tippt, indem er die virtuellen Tasten mit dem Zeigefinger der anderen Hand berührt. Das System überwindet frühere Einschränkungen durch unzuverlässiges Fingertipp-Tracking und schlechte Berührungserkennung mittels ausgefeilter Videoverarbeitung und einem CNN für präzise Fingertipp-Positionierung. Ein Arduino UNO erkennt den Kontakt zwischen Finger und Handfläche durch Impedanzänderungen und erreicht eine Genauigkeit der Berührungserkennung von 97 %. PalmPad bietet einen praktischen und innovativen Ansatz für die Interaktion in der Mixed Reality.