Robotertraining mit Pi0, Lerobot und Rerun: Ein Ansatz zur menschlichen Bewegungspose-Retargeting

Dieses Projekt untersucht das Training von Robotern mit Pi0, Lerobot und Rerun. Es unterstützt Linux und nutzt den Pixi-Paketmanager. Das Projekt umfasst Kamerakalibrierung, Analyse der menschlichen Pose und Kinematik sowie die Extraktion von 3D-Gelenkpositionen und -winkeln aus Bildern mit mehreren Ansichten. Das endgültige Ziel ist es, zeitlich synchronisierte Multi-Kamera-Aufnahmen in Achsenwinkel-Gelenkparameter und 3D-Positionen umzuwandeln, die von Robotern für Bewegungs-Retargeting und das Erlernen feinmotorischer Fähigkeiten verwendet werden können. Jupyter Notebook-Tutorials werden bereitgestellt, die menschliche Pose und Kinematik, Körper- und Hand-Pose-Retargeting sowie Imitationslernen und Teleoperation abdecken.