iPhone Agent: Steuern Sie Ihr iOS-Gerät mit GPT-4.1

PhoneAgent ist eine iOS-App, die das GPT-4.1-Modell von OpenAI nutzt, um Ihr iPhone über mehrere Apps hinweg zu steuern. Durch Zugriff auf die Accessibility-Struktur kann sie Aufgaben wie das Senden von Nachrichten, das Herunterladen von Apps und das Tätigen von Anrufen ausführen. Sie verwendet Xcodes UI-Testing-Framework, benötigt keinen Jailbreak, ist aber experimentell und hat bekannte Einschränkungen, wie z. B. die Behandlung lang laufender Aufgaben und Animationen. Die App sendet den App-Inhalt an die OpenAI-API und kommuniziert über einen TCP-Server mit UI-Tests.