Agent iPhone : Contrôlez votre appareil iOS avec GPT-4.1

PhoneAgent est une application iOS qui utilise le modèle GPT-4.1 d'OpenAI pour contrôler votre iPhone sur plusieurs applications. En accédant à l'arborescence d'accessibilité, il peut effectuer des tâches telles que l'envoi de messages, le téléchargement d'applications et les appels téléphoniques. Il utilise le framework de test d'interface utilisateur de Xcode, ne nécessite pas de jailbreak, mais est expérimental et présente des limitations connues, telles que la gestion des tâches de longue durée et des animations. L'application envoie le contenu de l'application à l'API OpenAI et communique avec les tests d'interface utilisateur via un serveur TCP.