iPhoneエージェント：GPT-4.1でiOSデバイスを制御

PhoneAgentは、OpenAIのGPT-4.1モデルを利用して、複数のアプリにまたがってiPhoneを制御するiOSアプリです。アクセシビリティツリーにアクセスすることで、メッセージの送信、アプリのダウンロード、通話などのタスクを実行できます。XcodeのUIテストフレームワークを使用し、脱獄は不要ですが、実験段階であり、長時間実行されるタスクやアニメーションの処理など、既知の制限事項があります。アプリはアプリの内容をOpenAI APIに送信し、TCPサーバーを介してUIテストと通信します。