OmniParser：用于纯视觉GUI代理 (microsoft.github.io)

OmniParser 是一种用于解析用户界面截图的综合方法，旨在提高大型视觉语言模型在不同操作系统和应用程序中的代理系统运行能力。它包含两个专门模型：一个用于解析屏幕上可交互区域的检测模型，以及一个用于提取检测到的元素的功能语义的描述模型。OmniParser 在 ScreenSpot、Mind2Web 和 AITW 基准测试中显著提高了 GPT-4V 的性能，并优于需要截图以外额外信息的 GPT-4V 基线。