GenAIScript是一个使用JavaScript编写LLM提示的脚本工具,它提供了一个 cohesive 的脚本环境,可以方便地构建、调试、运行和测试LLM提示脚本。GenAIScript 支持多种功能,包括 LLM 工具注册、LLM 代理组合、数据模式定义和验证、文件提取和差异预览、文件搜索、浏览器自动化、RAG 内置向量搜索、GitHub 模型和 GitHub Copilot 运行、本地模型运行、代码解释器、容器运行、LLM 组合、Prompty 运行和转换、CLI 自动化、Pull Request 集成、测试和评估以及案例研究等。
OmniParser 是一种用于解析用户界面截图的综合方法,旨在提高大型视觉语言模型在不同操作系统和应用程序中的代理系统运行能力。它包含两个专门模型:一个用于解析屏幕上可交互区域的检测模型,以及一个用于提取检测到的元素的功能语义的描述模型。OmniParser 在 ScreenSpot、Mind2Web 和 AITW 基准测试中显著提高了 GPT-4V 的性能,并优于需要截图以外额外信息的 GPT-4V 基线。