GitHub - livekit/agents：构建实时多模态人工智能应用 (github.com)

LiveKit Agents是一个框架，用于构建可以实时看到、听到和说话的AI驱动服务器程序。您的agent通过LiveKit会话连接到最终用户设备。在此会话期间，您的agent可以处理来自用户设备的文本、音频、图像或视频流，并使用AI模型生成这些相同模态的任意组合作为输出，并将它们流回给用户。该框架包括各种插件，可以轻松处理流输入或生成输出，例如用于文本到语音转换或使用流行的LLM运行推理的插件。