Chameleon：混合模态早期融合基础模型 (arxiv.org)

本文介绍了 Chameleon，这是一个基于早期融合的混合模态模型系列，能够理解和生成任意顺序的图像和文本。该模型在视觉问答、图像描述、文本生成、图像生成和长格式混合模态生成等一系列任务上进行了评估，表现出广泛的通用能力。Chameleon 在图像描述任务中表现出色，在纯文本任务中超越了 Llama-2，同时与 Mixtral 8x7B 和 Gemini-Pro 等模型相比具有竞争力，并在单个模型中实现了图像生成。