Zyphra发布全新开源小型语言模型Zamba2-7B (www.zyphra.com)

Zyphra公司发布了名为Zamba2-7B的全新开源小型语言模型，该模型在质量和性能方面超越了Mistral、Google的Gemma和Meta的Llama3等领先模型。Zamba2-7B采用创新的混合SSM注意力架构，并使用了包含3万亿个词元的大规模预训练数据集，使其在延迟、吞吐量和内存使用方面实现了最先进的推理效率。