ModernBERT:BERT 的革命性替代品

2024-12-19

Answer.AI 和 LightOn 推出了 ModernBERT,一个比 BERT 更快、更准确的编码器模型系列。ModernBERT 结合了近年来大型语言模型的诸多进展,具有更长的上下文长度(8192 个 token)、更快的处理速度以及在各种基准测试中更优异的性能。其在代码检索方面尤其出色,为代码搜索和 IDE 功能等新应用打开了大门。ModernBERT 可作为 BERT 模型的直接替代品,并已在 Hugging Face 上提供。

阅读更多

Hugging Face Spaces 推出 ZeroGPU:动态 GPU 分配提升 AI 模型效率

2024-12-15

Hugging Face Spaces 推出了 ZeroGPU,这是一个动态分配 NVIDIA A100 GPU 的共享基础设施,旨在优化 AI 模型和演示的 GPU 使用效率。ZeroGPU 支持免费 GPU 访问、多 GPU 支持,并能有效降低开发和部署 AI 模型的门槛。用户只需在创建 Gradio 空间时选择 ZeroGPU 硬件,并使用 `@spaces.GPU` 装饰器标记 GPU 相关函数即可。ZeroGPU 与 PyTorch 兼容,并针对 Hugging Face 的 transformers 和 diffusers 库进行了优化,但目前仅限于 Gradio SDK。个人账户(PRO 用户)最多可创建 10 个 ZeroGPU 空间,组织账户(企业版)最多可创建 50 个。

阅读更多

Meta Llama 3.3-70B-Instruct 模型发布

2024-12-06

Meta 发布了Llama 3.3-70B-Instruct,这是一个经过预训练和指令微调的多语言大型语言模型。该模型针对多语言对话用例进行了优化,并在常见行业基准测试中优于许多现有的开源和闭源聊天模型。它支持多种工具使用格式和聊天模板,并提供8位和4位量化以优化内存使用。该模型遵循Meta负责任的发布方法,旨在安全、灵活地部署,并提供保护措施以防止滥用。开发者在部署Llama 3.3时,需要进行安全测试和调整,并遵守Llama 3.3社区许可协议和可接受使用策略。

阅读更多
未分类 Llama 3.3

OuteAI/OuteTTS-0.1-350M 语音合成模型

2024-11-09

OuteTTS-0.1-350M是一个基于LLaMa架构的文本转语音合成模型,使用纯语言建模方法,无需外部适配器或复杂架构。它通过精心设计的提示和音频标记实现了高质量的语音合成,并具有声音克隆功能。该模型采用三步音频处理方法:使用WavTokenizer进行音频标记化、CTC强制对齐以及结构化提示创建。目前版本为v0.1,存在一些限制,例如词汇量限制、仅支持字符串输入、输出质量可能不稳定以及对长句子的准确性较低。

阅读更多
未分类 LLaMa

ostris/OpenFLUX.1 模型介绍

2024-10-04

这是一篇介绍 Hugging Face 上名为 ostris/OpenFLUX.1 的文本到图像扩散模型的文章。该模型是 FLUX.1-schnell 模型的微调版本,移除了蒸馏训练部分,采用经典的 CFG 方法,允许用户进行微调。文章还介绍了模型的使用方法和代码示例。

阅读更多
未分类

Hugging Face 推出 NVLM 1.0,这是一系列前沿的多模态大型语言模型

2024-10-02

这篇文章介绍了英伟达发布的 NVLM 1.0,这是一系列前沿的多模态大型语言模型 (LLM),在视觉语言任务上取得了最先进的结果,可与领先的专有模型(例如 GPT-4o)和开放访问模型(例如 Llama 3-V 405B 和 InternVL 2)相媲美。文章详细介绍了 NVLM-D-72B(仅解码器架构)的模型权重、代码、环境准备、模型加载、多 GPU 使用以及推理过程等内容。

阅读更多
未分类

利用abliteration技术去除LLM模型的审查机制

2024-06-13

本文介绍了abliteration技术,该技术可以去除大型语言模型(LLM)的审查机制,使其能够响应所有类型的提示。文章详细介绍了abliteration技术的原理和实现步骤,并通过实验验证了其效果。实验结果表明,abliteration技术能够有效去除LLM模型的审查机制,但也可能导致模型性能下降。为了解决这个问题,文章建议使用DPO等技术对abliterated模型进行微调,以恢复其性能。

阅读更多

Hugging Face曝安全漏洞:部分用户密钥或泄露

2024-06-01

Hugging Face近日发现其Spaces平台存在未经授权的访问行为,可能导致部分用户密钥泄露。作为补救措施,Hugging Face已撤销了受影响的HF tokens,并建议用户刷新密钥或token,并改用更安全的细粒度访问令牌。此外,Hugging Face还采取了其他安全措施,包括移除组织令牌、实施密钥管理服务、增强识别和作废泄露令牌的能力等。

阅读更多

apple/OpenELM · Hugging Face

2024-04-24

Hugging Face上OpenELM的页面提供了关于OpenELM模型的信息,包括其文档、预训练模型、示例和讨论区。OpenELM是一个面向自然语言处理任务的高效语言模型,由Apple开发。该页面允许用户探索OpenELM模型,了解其功能并参与相关的讨论。

阅读更多
未分类