Ai2 正在发布 OLMo 2，这是一个开源语言模型系列，旨在推动人工智能的民主化，并缩小开放解决方案与专有解决方案之间的差距。
新模型提供 7B 和 13B 参数版本，训练数据量高达 5 万亿个标记，表现水平与可比的完全开放模型相匹配或超越，同时在英语学术基准上与 Llama 3.1 等开放权重模型保持竞争力。
“自从 2024 年 2 月发布首个 OLMo 以来，我们看到开放语言模型生态系统的快速增长，以及开放模型与专有模型之间性能差距的缩小，”Ai2 解释道。
开发团队通过多项创新实现了这些改进，包括增强的训练稳定性措施、分阶段训练方法以及基于他们的 Tülu 3 框架的先进后训练方法。显著的技术改进包括从非参数层归一化切换到 RMSNorm，以及实施旋转位置嵌入。
OLMo 2 模型训练突破
训练过程采用了复杂的两阶段方法。初始阶段使用了 OLMo-Mix-1124 数据集，约 3.9 万亿个标记，数据来源于 DCLM、Dolma、Starcoder 和 Proof Pile II。第二阶段则通过 Dolmino-Mix-1124 数据集结合了精心策划的高质量网络数据和特定领域内容。
特别值得注意的是 OLMo 2-Instruct-13B 变体，这是该系列中最强大的模型。该模型在各种基准测试中表现优于 Qwen 2.5 14B instruct、Tülu 3 8B 和 Llama 3.1 8B instruct 模型。
致力于开放科学
为了加强对开放科学的承诺，Ai2 发布了全面的文档，包括权重、数据、代码、配方、中间检查点和指令调优模型。这种透明度使更广泛的人工智能社区能够全面检查和重现结果。
此次发布还引入了一个名为 OLMES（开放语言建模评估系统）的评估框架，包括 20 个基准，旨在评估核心能力，如知识回忆、常识推理和数学推理。
OLMo 2 在开源人工智能开发中提高了标准，可能加速该领域的创新步伐，同时保持透明度和可及性。
(照片由 Rick Barrett 提供)
想了解更多来自行业领袖的人工智能和大数据知识吗？ 请查看 AI & 大数据博览会，该活动将在阿姆斯特丹、加利福尼亚和伦敦举行。该综合活动与其他领先活动共同举办，包括智能自动化会议、区块链博览会、数字转型周和网络安全与云博览会。
探索由 TechForge 提供的其他即将举行的企业技术活动和网络研讨会这里。
