人工智能硬件初创公司 Cerebras 创建了一种新的 AI 推理解决方案，可能会与 Nvidia 的企业 GPU 产品相抗衡。
Cerebras 推理工具基于该公司的晶圆级引擎，承诺提供惊人的性能。根据消息来源，该工具在 Llama 3.1 8B 上达到了每秒 1,800 个标记的速度，而在 Llama 3.1 70B 上达到了每秒 450 个标记。Cerebras 声称，这些速度不仅比 Nvidia 的 GPU 生成这些系统所需的通常超大规模云产品更快，而且成本效率更高。
这是一个重大的转变，正如 Gartner 分析师 Arun Chandrasekaran 所说，正在进入 生成 AI 市场。虽然该市场之前的重点是训练，但目前正在转向推理的成本和速度。这一转变是由于企业环境中 AI 用例的增长，为像 Cerebras 这样的 AI 产品和服务供应商提供了基于性能竞争的良好机会。
正如人工分析的联合创始人兼首席执行官 Micah Hill-Smith 所说，Cerebras 在其 AI 推理基准测试中表现出色。该公司的测量在 Llama 3.1 8B 上达到了每秒超过 1,800 个输出标记，而在 Llama 3.1 70B 上的输出超过了每秒 446 个输出标记。通过这种方式，他们在两个基准测试中都创造了新纪录。
然而，尽管潜在的性能优势，Cerebras 在企业市场面临重大挑战。Nvidia 的软件和硬件堆栈主导了行业，并被企业广泛采用。Futurum Group 的分析师 David Nicholson 指出，虽然 Cerebras 的晶圆级系统可以以低于 Nvidia 的成本提供高性能，但关键问题是企业是否愿意调整其工程流程以适应 Cerebras 的系统。
在 Nvidia 和像 Cerebras 这样的替代方案之间的选择取决于多个因素，包括运营规模和可用资本。较小的公司可能会选择 Nvidia，因为它提供了已经建立的解决方案。与此同时，拥有更多资本的大型企业可能会选择后者，以提高效率并节省成本。
随着 AI 硬件市场的不断发展，Cerebras 还将面临来自专业云提供商、像 Microsoft、AWS 和 Google 这样的超大规模公司，以及像 Groq 这样的专门推理提供商的竞争。性能、成本和实施便利性之间的平衡可能会影响企业在采用新推理技术时的决策。
高速度 AI 推理的出现，能够超过每秒 1,000 个标记，相当于宽带互联网的发展，这可能为 AI 应用打开新的前沿。Cerebras 的 16 位精度和更快的推理能力可能使未来 AI 应用的创建成为可能，在这些应用中，整个 AI 代理必须快速、重复和实时地操作。
随着 AI 领域的增长，AI 推理硬件的市场也在扩大。该细分市场占整个 AI 硬件市场的约 40%，正成为更广泛的 AI 硬件行业中越来越有利可图的目标。考虑到更大公司占据了该细分市场的大部分，许多新进入者应仔细考虑这一竞争环境中的重要方面，考虑到在企业领域导航所需的竞争性质和大量资源。
(照片由 Timothy Dykes 提供)
另请参见： 主权 AI 从新的 NVIDIA 微服务中获得推动
想了解更多来自行业领袖的 AI 和大数据信息吗？ 请查看 AI & 大数据博览会，该博览会将在阿姆斯特丹、加利福尼亚和伦敦举行。该综合活动与其他领先活动共同举办，包括智能自动化会议、区块链博览会、数字化转型周和网络安全与云博览会。
在这里探索其他即将举行的企业技术活动和网络研讨会，均由 TechForge 提供支持。
