今天，我们很高兴地宣布，Ensemble AI 团队核心成员将加入 Cloudflare，帮助我们加速推进 AI 基础设施建设，让开发人员能够更轻松、高效地大规模运行强大的 AI 模型。
2023 年，Ensemble AI 在旧金山成立。该公司过去几年来一直专注于解决 AI 领域最重要的挑战之一：在维持大模型性能的情况下，加快推理速度、缩小模型体积并降低部署成本。团队开发了新的模型压缩和高效推理方法，旨在降低大语言模型和多模态架构的内存、计算和部署开销。
随着 AI 逐渐成为开发人员构建应用的核心组成部分，推理的经济效益变得空前重要。模型规模日益增大，工作负载也变得更加动态波动。客户越来越希望 AI 模型随时随地可用：全球分布、快速、可靠且经济实惠。Ensemble AI 团队的加入将增强 Cloudflare 实现这一目标的能力。
Ensemble AI 团队始终致力于降低模型的运行成本，同时保护现代 AI 模型的内部结构。Ensemble 没有将模型效率仅视为量化或硬件问题，而是探索了新的模型构建基块，从架构层面提高神经网络的紧凑性和效率。
其中的核心工作是开发了 NdLinear，这是 Transformer 模型架构中标准线性层的即插即用替代方案，它会直接处理多维激活数据，而不是像传统方法那样对数据进行扁平化处理。这让模型能够保持有意义的轴，例如头、通道、空间维度或其他结构化表示，同时减少参数数量和计算量。Ensemble 还开发了 NdLinear-LoRA，这是一种高效的自适应方法，旨在减少微调大模型所需的可训练参数。
这些方法与其他效率提高技术（包括量化、向量量化）相辅相成。它们共同指向一个未来：开发人员能够以更低的内存、计算和成本需求，运行功能强大的 AI 模型。
Cloudflare Workers AI 让开发人员能够访问 Cloudflare 全球网络上基于 GPU 的无服务器推理功能。随着开发人员构建的原生 AI 应用变得更多，高效地提供模型服务成为平台的重要组成部分。
推理成本是扩展 AI 应用的最大障碍之一。模型规模、内存占用、吞吐量和 GPU 利用率的每一次改进，都能让开发人员更易于访问 AI，并为客户降低成本。随着 AI 工作负载从简单的文本生成扩展到智能体、多模态模型、个性化、微调、检索和强化学习等领域，这一点尤为重要。
Cloudflare 将加大对核心机器学习功能的投入，以提高 Workers AI 的运行速度和灵活性，使其更具成本效益。这建立在我们现有提高模型效率的工作基础之上，包括我们的推理引擎 Infire、Unweight 等张量压缩技术，以及用于运行超大语言模型的平台。团队将专注于提高大语言模型和其他先进 AI 架构的经济效益，重点关注模型效率、GPU 利用率和可扩展部署。
AI 基础设施正在进入一个新阶段。开发人员不再只需要访问模型，还需要能够可靠、经济高效地运行模型且靠近用户位置的基础设施。他们需要具备试验不同规模的模型、微调方法和部署模式的能力，而不会受到成本或运维复杂性的限制。
Cloudflare 拥有独特的优势来帮助解决这个问题。Cloudflare 全球网络、开发人员平台和无服务器架构为我们奠定了基础，让 AI 基础设施可以更接近应用运行的地点。Workers AI 机器学习工程团队将帮助我们优化用户体验背后的底层效率。
通过整合 Cloudflare 全球基础设施与 Ensemble 在模型压缩和高效架构方面的工作，双方可以继续构建一个平台，让开发人员能够以更低的成本、更高的性能以及更少的运维开销部署 AI 应用。
我们将携手合作，继续构建必要的基础设施，让 AI 更高效、更易于访问，且对世界各地的开发人员更加实用。我们的目标很简单：帮助开发人员在全球范围内运行强大的 AI 工作负载，同时改善 Cloudflare 平台推理功能的经济效益。如果您希望加入我们一起践行 Cloudflare 使命，请访问我们的招聘页面。