Cloudflare AI Security for Apps 可检测并缓解 AI 驱动型应用面临的威胁。今天，我们宣布该解决方案已正式发布。
我们将推出自定义主题检测等新增功能，并为所有 Cloudflare 客户（包括 Free、Pro 和 Business 计划）免费提供 AI 端点发现服务，以便所有客户都能清晰地了解 AI 在其互联网应用中的部署位置。
我们还宣布拓展与 IBM 的合作，IBM 已选择 Cloudflare 为其云客户提供 AI 安全保障。此外，我们还将与 Wiz 合作，为双方客户提供统一的 AI 安全态势管理视图。
传统 Web 应用具有明确定义的操作：查询银行账户余额、进行转账。您可以编写确切的规则，保护这些交互性操作的安全。
AI 驱动型应用与智能体则不同。它们接受自然语言，然后生成不可预测的响应回复。由于输入和输出均基于概率，因此，它们没有一组固定的操作来允许或拒绝。攻击者可以操纵大语言模型，执行未经授权的操作或泄露敏感数据。提示词注入、敏感信息泄露和无限制消耗攻击只是 OWASP LLM 应用十大风险中列出的一部分。
随着 AI 应用升级为智能体，这些风险也会进一步加剧。如果 AI 获得工具调用的权限，则单个恶意提示词会立即引发安全事件，例如处理退款、修改账户、提供折扣或访问客户数据。
客户也告诉我们他们面临的各种挑战。“Newfold Digital 的大多数团队都部署了各自的生成式 AI 防护措施，但每个团队的创新速度如此之快，导致最终难免会出现一些防护漏洞，”Newfold Digital 首席系统架构师 Rick Radinger 表示，该公司负责运营 Bluehost、HostGator 和 Domain.com。
我们开发 AI Security for Apps 就是为了解决这个问题。作为 Cloudflare 反向代理的一部分，它位于 AI 驱动型应用的前端，无论您使用的是第三方模型还是托管自建模型。它可以帮助您：(1) 发现 Web 资产中的 AI 驱动型应用，(2) 检测针对这些端点的恶意或违规行为，以及 (3) 利用熟悉的 WAF 规则构建器缓解威胁。
您需要首先知道 LLM 驱动型应用的使用位置，然后才能保护此类应用。我们经常听到安全团队反映，他们无法全面了解应用中的 AI 部署情况，尤其是在 LLM 市场不断发展，以及开发人员置换模型和提供商的情况下。
AI Security for Apps 会自动识别 Web 资产中的 LLM 端点，无论其托管在何处或使用何种模型。从今天开始，所有 Cloudflare 客户（包括 Free、Pro 和 Business 计划）均可免费使用这项功能。
Cloudflare 的 Web 资产仪表板页面，显示 2 个标记为 cf-llm 的示例端点
自动发现这些端点需要执行比常见的路径模式（例如 /chat/completions）匹配更多的步骤。许多 AI 驱动型应用没有聊天界面，例如产品搜索、房产估价工具或推荐引擎。我们构建了一个检测系统，它关注端点的行为模式，而不是端点的名称。为了准确识别 AI 驱动型端点，需要足够的有效流量。
安全 → Web 资产 下会显示已发现的 AI 驱动型端点，并标记为 cf-llm。对于免费计划客户，首次导航浏览到发现页面时会启动端点发现功能。对于付费计划客户，发现功能会在后台定期自动启动。如果 AI 驱动型端点已被发现，则可以立即查看和审核。
AI Security for Apps 检测采用始终开启的方法，持续监测流向 AI 驱动型端点的流量。每个提示词都会经过多个检测模块，以检测提示词注入、个人可识别信息 (PII) 泄露，以及敏感或有害主题。无论提示词是否恶意，检测结果均可作为元数据附加到自定义 WAF 规则中，用于强制执行已设定的策略。我们正在不断探索如何利用 Cloudflare 全球网络（其为全球约 20% 的 Web 流量提供服务）来识别数百万个网站上的新型攻击模式，以防其到达您的网站。
产品内置了常见威胁检测功能，例如提示词注入、个人可识别信息 (PII) 提取以及有害主题。但是，每个企业对“禁区”的定义都各不相同。金融服务公司可能需要检测关于特定证券的讨论。医疗保健公司可能需要标记涉及患者数据的对话。零售商可能想要了解顾客何时询问竞争对手的产品。
新增的自定义主题功能允许您定义这些类别。指定主题后，我们的产品会检查提示词并输出相关性分数，您可以根据该分数来决定如何记录、阻止或处理。我们的目标是构建一个可扩展的工具，根据用例灵活调整以适应您的需求。
AI Security for Apps 中的提示词相关性分数
AI Security for Apps 会执行防护措施，阻止不安全的提示词到达您的基础设施。为了准确运行检测并提供实时保护，我们首先需要识别请求有效负载中的提示词。提示词可能位于请求正文中的任何位置，不同 LLM 提供商也采用不同的方式构建其 API。OpenAI 以及大多数提供商使用 $.messages[*].content 进行聊天补全。Anthropic 的批处理 API 将提示词嵌入 $.requests[*].params.messages[*].content。您的自定义房产估价工具可能使用 $.property_description。
我们提供开箱即用的支持，包括 OpenAI、Anthropic、Google Gemini、Mistral、Cohere、xAI、DeepSeek 等公司使用的标准格式。如果无法匹配已知模式，我们会应用默认的安全态势策略，并对整个请求正文运行检测。如果有效负载包含敏感但不直接输送给 AI 模型的字段，这可能会导致误报。例如，与实际提示词一起的 $.customer_name 可能会触发不必要的个人可识别 (PII) 检测。
不久之后，您将能够定义自己的 JSONPath 表达式，以准确告知我们在哪能找到提示词。这将减少误报并提高检测准确性。我们还将构建提示词学习功能，该功能会逐渐自动适应您的应用的结构。
识别到威胁并为其评分后，您可以使用 WAF 规则引擎来阻止、记录，或提供自定义响应，这些规则与已用于其余应用程序安全管理的规则相同。Cloudflare 共享平台的强大之处在于，您可以将 AI 特定信号与我们掌握的关于请求的所有其他信息相结合，这些信息由 WAF 中可用的数百个字段表示。提示词注入尝试是可疑活动。而来自一个一直在探测您的登录页面、使用与之前攻击相关的浏览器指纹，且通过僵尸网络轮换的 IP 地址的提示词注入尝试，则完全是另一回事。只能看到 AI 层的单点解决方案无法建立这些关联。
Radinger 表示，这种统一的安全层正是 Newfold Digital 公司发现、标记和保护 AI 端点需要的：“我们期待在所有这些项目中使用它，将其作为一道安全保障机制。”
我们还将通过 Cloudflare 不断扩展的生态系统提供 AI Security for Applications，包括与 IBM Cloud 集成。最终用户现在可以通过 IBM Cloud Internet Services (CIS)，获取高级应用安全解决方案，并直接通过其 IBM Cloud 账户进行管理。
我们还会与 Wiz 合作，将 AI Security for Applications 与 Wiz AI Security 联接起来，为双方客户提供统一的 AI 安全态势管理视图，涵盖从云端模型和智能体发现到边缘应用层防护。
AI Security for Apps 现已面向 Cloudflare Enterprise 客户推出。请立即联系客户团队以开始使用，或通过自助导览查看产品的实际运行。
如果是 Free、Pro 或 Business 计划客户，则可立即使用 AI 端点发现功能。登录仪表板并导航到安全 → Web 资产，查看已识别的端点。我们计划很快向所有客户免费提供 AI Security for Apps，敬请期待！
有关配置详细信息，请参阅我们的文档。