Cloudflare 的 AI Security for Apps 可偵測並緩解對 AI 驅動應用程式的威脅。今天，我們宣布該服務正式上市。
我們隨這次推出新增了多項功能，例如針對自訂主題的偵測，並且我們將 AI 端點發現功能免費開放給每一位 Cloudflare 客戶，包括免費方案、Pro 方案和 Business 方案的使用者，讓每個人都能清楚掌握其面向網際網路的應用程式中，AI 被部署在哪些地方。
我們也同時宣布擴大與 IBM 的合作，IBM 已選擇由 Cloudflare 為其雲端客戶提供 AI 安全防護。此外，我們也與 Wiz 合作，為雙方共同的客戶提供統一的 AI 安全狀態檢視。
傳統的 Web 應用程式有明確的操作定義：例如查詢銀行帳戶餘額、進行轉帳。您可以撰寫確定性的規則來保護這些互動。
但 AI 驅動的應用程式和智慧體則不同。它們接受自然語言，並產生不可預測的回應。沒有固定的操作集合可以允許或拒絕，因為輸入和輸出都是機率性的。攻擊者可以操縱大型語言模型來執行未經授權的動作或洩露敏感資料。提示詞插入、敏感資訊揭露以及無限制的資源消耗，僅是 OWASP LLM 應用程式十大安全風險中所列舉的一部分風險。
當 AI 應用程式演變為智慧體時，這些風險會更加嚴峻。當 AI 獲得呼叫工具的能力（例如處理退款、修改帳戶、提供折扣或存取客戶資料），一個惡意的提示詞就會立即演變為一起安全事件。
客戶向我們分享了他們所面臨的挑戰。Newfold Digital（旗下經營 Bluehost、HostGator 和 Domain.com）的首席系統架構師 Rick Radinger 表示：「Newfold Digital 的大多數團隊都在採用各自的自動生成式 AI 安全防護措施，但每個人的創新速度都非常快，最終難免會出現一些漏洞。」
我們打造了 AI Security for Apps 來解決這個問題。無論您使用的是第三方模型還是自建模型，它都位於您的 AI 應用程式前端，作為 Cloudflare 反向代理的一部分執行。它能幫助您做到以下三點：(1) 發現您整個網路資產中的 AI 驅動應用程式，(2) 偵測針對這些端點的惡意或違反政策行為，以及 (3) 透過熟悉的 WAF 規則建立器來緩解威脅。
在您能夠保護由 LLM 驅動的應用程式之前，您需要先知道它們被用在哪些地方。我們經常聽到安全團隊反映，他們對自己應用程式中的 AI 部署情況沒有全盤的掌握，特別是在 LLM 市場不斷演進、開發人員頻繁更換模型和提供者的狀況下。
AI Security for Apps 會自動識別您所有網路內容中由 LLM 驅動的端點，無論這些端點託管在何處或使用何種模型。從今天開始，這項功能將免費提供給每一位 Cloudflare 客戶，包括免費方案、Pro 方案和 Business 方案的客戶。
Cloudflare 儀表板的網路資產頁面，顯示兩個標記為 cf-llm 的端點範例
要自動發現這些端點，不能僅靠比對 /chat/completions 之類常見的路徑模式。許多 AI 驅動的應用程式根本沒有聊天介面，例如產品搜尋、資產估價工具或推薦引擎。因此，我們建立了一個偵測系統，它檢視的是端點的行為，而不是它們的名稱。要能夠可靠地識別 AI 驅動的端點，需要有足夠的有效流量。
已發現的 AI 驅動端點會顯示在「安全性 (Security) → 網路資產 (Web Assets)」頁面下，並標記為 cf-llm。對於免費方案的客戶，當您首次導航到「發現 (Discovery)」頁面時，就會啟動端點發現功能。對於付費方案的客戶，發現功能會在背景自動定期執行。如果您的 AI 驅動端點已被發現，您可以立即對其進行審查。
AI Security for Apps 的偵測功能採用始終開啟的方式，針對流向您 AI 驅動端點的流量進行分析。每個提示詞都會經過多個偵測模組的檢查，以識別提示詞插入、PII 暴露以及敏感或有毒主題。偵測結果（也就是該提示詞是否為惡意）會以中繼資料的形式附加在請求上，您可以透過自訂的 WAF 規則使用這些中繼資料來強制執行您的政策。我們持續探索如何利用我們覆蓋約 20% 網路流量的全球網路，在攻擊模式到達您的網站之前，就先在數百萬個站點中識別出這些新型攻擊模式。
本產品內建了針對常見威脅的偵測功能：提示詞插入、PII 擷取以及有毒主題。但每家企業對於「禁忌範圍」都有自己的定義。金融服務公司可能需要偵測關於特定證券的討論；醫療保健公司可能需要標記涉及病患資料的對話；零售商則可能想知道顧客何時在詢問競爭對手的產品。
全新的自訂主題功能讓您可以定義這些類別。您指定主題，我們就會檢查提示詞並輸出相關性分數，您可以根據這個分數來決定要記錄、封鎖或採取其他處理方式。我們的目標是打造一個可擴充的工具，能夠靈活適應您的使用案例。
AI Security for Apps 中的提示詞相關性分數畫面
AI Security for Apps 能在不安全的提示詞到達您的基礎架構之前就強制執行防護措施。為了準確執行偵測並提供即時防護，我們首先需要在請求承載中識別出提示詞的位置。提示詞可能位於請求主體的任何地方，而且不同的 LLM 提供者對其 API 的結構設計也不盡相同。OpenAI 與多數提供者使用 $.messages[*].content 來處理聊天完成請求；Anthropic 的批次 API 則將提示詞嵌套在 $.requests[*].params.messages[*].content 中；而您自訂的資產估價工具可能會使用 $.property_description。
我們預設支援 OpenAI、Anthropic、Google Gemini、Mistral、Cohere、xAI、DeepSeek 等提供者所使用的標準格式。當我們無法比對到已知的模式時，會採用預設的安全狀態，並對整個請求主體執行偵測。然而，當承載內容中包含某些敏感欄位，但這些欄位並非直接輸入 AI 模型時（例如，在實際提示詞旁邊出現了一個 $.customer_name 欄位，可能會不必要地觸發 PII 偵測），這種做法可能會引入誤判。
不久之後，您將能夠定義自己的 JSONPath 運算式，明確告訴系統到哪裡尋找提示詞。這將能減少誤判，並實現更準確的偵測。我們同時也在建構一項提示詞學習能力，未來將能隨著時間自動適應您應用程式的結構。
識別出威脅並進行評分後，您就可以使用與應用程式其他安全防護相同的 WAF 規則引擎來予以封鎖、記錄或傳送自訂回應。Cloudflare 共用平台的優勢在於，您可以將 AI 專屬的訊號，與我們對該請求所知的所有其他資訊結合起來，這些資訊由 WAF 中可用的數百個欄位來表示。一次提示詞插入嘗試可能只是可疑行為；但如果提示詞插入嘗試來自一個一直在探測您登入頁面的 IP 位址，使用與先前攻擊相關的瀏覽器指紋，並透過殭屍網路進行輪換，那就是另一回事了。只看得見 AI 層的單點解決方案無法建立這些關聯。
Newfold Digital 的 Radinger 表示，這種統一的安全層正是他們用來發現、標記和保護 AI 端點所需要的：「我們期待將它用在所有專案上，作為一個故障安全機制。」
AI Security for Applications 也將透過 Cloudflare 持續成長的生態系統提供，包括透過與 IBM Cloud 的整合。透過 IBM Cloud Internet Services (CIS)，終端使用者已經可以採購先進的應用程式安全解決方案，並直接透過他們的 IBM Cloud 帳戶進行管理。
我們也與 Wiz 合作，將 AI Security for Applications 與 Wiz AI Security 連接起來，為雙方共同的客戶提供統一的 AI 安全狀態檢視，從雲端中的模型與智慧體發現，到邊緣端的應用程式層防護機制，一應俱全。
AI Security for Apps 現已開放給 Cloudflare 的 Enterprise 方案客戶使用。請聯絡您的客戶團隊以開始使用，或透過自助導覽體驗產品功能。
如果您使用的是免費方案、Pro 方案或 Business 方案，您現在就可以使用 AI 端點發現功能。登入您的儀表板並導航至「安全性 (Security) → 網路資產 (Web Assets)」，查看我們已識別出哪些端點。我們計劃很快將所有 AI Security for Apps 的功能提供給所有方案的客戶使用，請持續關注。
有關設定的詳細資訊，請參閱我們的文件。