搜尋驅動了網路上的大多數體驗。這是我們完成工作的方式，也是網路上幾乎所有事物被找到的方式——創作者、商家，以及您剛剛輸入到框中的任意問題的答案。近 30 年來，這段探索旅程始終建立在一個簡單的契約之上：讓搜尋引擎抓取您的內容，然後它為您帶來訪客。您再把這些訪客變成生意——透過廣告、訂閱，或者單純靠受眾本身。能被找到和能獲得報酬，在過去是同一回事。一年前，在首個內容獨立日，我們劃下界線，誓要在 AI 時代捍衛這份契約。然而，沙地上的界線僅是第一步。自那時起，AI 搜尋在消費者生活中的普及率只增不減，如今有超過 50% 的網路流量來自非真人訪客。眼前的威脅不再只是少數幾隻可以封鎖的訓練用爬蟲；而是搜尋本身正圍繞著 AI 產生的答案被徹底重構。
如今的「答案引擎」會讀取您的頁面並向使用者提供摘要，從而省去了使用者造訪原網頁的必要——這也意味著原本依賴造訪量的收入隨之流失。我們對此有切身體會，獨立研究也證實了這一點：Pew Research Center 2025 年的一項研究發現，當 Google 展示 AI 摘要時，使用者點擊傳統搜尋結果連結的比例僅為 8%（約為無摘要情況時的一半），而點擊摘要內連結的比例僅為 1%。這讓我們的客戶陷入了困境：要麼選擇退出 AI 搜尋而變得難以被發現，要麼選擇加入並為使用者提供巨大價值，卻只能獲得微薄的回報。我們的客戶希望被發現，並同時因其提供的價值獲得報酬，但眼下他們卻被迫在兩者間做出抉擇。
今天，我們宣布推出新的機器人控制選項，幫助客戶更好地掌控誰能存取其網站以及如何使用其內容。但封鎖只是第一步：「拒絕」雖能保護內容，卻無法重建支撐內容永續的商業模式。因此，是時候著手重建網際網路的新經濟模型了，就從搜尋開始。
透明度和控制權是基石，但我們還需要做得更多。2025 年，我們透過一套「負責任 AI 機器人原則」奠定了基礎：機器人應透明揭露其身分與用途、尊重網站擁有者的選擇，並秉持善意行事。我們的工具就是用這個標準來要求機器人。然而，僅僅約束機器人的行為，既無法提升 AI 搜尋對使用者的實際價值，也無法為那些促成搜尋結果的原創內容創作者帶來任何經濟回報。我們能做的，不只是幫助網路說「不」；我們還能幫助重建網路願意說「好」的基礎。
因此，今天我們宣布兩項計畫，將戰略從防守轉為進攻，著手將那份舊契約的兩半重新拼湊起來。
讓 AI 搜尋更智慧：透過我們在全球網路上看到的訊號（例如哪些內容是新鮮的、哪些是高品質的、哪些是真正有變化的），我們可以幫助答案引擎呈現最相關的內容，並減少不必要的爬取。搜尋的人能獲得更好的答案；同時，如果網頁只在有變動時才被重新爬取，AI 公司和網站擁有者的成本都能降低。
為創作者提供的價值付費：當您的作品被用來回答某人的問題時，您應該獲得獎勵，而不是白白被抓取。而且您應該能夠看到哪些內容被使用了、人們問了哪些問題。這應成為一項實際的收入來源，並激勵創作者持續產出值得被發現的優質原創內容。
今日，我們推出了一項研究計畫，旨在讓 AI 搜尋更聰明，並避免客戶為那些無法帶來新內容的抓取行為買單。
全球超過 20% 的網站受到 Cloudflare 網路的保護，這賦予了我們獨特的視角。我們能分辨哪些頁面真正變更過，以及哪些頁面受到使用者和智慧體的青睞。透過這項計畫，我們將利用客戶主動分享的內容更新狀態訊號，並將其與我們掌握的人類及機器人流量資料結合。對答案引擎而言，這是一張通往高品質內容的路線圖。對於客戶而言，這能讓他們瞭解使用者實際的查詢需求，以及自身內容在 AI 搜尋結果中的呈現情況。目標是衡量兩件事：這些訊號在多大程度上幫助答案引擎呈現更新鮮、更高品質的內容，以及它們能削減多少不必要的爬取。
削減不必要的爬取雖作為第二項好處，但其實際意義遠比聽起來更重要。Cloudflare 的數據顯示，來自良性機器人的爬取流量中，有超過 50% 是在重新抓取未曾變更的頁面——而且這個數字很可能會隨著爬取量的增加而攀升。一個只是說「這裡沒有變更」的訊號，就能讓爬蟲跳過這次造訪。這能為答案引擎節省運算資源。更重要的是，它也讓網站擁有者免於服務那些根本不必要的請求，從而省下相關成本。
這項計畫在設計上是中立的：我們的目標是讓它適用於每一個願意公平運作的答案引擎。它僅限於搜尋用途。我們不會分享任何內容，也不會將任何內容用於訓練基礎模型。我們計劃公開研究成果，包括對網站擁有者的好處，例如提升內容可發現性與減少伺服器負擔。我們計劃在今年稍晚廣泛提供這項功能，並減少我們網路上不必要的爬取。
去年，我們推出了依爬行次數付費，讓發佈者可以向 AI 公司收取爬取其內容的費用。這是個真正的開始，但爬取是一個粗略的價值衡量標準。單一頁面可能被爬取一次，然後在數千個答案中被引用；或者被反覆爬取，卻從未被使用過。創作者希望為他們提供的價值獲得公平的報酬。
因此，我們開始將「依爬行次數付費」轉變為「依使用次數付費」(Pay Per Use)。我們正與頂尖 AI 公司（如 Ceramic.ai 和 You.com）進行實驗，其合作架構相當直接：企業可將其付費模型帶入 Cloudflare 網路，並輕鬆地將規模擴展至廣大的內容擁有者。
Ceramic 建構了一套名為「依查詢次數付費」(pay-per-query) 的模型，選擇加入的發佈者，只要其內容出現在 Ceramic 的搜尋結果中，即可獲得報酬。這意味著，付費機制的設計是追隨作品所交付的價值，而非爬蟲偶然擷取的次數。
Ceramic.ai 創辦人暨執行長 Anna Patterson表示：「為了擴展 AI 搜尋的未來，我們需要一個具有廣泛觸及範圍且共同致力於透明度和公平補償的合作夥伴。Cloudflare 使我們能輕鬆且程式化地擴展營運。透過將我們的按查詢付費模式帶到他們的網路，我們確保數百萬內容擁有者可以無縫選擇加入，每當其內容出現在我們的搜尋結果中即可獲得報酬。」
除了補償之外，參與 Cloudflare/Ceramic 計畫的內容擁有者還將解鎖新的報告功能，以協助答案引擎最佳化 (AEO)。客戶終於可以看到促使其內容出現在搜尋結果中的熱門查詢、具體的網頁和摘要片段、他們的平均搜尋結果排名位置，以及更多資訊。這是我們將推出的眾多產品中的第一個，旨在協助我們的客戶提升可發現性。
這只是其中一種新興做法。另一個範例來自 You.com：智慧體可針對其所需的特定優質內容進行隨需付費，無需任何前期承諾。AI 提供者正在測試新的付費模式（例如依查詢次數付費、依結果付費等），而我們擁有支援所有這些模式的基礎架構。
我們坦誠地說明，這目前還是一項實驗。我們還有很多東西要學習，包括這些模式在網際網路規模下究竟表現如何。我們將與合作夥伴及客戶在實踐中共同探索，並分享我們的心得。但我們的目標很明確：AI 搜尋公司能獲得更新鮮、更可靠的答案，而那些貢獻了內容並促成這些答案的客戶，也能在提供幫助時獲得報酬。在此過程中，Cloudflare 的角色是提供能夠促進該市場繁榮的基礎架構層。
我們認為，這更符合搜尋經濟的未來走向。過去以人類為主的網路，其搜尋最佳化旨在節省時間——提供摘要、十條藍色連結與一次點擊。而自主式網際網路則截然不同：智慧體能夠快速閱讀並持續進行搜尋。搜尋正演變為智慧體為回答單一問題而進行的多次操作，與其說是一個目的地，不如說更像一種公用事業。在這個新世界裡，關鍵的衡量單位不再是爬取次數或點擊量，而是最終的「成果」。對成果進行定價，並向促成這些成果的人支付報酬，才是網路持續繁榮之道。
一年前的「內容獨立日」，標題是預設「拒絕」：未經補償，AI 不得爬取。今年，我們的重心轉向提供更多產品與控制權，讓使用者能夠選擇「接受」，並從中獲益。
今天的公告只是個開始。Cloudflare 正在進行一項研究專案，旨在驗證我們的訊號機制能否在減少爬取量的同時，帶來更優質的搜尋結果。「依使用次數付費」是一個充滿前景的方向，我們將與那些認同內容創作者應為其勞動獲得公平報酬的合作夥伴共同進行試驗。過去 30 年的網路發展歷程正是如此：透過一次次實驗，有人率先開展試點，將「舊模式行不通」轉變為「新模式已確立」。我們相信，在這個智慧體主導的新時代，使內容能夠被發現並針對最大化曝光而最佳化其內容，對客戶而言是有價值的；但他們不應被迫免費交出自己最寶貴的創意資產。
網路正在改變，它所依賴的商業模式也隨之改變。曾經的網際網路開放、中立，且值得人們為其貢獻內容。我們擁有難得的機會去維持這種特質，並建構支撐其未來的商業模式：既為提出問題的人類和智慧體提供更智慧的答案，又確保那些憑藉技能、創造力和投入讓答案變得有價值的人獲得公平回報。這就是我們追求 Cloudflare 使命的方式：協助建立更好的網際網路。
祝內容獨立日快樂！
正在一個開放且支援智慧體的網路上建構服務？如果您有興趣進一步瞭解 Ceramic 和 You 的計畫，請填寫此表單。如果您正在建構答案引擎並希望更智慧地爬取，我們也很樂意聽取您的意見：aeo@cloudflare.com。