KI-Suche intelligenter gestalten

Search prägt die meisten Erlebnisse im Web. So erledigen wir Dinge, und so wird fast alles im Web gefunden – Creator, Händler, die Antwort auf das, was Sie gerade in ein Feld eingegeben haben. Fast 30 Jahre lang beruhte diese Discovery Journey auf einem einfachen Deal: Lassen Sie eine Suchmaschine Ihre Inhalte crawlen, und sie bringt Ihnen Besucher. Aus diesen Besuchern wurde ein Geschäftsmodell – durch Anzeigen, Abos oder schlicht durch das Publikum selbst. Auffindbar zu sein und bezahlt zu werden, war im Grunde dasselbe. Vor einem Jahr, am ersten Content Independence Day, haben wir eine rote Linie gezogen, um diesen Deal im KI-Zeitalter zu verteidigen. Aber eine rote Linie allein war nur der Anfang.. Seitdem ist KI-Search im Alltag der Verbraucher noch schneller gewachsen, während mehr als 50 % des Online-Traffics nicht menschlich sind. Die Bedrohung besteht nicht mehr nur aus ein paar Training-Crawlern, die man blockieren kann; sie liegt darin, dass Search selbst rund um KI-Antworten neu gebaut wird.

Answer Engines liefern heute oft direkt das, wofür Nutzer früher eine Website besucht hätten: Sie lesen die Seite, fassen sie zusammen und geben die Antwort sofort aus. Der Klick zur Quelle – und der Umsatz, der davon abhing – bleibt dadurch aus. Wir sehen das selbst, und unabhängige Forschung bestätigt es: Eine Studie des Pew Research Center aus dem Jahr 2025 zeigte, dass Nutzer bei einer Google-KI-Zusammenfassung nur in 8 % der Fälle auf ein klassisches Suchergebnis klickten, etwa halb so oft wie ohne Zusammenfassung. Links innerhalb der Zusammenfassung wurden nur in 1 % der Fälle angeklickt. Für unsere Kunden entsteht daraus eine unfaire Wahl: KI ausschließen und schlechter gefunden werden – oder KI zulassen, Nutzern erheblichen Wert liefern und immer weniger zurückbekommen. Sie wollen auffindbar sein und für ihren Beitrag vergütet werden. Heute müssen sie sich zwischen beidem entscheiden.

Mit den heute angekündigten neuen Bot-Optionen geben wir Kunden mehr Kontrolle darüber, wer ihre Website erreicht und wie Inhalte genutzt werden. Doch Kontrolle darf nicht beim Blockieren enden. „Nein“ zu sagen kann Inhalte schützen, aber es ersetzt nicht den Wert, der früher über Search zurückgeflossen ist. Jetzt geht es darum, diesen Austausch neu zu denken – und damit beim neuen Wirtschaftsmodell des Internets anzufangen.

Transparenz und Kontrolle sind wichtig, aber sie lösen noch nicht das ganze Problem. 2025 haben wir mit unseren Prinzipien für verantwortungsvolle KI-Bots festgelegt, was fairer Bot-Zugriff bedeuten sollte: Bots müssen klar offenlegen, wer sie sind, wofür sie kommen, die Entscheidungen von Website-Betreibern respektieren und fair handeln. Unsere Tools setzen diesen Anspruch durch. Aber selbst wenn Bots sich korrekt verhalten, entsteht dadurch noch kein besseres KI-Search-Erlebnis für Nutzer – und auch kein Geldfluss zu den Kreativen, deren Arbeit die Antworten möglich macht. Es reicht nicht, dem Web ein stärkeres „Nein“ zu geben. Wir müssen auch helfen, ein neues, faires „Ja“ zu schaffen.

Deshalb kündigen wir heute zwei Initiativen an, die nicht nur schützen, sondern den nächsten Schritt gehen: Sie sollen den alten Deal des Webs neu zusammensetzen – gefunden werden und dafür fairen Gegenwert erhalten.

KI-Search (KI-Suche) intelligenter machen: Unser globales Netzwerk zeigt uns, welche Inhalte aktuell sind, welche Qualität haben und was sich wirklich geändert hat. Diese Signale können Answer Engines helfen, bessere Inhalte auszuwählen und weniger unnötig zu crawlen. Personen, die suchen, erhalten bessere Antworten, während die Kosten für KI-Unternehmen und Website-Betreiber sinken, wenn Webseiten nur dann erneut gecrawlt werden, wenn sie sich geändert haben.

Kreative für den Wert vergüten, den sie schaffen: Wenn Inhalte genutzt werden, um jemandem eine Antwort zu geben, sollte auch etwas an diejenigen zurückfließen, die diese Inhalte geschaffen haben. Nicht nur Scraping ohne Gegenleistung. Kreative sollten außerdem nachvollziehen können, was verwendet wird und wonach Menschen fragen. Das sollte eine echte Einnahmequelle sein und neue Anreize schaffen, weiterhin hochwertige Originalinhalte zu veröffentlichen.

Heute starten wir ein Forschungsprogramm, um die KI-Suche smarter zu machen und zu verhindern, dass unsere Kunden die Rechnung für Crawls zahlen, die keinen neuen Wert schaffen.

Mehr als 20 % des Webs liegen hinter dem Netzwerk von Cloudflare. Dadurch sehen wir Muster, die andere nicht sehen: welche Seiten sich wirklich verändert haben und wohin Menschen und Agents tatsächlich strömen. In diesem Programm prüfen wir, wie sich Signale nutzen lassen, die unsere Kunden zur Aktualität ihrer Inhalte teilen möchten, und verbinden sie mit unseren eigenen Einblicken in Traffic-Flüsse – menschlich wie automatisiert. Für Answer Engines kann daraus eine Art Wegweiser zu hochwertigen Inhalten werden. Für unsere Kunden entsteht mehr Transparenz darüber, was Nutzer wirklich fragen und wie ihre Inhalte in KI-Ergebnissen erscheinen. Messen wollen wir vor allem zwei Dinge: wie stark diese Signale Answer Engines dabei helfen, frischere und hochwertigere Inhalte sichtbar zu machen, und wie viel unnötiges Crawling dadurch wegfällt.

Der zweite Effekt klingt nach Effizienz, ist aber in Wahrheit ein großer wirtschaftlicher Hebel. Cloudflare-Daten zeigen, dass mehr als 50 % des Crawl-Traffics von guten Bots dafür draufgehen, Seiten erneut abzurufen, obwohl sich dort nichts verändert hat. Und je stärker die Crawl-Volumina wachsen, desto größer wird dieses Problem. Wenn ein Signal zuverlässig sagt: „Hier gibt es nichts Neues“, kann der Crawler sich den Besuch sparen. Die Answer Engine spart Compute. Noch wichtiger: Website-Betreiber sparen Last, Kosten und Requests, die nie hätten entstehen müssen.

Das Programm ist bewusst neutral gebaut: Es soll mit jeder Answer Engine funktionieren, die fair mit dem Web umgehen will. Der Rahmen ist klar begrenzt: Es geht um Search, nicht um Training. Wir geben keine Inhalte weiter, und nichts davon wird genutzt, um Foundation Models zu trainieren. Was wir lernen, wollen wir öffentlich teilen – einschließlich der Vorteile für Website-Betreiber, etwa bessere Auffindbarkeit ihrer Inhalte und weniger Serverlast. Später in diesem Jahr wollen wir diese Funktion breit verfügbar machen und unnötiges Crawling in unserem Netzwerk deutlich reduzieren.

Im vergangenen Jahr haben wir Pay-per-Crawl eingeführt, damit Publisher KI-Unternehmen für Crawling zur Kasse bitten können. Das war ein wichtiger Anfang. Aber ein Crawl sagt nur begrenzt aus, welchen Wert ein Inhalt tatsächlich schafft. Eine Seite kann einmal abgerufen werden und danach in Tausenden Antworten auftauchen – oder immer wieder gecrawlt werden und am Ende nie genutzt werden. Kreative wollen nicht nach bloßer Aktivität bezahlt werden, sondern nach dem Wert, den ihre Arbeit wirklich liefert.

Deshalb bewegen wir Pay-per-Crawl jetzt weiter in Richtung Pay-per-Use. Gemeinsam mit führenden KI-Unternehmen wie Ceramic.ai und You.com testen wir, wie sich Nutzung statt bloßes Crawling vergüten lässt. Der Ansatz ist einfach: Organisationen bringen ihr eigenes Zahlungsmodell mit und können es über Cloudflare schnell auf Content-Owner im gesamten Netzwerk ausweiten.

Ceramic hat ein Modell entwickelt, das das Unternehmen „Pay-per-Query“ nennt. Publisher, die mitmachen, können vergütet werden, wenn ihre Inhalte in Ceramic-Suchergebnissen erscheinen. Die Vergütung orientiert sich damit stärker an echter Nutzung als an bloßen Abrufen.

„Damit KI-Suche wirklich skalieren kann, brauchen wir einen Partner mit enormer Reichweite und demselben Anspruch an Transparenz und faire Vergütung“, sagt Anna Patterson, Gründerin und CEO von Ceramic.ai. „Cloudflare hilft uns, unsere Prozesse einfach und programmatisch zu skalieren. Indem wir unser Pay-per-Query-Modell in das Cloudflare-Netzwerk bringen, können Millionen von Content-Ownern reibungslos teilnehmen und jedes Mal vergütet werden, wenn ihre Inhalte in unseren Suchergebnissen erscheinen.“

Das Cloudflare/Ceramic-Programm zahlt nicht nur Vergütung aus, sondern gibt Content-Ownern auch etwas, das bislang gefehlt hat: Sichtbarkeit darüber, wie ihre Inhalte in Answer Engines auftauchen. Neue AEO-Reports zeigen, welche Top-Anfragen Inhalte in Suchergebnissen erscheinen lassen, welche konkrete Seite und welches Snippet angezeigt werden, wo die Inhalte im Durchschnitt ranken und vieles mehr. Das ist der erste Baustein einer ganzen Produktreihe, mit der wir unseren Kunden helfen wollen, besser gefunden zu werden.

Das ist nur eine Richtung, in die sich der Markt gerade bewegt. You.com zeigt eine andere: Agents können genau dann zahlen, wenn sie ein bestimmtes Stück Premium-Content wirklich brauchen – ohne Vertrag, Vorabzusage oder langfristige Bindung. KI-Anbieter testen bereits verschiedene Vergütungsmodelle, von Pay-per-Query über Pay-per-Result bis zu weiteren Varianten. Wir haben die Infrastruktur, um sie alle möglich zu machen.

Wir wollen das offen einordnen: Das ist noch ein Experiment. Es gibt viel zu lernen – vor allem, ob dieses Modell auch dann trägt, wenn es auf die Größe und Komplexität des Internets trifft. Genau das werden wir gemeinsam mit unseren Partnern und Kunden herausfinden und teilen, was wir lernen. Die Richtung ist klar: KI-Suchunternehmen bekommen aktuellere, besser fundierte Antworten. Und die Kunden, deren Arbeit diese Antworten möglich macht, werden bezahlt, wenn sie dazu beitragen. Cloudflare stellt die Infrastrukturschicht bereit, auf der dieser Markt wachsen kann. 

Wir glauben, dass dieses Modell besser zu dem passt, wohin sich Search wirtschaftlich entwickelt. Früher war Search für Menschen gebaut: Sie sollte Zeit sparen, einen kurzen Überblick geben, zehn blaue Links anbieten und den Klick zur Quelle auslösen. Im agentenbasierten Internet funktioniert das anders. Agents lesen schnell, suchen ständig weiter und können für eine einzige Antwort Dutzende Suchvorgänge ausführen. Search wird dadurch weniger zu einem Ziel, das man besucht, und mehr zu einer dauerhaften Funktion, die im Hintergrund arbeitet. In dieser Welt ist nicht der Crawl entscheidend und auch nicht der Klick. Entscheidend ist das Ergebnis. Dieses Ergebnis zu bepreisen und die Menschen zu vergüten, die es möglich gemacht haben, ist der Weg, wie das Web weiter florieren kann.

Vor einem Jahr ging es am Content Independence Day vor allem darum, eine klare Grenze zu setzen: standardmäßig „Nein“ zu KI-Crawling ohne Vergütung. Dieses Jahr bauen wir die andere Seite aus – mit mehr Produkten und mehr Kontrolle, damit unsere Nutzer bewusst „Ja“ sagen können, wenn daraus echter Nutzen entsteht.

Die heutigen Ankündigungen sind nur der Anfang eines größeren Weges. Das Forschungsprojekt von Cloudflare soll zeigen, ob unsere Signale frischere, bessere Ergebnisse ermöglichen und gleichzeitig unnötiges Crawling reduzieren. Pay-per-Use ist ein vielversprechender nächster Weg, den wir mit Partnern erproben, die daran glauben, dass Kreative (Content Creator) für ihre Arbeit fair bezahlt werden sollten. So ist das Web schon immer gewachsen: nicht durch fertige Antworten, sondern durch Piloten, die aus einem kaputten Modell ein neues entstehen lassen. Wir glauben, dass unsere Kunden in dieser agentenbasierten Ära sichtbar sein und ihre Inhalte für größtmögliche Auffindbarkeit optimieren können sollten. Aber nicht um den Preis, ihre wertvollsten kreativen Assets gratis abzugeben.

Das Web verändert sich – und die Geschäftsmodelle, die es getragen haben, verändern sich mit. Das alte Internet war offen, neutral und ein Ort, zu dem beizutragen sich lohnte. Wir haben jetzt die seltene Chance, genau das zu bewahren und zugleich die Modelle zu bauen, die es künftig finanzieren. Bessere Antworten für Menschen und Agents, die Fragen stellen. Ein fairer Deal für diejenigen, deren Können, Kreativität und Einsatz diese Antworten überhaupt wertvoll machen. So verfolgen wir unsere Mission bei Cloudflare: ein besseres Internet zu schaffen.

Einen schönen Content Independence Day!

Sie bauen am offenen, agentenfähigen Web mit? Wenn Sie mehr über die Ceramic- und You-Programme erfahren möchten, füllen Sie bitte dieses Formular aus. Und wenn Sie eine Answer Engine entwickeln und smarter crawlen möchten, freuen wir uns ebenfalls darauf, von Ihnen zu hören: aeo@cloudflare.com.