Ein Jahr nach dem ersten Content Independence Day: Aufbau des Geschäftsmodells für ein agentenbasiertes Internet

Vor einem Jahr haben wir den Content Independence Day ausgerufen. Damals konnten wir erkennen, was viele in der Branche bereits zu spüren begannen: Die wirtschaftlichen Grundlagen des Internets verschoben sich. Die Nutzung von KI beschleunigte sich, Publisher verzeichneten rapide Rückgänge beim Referral-Traffic, und KI-Unternehmen begannen, das Web in beispiellosem Ausmaß zu crawlen – oft ohne ihre Absicht klar offenzulegen und fast immer ohne Vergütung.

Wir haben die Standardeinstellungen geändert. Für alle neuen Domains auf Cloudflare werden Crawler für KI-Training künftig standardmäßig blockiert, sofern Domaininhaber nichts anderes festlegen. Nicht, um das Web abzuschotten, sondern weil wir überzeugt waren, dass ein gesünderes Ökosystem Transparenz, Kontrolle, Knappheit und letztlich einen Markt braucht, in dem hochwertige Inhalte fair bewertet und ausgetauscht werden können.

Ein Jahr später ist genau dieser Markt entstanden. Doch die Transformation des Internets hat sich noch schneller vollzogen, als wir erwartet hatten. In diesem Bericht stellen wir zentrale Datenpunkte vor, die zeigen, wie rasant sich das Geschäftsmodell des Internets verändert hat – und was dieser neue Content-Markt für Publisher und Website-Betreiber bedeutet.

KI ist nicht nur ein weiterer Technologiekreislauf. KI ist mehr als nur der nächste Technologiezyklus. Sie markiert einen Plattformwechsel, der sich mehr als doppelt so schnell vollzieht wie einst die Einführung von Smartphones. In nur 3,5 Jahren haben über 30 % der Menschheit – 2,5 Milliarden aktive Nutzer – begonnen, generative KI regelmäßig zu nutzen. Die Adoptionskurve ist nicht nur steil: Sie verläuft nahezu senkrecht.

Noch nie zuvor haben wir einen so schnellen Wandel in der Interaktion der Menschen mit Informationen, der Arbeitsweise und der Art und Weise, wie sie online Zeit verbringen, erlebt.

Die Art und Weise, wie Menschen das Internet nutzen, verändert sich grundlegend. Von jeder Stunde, die heute online mit der Suche nach Informationen verbracht wird, entfallen nur noch 15 Minuten auf das offene Web. Das klassische Suchverhalten bricht ein, während Nutzer ihre Suche und ihren Informationskonsum zunehmend auf KI-gestützte Systeme verlagern. Anstatt verschiedene Seiten zu besuchen, Quellen zu prüfen und Inhalte zu vergleichen, genügt ein Prompt – und die Antwort kommt fast unmittelbar, zusammengeführt und aufbereitet.

In diesem Jahr hat Agent-Traffic erstmals eine historische Schwelle überschritten: Mehr als 50 % des Internet-Traffics stammen inzwischen nicht mehr von Menschen. Dieser Wandel hat enorme Folgen für Publisher, Content-Eigentümer und die Zukunft des offenen Webs.

Betrachtet man die Crawler, die Cloudflare nach Zweck kategorisiert, zeigt die Zusammensetzung des Crawler-Traffics ein klares Bild:

• 52 % der Crawler-Anfragen entfallen im Juni 2026 inzwischen auf KI-Training – ein Anstieg gegenüber 22 % im Frühjahr 2025.

• Mixed-Use-Crawler – also solche, die Suche, Agentennutzung und Training kombinieren – machen über 36 % der Aktivität aus.

• Reines Such-Crawling macht inzwischen nur noch einen kleinen und weiter sinkenden Anteil der gesamten Crawler-Aktivität aus, bleibt aber entscheidend für die Sichtbarkeit von Verlagen.

Da KI-Training zu einem zentralen Treiber der Crawler-Aktivität wird, gewinnt die Unterscheidung zwischen Sichtbarkeit und Training immer mehr an Bedeutung. Mixed-Use-Crawler verwischen genau diese Grenze und bringen Content-Eigentümer in eine schwierige Lage: Sie stehen vor der Wahl: im agentenbasierten Zeitalter auffindbar bleiben – oder ihre wertvollsten Inhalte ohne Vergütung preisgeben.

Jahrzehntelang war das Wirtschaftsmodell des offenen Webs einfach. Content Creator tauschten den Zugang zu ihren Inhalten gegen Sichtbarkeit in Suchmaschinen ein, die im Gegenzug Referral-Traffic lieferten. Dieser Traffic wurde zum primären Mechanismus, über den Publisher, Kreative und Unternehmen wirtschaftlichen Wert generierten.

Heute jedoch bricht dieses Tauschmodell zunehmend auseinander. Inhalte werden nach wie vor gecrawlt, indexiert und verwendet – nur kommt immer weniger entsprechender Traffic bei der ursprünglichen Quelle an. KI-Systeme beantworten Fragen, vergleichen Produkte, recherchieren und erledigen Aufgaben direkt; dadurch werden Informationen aus dem offenen Web zunehmend Teil von KI-Trainings- und Retrieval-Systemen. Damit stellt sich eine grundlegende Frage: Wie können Content Creator langfristig bestehen, wenn ihre Inhalte konsumiert werden, ohne dass das Publikum jemals die Quelle besucht?

Zu den ersten Branchen, die die Auswirkungen spürten, gehörten Nachrichtenorganisationen und Medienunternehmen. Heute treffen ähnliche Dynamiken auch Unternehmen aus Retail, Software, IT und Finanzwesen. Einige der am stärksten gecrawlten Kategorien haben in weniger als einem Jahr einen Rückgang des menschlichen Traffics um bis zu 40 % verzeichnet.

Viele Publisher bereiten sich inzwischen auf das vor, was sie „Google Zero“ nennen – eine Welt, in der nur noch wenig bis gar kein Traffic mehr über Suchmaschinen-Verweise kommt.

Die Auswirkungen reichen im Grunde in jede Branche hinein. Jede Organisation, die proprietäre Informationen im Internet veröffentlicht, muss verstehen, wie sie im Zeitalter der Agenten bestehen kann. Diese Dynamik betrifft nicht nur Kreative, sondern uns alle. Das Internet ist ein zentraler Bestandteil der Weltwirtschaft und eine der wichtigsten öffentlichen Ressourcen, um Informationen zugänglich und auffindbar zu machen.. Dafür zu sorgen, dass es gesund und nachhaltig bleibt, ist im Interesse aller.

Als wir den Content Independence Day ins Leben riefen, verpflichteten wir uns zu drei Dingen:

1. Transparenz und Kontrolle für Website-Betreiber, damit sie festlegen können, wie auf ihre Inhalte zugegriffen wird und wie diese monetarisiert werden.

2. Tools, mit denen Knappheit entsteht und das Kräfteverhältnis wieder zugunsten der Content-Eigentümer verschoben wird.

3. Ein Marktplatz, auf dem Content Creator und KI-Unternehmen jeder Größe Inhalte effizienter entdecken, lizenzieren und ihren Wert bestimmen können.

Ein Jahr später ist ein Markt für monetarisierte Inhalte Realität – und die Voraussetzungen für einen dynamischen Marktplatz entstehen.

Lange Zeit hatten Publisher kaum Einblick darin, wie KI-Unternehmen ihre Inhalte abriefen und verwendeten. Mit dem Rückgang des Referral-Traffics wurde diese fehlende Transparenz zunehmend ein wirtschaftliches Problem, das Publisher dazu veranlasste, neue Wege zur Wertschöpfung zu suchen.

Mit den Cloudflare-Tools für Attribution, Business Intelligence und Enforcement erhielten Publisher erstmals Einblick in den KI-Konsum auf Netzwerkebene – und damit einen Durchsetzungsmechanismus, der deutlich wirksamer ist als freiwillige Standards wie robots.txt. Zum ersten Mal konnten Publisher bestimmen, wie auf ihre Inhalte zugegriffen und wie diese monetarisiert werden. Diese Kontrolle schuf Knappheit und brachte eine Content-Ökonomie aus Angebot und Nachfrage in Gang.

Publisher, die den Zugriff auf ihre Inhalte aktiv kontrollierten, konnten erfolgreich Knappheit schaffen und sich dadurch eine stärkere Verhandlungsposition sichern, die zu besseren Deals führte. Zum ersten Mal erhielten Publisher Attributionsdaten auf Ebene der Bot-Betreiber – also belastbare Hinweise darauf, wie oft LLMs versuchten, auf ihre Inhalte zuzugreifen, welche konkurrierenden LLMs ihre Inhalte crawlten, welche URLs besonders stark nachgefragt sind und wie ihre Crawl-to-Referral-Ratios aussehen. Das verringerte die Informationsasymmetrie in Lizenzgesprächen und ermöglichte es Publishern, auf Basis konkreter Daten zu verhandeln.

Diese Verhandlungsmacht hat unseren Kunden neue Stärke gegeben. Je klarer sie sehen, wie KI-Systeme ihre Inhalte abrufen und verwenden, desto besser können sie verstehen, was das für ihr Geschäftsmodell bedeutet – und desto überzeugender können sie den Wert ihrer Inhalte, ihrer Marke und ihrer aufgebauten Zielgruppen überzeugender darlegen.

Da sich das Machtverhältnis zwischen Content-Eigentümern und KI-Unternehmen zu verändern beginnt, entsteht eine Lizenzwirtschaft: 

• Seit 2023 wurden mehr als 50 Vereinbarungen zwischen Publishern und KI-Unternehmen unterzeichnet

• Große KI-Unternehmen lizenzieren inzwischen aktiv Inhalte und erkennen zunehmend den Wert differenzierter und hochwertiger Premium-Inhalte an.

• Kollektive Lizenzierungsmodelle entstehen und skalieren weiterhin.

• Große Publisher sichern sich bedeutende Lizenzvereinbarungen, was zeigt, dass Inhalte im KI-Ökosystem einen echten wirtschaftlichen Wert haben.

Die Diskussion dreht sich nicht mehr darum, ob Inhalte vergütet werden sollen, sondern wie.

Erste Lizenzvereinbarungen haben gezeigt, dass Nachfrage vorhanden ist. Gleichzeitig bleibt Lizenzierung heute individuell ausgehandelt und wird verlorene Referral-, Werbe- und Affiliate-Umsätze voraussichtlich nicht vollständig ersetzen. Deshalb optimieren Publisher zunehmend sowohl für die Nutzung durch KI-Systeme als auch für klassische menschliche Auffindbarkeit durch Menschen und prüfen parallel neue Wege der Monetarisierung.

Angebot und Nachfrage lassen sich weiterhin nur schwer effizient zusammenbringen. Zwar setzt sich zunehmend die Erkenntnis durch, dass Inhalte unterschiedlich wertvoll sind, doch wie dieser Wert bestimmt wird, ist weiterhin offen.

Keine Diskussion über diesen Markt ist vollständig, ohne die besondere Rolle von Google zu betrachten. Google bleibt das dominierende Tor zur Auffindbarkeit im Internet und steht für rund 88 % des Referral-Traffics. Gleichzeitig hilft Google Nutzern zunehmend dabei, Inhalte direkt in KI-Erlebnissen zu konsumieren, die Google selbst gehören.

Auffindbarkeit und Konsum verfolgen grundsätzlich verschiedene Ziele. Search bringt Nutzer zu den Inhalten, KI-gestützte Erlebnisse hingegen fassen Inhalte immer häufiger zusammen und nutzen sie weiter, ohne einen Besuch der ursprünglichen Quelle nötig zu machen. Website-Inhaber sehen diese Aktivitäten daher verschieden: Die eine bringt Traffic, die andere tritt zunehmend an dessen Stelle.

Diese Unterschiede werden besonders wichtig, wenn Website-Betreiber entscheiden, wer auf ihre Inhalte zugreifen darf und zu welchem Zweck. Die meisten führenden KI-Unternehmen trennen Discovery-Crawler (zur Auffindbarkeit) von Trainings-Crawlern, sodass Publisher relativ einfach Zugriff für den einen oder den anderen Zweck erlauben können. Google tut das nicht. Heute hat Google Zugriff auf etwa doppelt so viele Informationen wie führende KI-Unternehmen, weil Google einen Mixed-Use-Bot einsetzt, der es Kunden erschwert, am Google-Suchökosystem teilzunehmen, ohne gleichzeitig auch in das Google-KI-Ökosystem eingebunden zu werden.

Anders als andere KI-Anbieter schränkt der Mixed-Use-Crawler von Google auch die Transparenz für Website-Betreiber ein. Da Zugriffe für Discovery und KI-Nutzung in einem einzigen Crawler zusammengeführt werden, können Publisher nicht erkennen, warum Google auf ihre Inhalte zugreift, oder zwischen Traffic für die Suche und Traffic für KI-gestützte Angebote unterscheiden. Außerdem verlieren sie die Sichtbarkeit und Nachweise, die entstehen, wenn sich diese Aktivitäten auf Netzwerkebene unabhängig voneinander erlauben oder blockieren lassen.

Diese Dynamik hat die Nachfrage nach mehr Transparenz und Kontrolle sowie nach neuen Monetarisierungsmodellen beschleunigt, die sowohl Content-Eigentümern als auch KI-Unternehmen jeder Größe besser gerecht werden.

Cloudflare steht an der Schnittstelle der entstehenden agentenbasierten Wirtschaft.

Mehr als 20 % des Webs liegen hinter dem Netzwerk von Cloudflare. Von den meistbesuchten Websites der Welt setzen 36 % auf unser Netzwerk, und mehr als 40 % der Fortune 500 sind Kunden von Cloudflare. Fast 80 % der führenden KI-Unternehmen nutzen Cloudflare – ebenso wie Tausende Entwickler und aufstrebende KI-Unternehmen.

Diese einzigartige Position gibt uns Einblick in beide Seiten des Marktes. Wir sehen die Content-Eigentümer, die Inhalte erstellen, die KI-Unternehmen, die sie nutzen, und die Signale, die beide zunehmend miteinander verbinden. Aus dieser Perspektive konnten wir besonders genau beobachten, wie sich der Markt im vergangenen Jahr entwickelt hat – und was er jetzt braucht.

Da Publisher und KI-Unternehmen sich an eine neue agentenbasierte Wirtschaft anpassen, hat Cloudflare ein klareres Verständnis davon gewonnen, was das Ökosystem jetzt benötigt.

Content-Eigentümer brauchen zunehmend Transparenz und Kontrolle darüber, wer auf ihre Inhalte zugreift, wie diese genutzt werden und zu welchem Zweck. KI-Unternehmen erkennen immer stärker, dass Transparenz Vertrauen schafft und Reibung mit Publishern reduziert. Sichtbarkeit und Durchsetzung sind längst nicht mehr nur Sicherheitsthemen – sie sind zu geschäftskritischen Anforderungen geworden, die Lizenzverhandlungen und kommerzielle Entscheidungen direkt beeinflussen.

Um Transparenz zum Standard zu machen, investiert Cloudflare weiter in verbesserte Attribution, Messung und Publisher-Kontrollen, die Content-Eigentümern mehr Einblick und Kontrolle darüber geben, wie auf ihre Inhalte zugegriffen wird und wie sie genutzt werden.

Während sich die Branche in Richtung größerer Transparenz bewegt, sind wir überzeugt, dass verifizierbare Bot-Selbstidentifikation und klare Angaben zum Zweck des Crawlings grundlegend für ein nachhaltiges Ökosystem sind. Heute stammt noch immer mehr als ein Drittel der Crawler-Aktivität in unserem Netzwerk von Mixed-Use-Bots, bei denen Content-Eigentümer die Crawling-Absicht nicht unterscheiden können. Wir arbeiten aktiv mit dem Ökosystem zusammen und investieren in Tools, um diese Zahl bis zum gleichen Zeitpunkt im nächsten Jahr auf null zu senken.

Im vergangenen Jahr ist immer deutlicher geworden, dass KI-Unternehmen mehr brauchen als nur Zugang zu Inhalten. Sie benötigen bessere Wege, um zu bestimmen, worauf sie zugreifen sollten, wann dieser Zugriff sinnvoll ist und wie häufig sich Inhalte verändert haben. Undifferenziertes Crawling verschwendet Rechenleistung auf Seiten der KI-Unternehmen und erzeugt unnötige Bandbreitenlast für Publisher, wodurch die Effizienz im gesamten Ökosystem sinkt.

Wir sind überzeugt: Bessere Antworten setzen bessere Signale voraus. Deshalb investieren wir in Echtzeit-Signale zur Aktualität von Inhalten – ergänzt durch stärkere Vertrauens-, Qualitäts- und Relevanzsignale –, damit KI-Unternehmen hochwertige, relevante Informationen besser entdecken und zugleich unnötiges Crawling im Web reduzieren können.

Wir sind überzeugt, dass bessere Auffindbarkeit die Voraussetzung für bessere Preisbildung ist. Damit der Markt reifen kann, brauchen Publisher und KI-Unternehmen bessere Informationen übereinander. Deshalb investieren wir in umfassendere Market Intelligence, Content-Signale und Funktionen, die die Discovery zwischen beiden Seiten des Ökosystems verbessern – und so langfristig die Grundlage für skalierbarere Marktmechanismen schaffen.

Vor einem Jahr stand hinter dem Content Independence Day eine einfache Idee: Content-Eigentümer brauchen mehr Kontrolle darüber, wie KI-Unternehmen auf ihre Informationen zugreifen und sie einsetzen.

In den vergangenen zwölf Monaten hat genau diese Kontrolle zur Entstehung eines Marktes beigetragen. Transparenz schuf Knappheit. Knappheit schuf Verhandlungsmacht. Verhandlungsmacht beschleunigte die Lizenzierung. Was einst eine theoretische Diskussion über die Zukunft von KI und Content war, ist heute ein aktiver Markt, in dem Publisher, KI-Unternehmen und Technologieanbieter sich an neue wirtschaftliche Realitäten anpassen.

Der Markt tritt nun in eine neue Phase ein, die neue Infrastruktur erfordert. Während das Internet zunehmend agentenbasiert wird, müssen sich die zugrunde liegenden Systeme weiterentwickeln, um Berechtigungen, Lizenzierung und kommerzielle Transaktionen in großem Maßstab abzuwickeln. Content-Eigentümer und KI-Unternehmen brauchen effizientere Wege, um miteinander in Verbindung zu treten und Wert auszutauschen. Wir glauben, dass diese Fähigkeiten in programmierbaren, skalierbaren Mechanismen für Content-Discovery und Monetarisierung zusammenlaufen werden – mit weniger Reibung und neue, vielfältigere Formen des Werteaustauschs ermöglichen.

Die Rolle von Cloudflare besteht darin, die Infrastruktur und die Business-Intelligence-Funktionen aufzubauen und zu den Standards beizutragen, die es dem Markt ermöglichen, den Wert effizienter zu bestimmen und Publisher sowie KI-Unternehmen bei der Teilnahme an einer gesünderen, dynamischeren Content-Ökonomie zu unterstützen.

Das Internet hat sich schon immer weiterentwickelt. Diese Entwicklung ist schneller und folgenreicher als die meisten zuvor. Doch mit der richtigen Infrastruktur, den richtigen Anreizen und einem klaren Bekenntnis zu Transparenz kann das agentenbasierte Internet aus unserer Sicht nachhaltiger, effizienter und besser für alle werden.

Methodik: Die Daten in diesem Bericht stammen von Cloudflare Radar und der Cloudflare Investor Day 2026 Präsentation.

Cloudflare Radar ist eine zentrale Anlaufstelle für Einblicke in globale Internettraffic-, Angriffs- und Technologietrends. Radar basiert auf Daten aus dem globalen Netzwerk von Cloudflare und wurde entwickelt, um allen einen besseren Einblick darin zu geben, was im Internet aus Sicherheits-, Performance- und Nutzungsperspektive geschieht.

Der einzigartige Einblick von Cloudflare in das Internet stützt sich auf sein globales Netzwerk (eines der größten der Welt, das mehr als 330 Städte in mehr als 100 Ländern umfasst) und die aggregierten und anonymisierten Daten des öffentlichen DNS-Resolvers 1.1.1.1 von Cloudflare, der weithin als schnelle und private Möglichkeit zum Surfen im Internet genutzt wird. Mehr als 20 % des Webs wird über das Cloudflare-Netzwerk geschützt.