Lesezeit: 6 Min.
Originalinhalte sind der Funke, der Gespräche und Neugier am Leben hält. Ohne sie könnten wir vorhandenes Material zwar endlos neu mischen und wieder ausgeben, doch frische Ideen, neue Perspektiven und echte Debatten würden nach und nach versiegen.
Website-Betreiber machen das Web zu einem Ort voller Ideen, Nachrichten und spannender Fundstücke. Gleichzeitig wird es für sie immer schwieriger zu entscheiden, welcher Traffic willkommen ist, welcher Kosten verursacht und wie sie für ihre Inhalte vergütet werden. Manche Bots sind eindeutig schädlich. Bei KI-Crawlern ist die Lage oft weniger klar: Bringen sie dem Geschäft etwas – oder zehren sie nur an seinen Grundlagen? Um das zu beurteilen, brauchen Website-Besitzer präzise, verlässliche Daten. Nur so lässt sich Traffic, der echten Wert schafft, von Traffic unterscheiden, der Ressourcen bindet und das Herz des Geschäftsmodells schwächt: echte Menschen, die Inhalte lesen, ansehen und nutzen.
Bei Cloudflare steht ein Grundsatz im Mittelpunkt: Website-Betreiber sollen selbst entscheiden können, wer auf ihre Inhalte zugreifen darf. Wir helfen ihnen dabei, hochwertige Inhalte zu schützen und KI-Traffic besser zu steuern.
Damit Website-Betreiber endlich klarer sehen und bessere Entscheidungen treffen können, stellen wir das neue Attribution Business Insights-Dashboard vor – entwickelt für Publisher und die Menschen, die geschäftlich über Inhalte, Traffic und Monetarisierung entscheiden.
Die neue Ökonomie des Internets
Jahrzehntelang funktionierte das Internet nach einem einfachen, unausgesprochenen Deal: Website-Betreiber öffneten ihre Inhalte für Suchmaschinen, und Suchmaschinen brachten im Gegenzug Leser zurück auf ihre Seiten. Diese Symbiose beruhte auf einem fairen Crawl-to-Referral-Verhältnis und lieferte die Pageviews, die Werbung, Affiliate-Erlöse und Abonnements finanzierten. Search-Index-Crawler scannten Ihre Inhalte einige Male für jeden zurückgeleiteten Referral, sodass klar war: Wer Crawler zuließ, konnte daraus zusätzliche Umsätze gewinnen. Das war die SEO-Ära (Search Engine Optimization).
Was das offene Web jahrzehntelang getragen hat, gerät durch KI-Crawler und Agenten massiv ins Wanken. Für die digitale Publishing-Branche ist daraus eine beispiellose Krise entstanden. Das Internet bewegt sich auf ein Zero-Click-Modell zu, in dem KI-Chatbots Originalinhalte abschöpfen, daraus sofort Antworten formulieren und die eigentlichen Quellen komplett umgehen. Die SEO-Ära allein reicht nicht mehr aus: AEO (Answer Engine Optimization) ist bereits Realität, und GEO (Generative Engine Optimization) bestimmt zunehmend die Gespräche.
Wie unausgewogen die neue Realität ist, lässt sich an den Crawl-to-Referral-Ratios im heutigen Internet klar ablesen. Früher standen Crawling und zurückgeleiteter Traffic bei Suchmaschinen noch in einem halbwegs fairen Verhältnis. Bei großen KI-Crawlern sieht das völlig anders aus: Sie schöpfen Inhalte in einem Maßstab ab, der kaum noch Besucher vermittelt. Rund um unseren Content Independence Day 2025 lagen die Ratios führender KI-Bots zwischen 118:1 und nahezu 50.000:1. Ein einziger vermittelter Besucher konnte also zehntausenden Abrufen Ihrer Premium-Inhalte gegenüberstehen. Das ist kein faires Verhältnis.
Für Publisher ist das ein doppelter Verlust: Sie verlieren den Traffic, die Ad-Impressions und die direkten Beziehungen zu ihrem Publikum, aus denen sich Inhalte und Journalismus finanzieren. Gleichzeitig zahlen sie immer mehr dafür, ihre Inhalte an automatisierte Bots auszuliefern, die ihnen keinen kommerziellen Gegenwert bieten. Die Zeit, in der man alle Crawler zuließ und einfach auf Sichtbarkeit hoffte, ist vorbei.
Wir stellen vor: Attribution Business Insights
Wir wollen Website-Betreibern zeigen, was wirklich passiert: welche Bots Traffic und Wert bringen – und welche Ressourcen verbrauchen oder dem Geschäft schaden. Dafür braucht es klare Zahlen. Attribution Business Insights ist darauf ausgelegt, diese Zahlen leichter verständlich zu machen und den Fokus auf die Details zu legen, die unsere Kunden für ihre Entscheidungen brauchen.
Das Attribution Business Insights-Dashboard steht ab sofort allen Cloudflare Bot Management-Kunden zur Verfügung. Es zeigt den Bot-Traffic auf Ihrer Website genau dort, wo er geschäftlich relevant wird. Statt sich wie bei klassischen Analytics-Tools erst durch manuelle Filter kämpfen zu müssen, sehen Sie die wichtigsten Erkenntnisse direkt.
Wir wollten die Unsicherheit rund um KI-Traffic greifbarer machen: Wie sollten Sie KI-Traffic auf Ihren Websites verstehen? Welche Zielgruppen liefern echten Wert – menschliche Besucher, Nicht-KI-Bots oder KI-Bots? Und am wichtigsten: Wie werden Ihre Daten verwendet?
Die neue Ansicht des Attribution Business Insights-Dashboards, die Einblicke in den gesamten Bot-Traffic, ein standortweites Crawl-to-Referral-Verhältnis sowie die Verteilung von KI-Bot-Traffic im Vergleich zu organischem Traffic umfasst.
Um diese Fragen zu beantworten, zeigt das Dashboard eine leistungsstarke Palette von Daten und Einblicken:
Bot-Traffic zu Inhaltsseiten: Sehen Sie Ihren gesamten Bot- vs. Menschentraffic sowie das Volumen aller Bots, die erfolgreich auf Inhalte zugreifen.
Crawl-to-Referral-Verhältnisse: Verstehen Sie, wie viel Crawling Ihrer Website wie viel Referral-Traffic gegenübersteht – über 24 Stunden, sieben Tage oder 30 Tage. Die gleiche Auswertung erhalten Sie auch je Bot-Betreiber, also je Unternehmen, dem ein oder mehrere Bots gehören.
Zusammenfassung der Top-Bots: Eine Liste der wichtigsten Bots nach Volumen, einschließlich ihres Herkunftslandes, der Bandbreite, die sie auf Ihrer Website beanspruchen, und ob Sie sie derzeit blockieren oder zulassen.
Aktualisierte Einordnung nach Crawler-Verhalten: Statt alles pauschal unter „AI Crawler“ einzuordnen, zeigen wir genauer, wofür ein Crawler tatsächlich eingesetzt wird – ob für Training, also das Trainieren der nächsten Version eines LLM-Chatbots, für Search, also das Aktualisieren von Datenbanken für Retrieval-Augmented Generation, oder als Agent, der in einer agentenbasierten Interaktion Antworten an Endnutzer liefert.
Von Daten zur Geschäftsstrategie
Man muss kein Sicherheitsexperte sein, um zu verstehen, wie KI-Crawler Ihr Geschäft beeinflussen. Wenn Website-Besitzer nur ein paar Minuten damit verbringen möchten, um die wichtigsten Einblicke zu gewinnen, können sie mit einem klaren Statusbericht über die Wirksamkeit ihrer Content-Security-Policy gehen.
Wer genauer verstehen will, wie KI-Unternehmen die eigenen Inhalte nutzen, kann tiefer einsteigen. Die Ansicht nach Bot-Betreiber zeigt mehr Details und hilft Website-Betreibern, besser zu entscheiden, wie sie ihre Beziehungen zu diesen Unternehmen künftig gestalten wollen.
Aufschlüsselung der Bot-Aktivität auf einer Website, mit wichtigen Details für jeden Bot wie Typ, Crawl-to-Referral-Verhältnis und aktuelle Aktion.
Wenn Sie sehen, welche Unternehmen auf Ihre Inhalte zugreifen wollen, entsteht ein klareres Bild davon, was bei Crawler-Aktivität normal ist – und was nicht. Genau diese Daten sollen Kunden in geschäftlichen Gesprächen stärken. Wenn Unternehmen1 zwanzigmal mehr crawlt als Unternehmen4, während Unternehmen4 bereits für Inhalte zahlt, ist das ein starkes Argument. Wenn Unternehmen2 Ihre Inhalte inzwischen anders nutzt, gibt es eine Grundlage, die Lizenzierung neu zu besprechen. Dieses Dashboard bringt solche Gespräche voran.
Wie passt diese neue Sichtbarkeit zu den Schutzmechanismen, die Sie bereits nutzen? Der nächste Schritt bleibt derselbe wie bei anderen Funktionen von Bot Management: Konkrete Aktionsschritte werden weiterhin in den Sicherheitsregeln umgesetzt. Attribution Business Insights soll die Kontrollebene nicht mit weiteren Schaltern überladen, sondern ein Ort für durchdachte, gefilterte Analysen sein. Dort sammeln Sie die Fakten, prüfen Muster und entscheiden anschließend in der bekannten Rule Engine, das auch andere Maßnahmen gegen Missbrauch steuert. Wichtig ist uns außerdem: Dieses Dashboard gehört nicht nur Security-Teams. KI-Traffic betrifft auch Geschäftsmodell, Monetarisierung und Partnerschaften – deshalb sollen Entscheidungstragende hier ausdrücklich mitarbeiten.
Was steht als Nächstes an?
Das Attribution Business Insights-Dashboard ist der nächste wichtige Schritt, damit Website-Betreiber besser sehen und steuern können, wie sich KI-Bot-Bedrohungen auf ihre Inhalte auswirken – und damit sie die neuen Spielregeln des Internets aktiv mitprägen. Gemeinsam mit engen Publishing-Partnern arbeiten wir bereits an der nächsten Ausbaustufe: einer Sichtbarkeitsebene, die Sicherheit aus Sicht derjenigen denkt, die wertvolle Originalinhalte veröffentlichen und schützen wollen.
Eine Vorschau unten enthält eine neue Ansicht, um die Crawler-Aktivität pro Artikel zu analysieren und das Interesse, das KI-Unternehmen an verschiedenen Inhalten, Kampagnen usw. haben, sichtbar zu machen.
Aufschlüsselung der beliebtesten Artikel nach Verkehrsvolumen. Zeigt wichtige Kennzahlen wie KI-Bot-Traffic im Vergleich zu anderem Bot-Traffic und menschlichem Traffic, sowohl direkt als auch von einer Referral-Quelle.
Sichtbarkeit ist der Anfang. Darauf bauen wir weiter auf, damit Website-Betreiber ihre Inhalte in dieser neuen Ära selbstbewusst steuern können. Alle Kunden von Cloudflare Bot Management – besonders diejenigen, die geschäftliche Gespräche rund um Inhalte, Traffic und KI führen – sollten das Dashboard ab heute nutzen und Analytics aus einer neuen Perspektive betrachten.