Lesezeit: 5 Min.
Im Rahmen von Project Galileo sind jetzt das Bot-Management und der AI Crawl Control-Dienst von Cloudflare verfügbar. Die Teilnehmer des Programms – darunter rund 750 Journalisten, unabhängige Nachrichtenorganisationen und andere gemeinnützige Organisationen, die Berichterstattung auf der ganzen Welt unterstützen – können ihre Websites ab sofort kostenlos vor KI-Crawlern schützen.
Im Rahmen von Project Galileo bietet Cloudflare wichtigen Akteuren der Zivilgesellschaft im Internet kostenlosen Schutz. Das Programm wurde 2014 ins Leben gerufen und deckt heute mehr als 3.000 Organisationen in 125 Ländern ab. Es war die Blaupause für weitere Cloudflare-Initiativen, die kostenlos zum Schutz von demokratischen Wahlen, öffentlichen Schulen und Gesundheitszentren sowie anderer Bereiche kritischer Infrastruktur beitragen.
Unserer Meinung nach profitieren alle Project Galileo-Teilnehmer von diesen zusätzlichen kostenlosen Diensten. Aber für Nachrichtenorganisationen sind sie aus unserer Sicht absolut unerlässlich.
Die Umstellung auf ein durch KI geprägtes Internet stellt sie vor große Herausforderungen – besonders, wenn sie auf lokaler Ebene tätig sind. Da zur Informationsbeschaffung allgemein zunehmend auf KI-Modelle zurückgegriffen wird, erreicht weniger Web-Traffic die Websites, von denen die gesuchten Informationen ursprünglich stammen. Das wird für Sektoren wie die Medienbranche, die für ihre Einnahmen auf Nutzer-Traffic angewiesen sind, zunehmend zur Gefahr.
Wenn Nachrichtenorganisationen einen größeren Überblick und stärkere Kontrolle darüber erhalten, wie KI-Crawler mit ihren Websites interagieren, können sie ihre Inhalte besser schützen. Außerdem erlaubt ihnen dies fundiertere Entscheidungen über die Zusammenarbeit mit KI-Unternehmen. In letzter Konsequenz wollen wir Nachrichtenorganisationen die Werkzeuge bereitstellen, die sie für das Aushandeln einer fairen Vergütung ihrer Arbeit brauchen.
Datenverkehr und die Medien
KI verändert die Datenverkehrsströme im Internet grundlegend. Aus kürzlich von Cloudflare veröffentlichten Daten geht hervor, dass es für Besitzer von Websites 750-mal schwieriger ist, mit Open AI die Menge an Datenverkehr zu erreichen, auf die sie bisher mit Google-Suchen gekommen sind. Mit Anthropic ist es sogar 30.000-mal schwieriger.
Nachrichtenorganisationen sind darauf angewiesen, dass Nutzer direkt auf ihr Online-Angebot zugreifen – nicht nur für den Austausch mit ihren Lesern, sondern auch, um Einnahmen aus Abonnements, Werbung, E-Commerce-Aktivitäten und Lizenzen zu erzielen. Der CEO der Financial Times hat kürzlich festgestellt, dass durch KI der von Artikeln generierte, von Suchmaschinen kommende Datenverkehr einen „ziemlich abrupten und anhaltenden Rückgang 25 bis 30 Prozent“ verzeichnet hat.
Für die Nachrichtenbranche kommen etwaige Einbußen bei Nutzer-Traffic und Einnahmen zu einem denkbar ungünstigen Zeitpunkt. Dass kleine, unabhängige Zeitungen und Nachrichtenradiosender insbesondere in den Vereinigten Staaten finanziell nach wie vor stark unter Druck stehen, ist gut dokumentiert. Laut einer Aussage vor dem US-Kongress zu Beginn des vergangenen Jahres wurde für 2024 mit der Einstellung von mehr als zwei Zeitungen pro Woche und vor Anfang 2025 mit dem Aus eines Drittels aller Zeitungen des Landes gerechnet. In einem Bericht der Northwestern Local News Initiative aus dem Jahr 2024 hieß es, dass mehr als 206 Counties in den USA über keine eigene lokale Nachrichtenquelle verfügten und 1.561 nur über eine.
Die Corporation for Public Broadcasting und das National Public Radio, die Zuschüsse, Programme und andere Unterstützung für öffentlich-rechtliche Nachrichtensender in den USA bereitstellten, sind vor kurzem durch Kürzungen noch stärker unter Druck geraten, weshalb weitere Schließungen erwartet werden.
Den Journalisten die Kontrolle zurückgeben
Journalisten und Nachrichtenorganisationen müssen sich an das KI-gestützte Web anpassen. Ein wichtiger erster Schritt, um sie dabei zu unterstützen, ist die Bereitstellung von Werkzeugen, die ihnen bei der Aufsicht und Kontrolle über den Zugriff von KI-Modellen auf ihre Inhalte helfen.
„In einer von KI und digitalen Umbrüchen geprägten Zeit sind robuste Tools für unabhängige Medien nicht einfach nur eine Hilfe, sondern ein Rettungsanker.“ – Meera Selva, CEO von Internews Europe
„Unabhängige Publisher und Verlage brauchen benutzerfreundliche und erschwingliche Werkzeuge, damit sie sich auf den Ausbau ihres Geschäfts konzentrieren können. LION schätzt die Sicherheit und den Schutz, den Cloudflare unseren Mitgliedern seit Jahren durch Project Galileo bietet. Wir freuen uns, dass nun mehr Ressourcen zur Verfügung stehen, um den Mitgliedern beim Umgang mit der sich schnell verändernden digitalen Sicherheitslandschaft zu helfen.“ – Sarah Gustavus Lim, Membership Director von LION
Das Bot-Management und die AI Crawl Control-Lösung von Cloudflare wurden für genau dafür entwickelt. Beim Bot-Management handelt es sich um ein Sicherheitstool, das mithilfe von maschinellem Lernen den Internet-Datenverkehr analysiert und gutartige Bots wie Suchmaschinen-Crawler von Schadbots unterscheidet, die Websites angreifen oder Anmeldedaten stehlen. Schädliche Bots können so von Websites ferngehalten werden, während nützliche Bots weiterhin in der Lage sind, ihre Aufgaben zu erfüllen.
AI Crawl Control bietet ähnliche Werkzeuge zur Identifizierung und Verwaltung von KI-Crawlern. Cloudflare setzt verschiedene Verfahren zur Identifizierung und Kategorisierung von Crawlern ein (wie HTTP-Header, Heuristiken und andere Verhaltensweisen). Das erlaubt es Website-Betreibern, die Bot-Aktivitäten anhand des Typs (z. B. KI-Suche, KI-Scraper), Ursprungs (Google, OpenAI, Anthropic usw.) und der Inhalte, auf die zu zugreifen, zu analysieren. Folgende Arten von Daten kann das Cloudflare-Tool AI Crawl Control (mit der Domain radar.cloudflare.com) liefern:
Bei Cloudflare werden diese Informationen mit benutzerfreundlichen Kontrollmöglichkeiten kombiniert. Das hilft Website-Betreibern bei der Entscheidung darüber, ob sie ihre Daten zur Verfügung stellen. Sie können sie auch nur für bestimmte Arten von Bots oder für einzelne KI-Unternehmen freigeben. Eine Lokalzeitung könnte damit beispielsweise entscheiden, alle KI-Crawler zu sperren und weiterhin nur direkt über ihre Website mit ihren Lesern zu kommunizieren. Sie könnte aber auch nur KI-Scraper blockieren, KI-basierte Suchmaschinen-Crawler, die Verweise auf die Website erlauben, jedoch zulassen. Oder sie könnte einem einzigen KI-Unternehmen gegen ein zuvor ausgehandeltes Entgelt exklusiven Zugang zu ihren Inhalten ermöglichen. Die folgende Abbildung zeigt, wie mit AI Crawl Control der Zugriff für jeden Crawler individuell freigegeben oder gesperrt werden kann:
Unserer Meinung nach wird die Möglichkeit zur Kontrolle und Überwachung der Aktivitäten von KI-Crawlern Nachrichtenorganisationen unmittelbar helfen, die ihre Inhalte schützen und sich ein Bild von der Verwendung ihrer Daten durch KI-Modelle machen möchten.
Außerdem sind wir der Auffassung, dass die dadurch ermöglichten langfristigen Einblicke Nachrichtenorganisationen zu gegebener Zeit in die Lage versetzen werden, für beide Seiten vorteilhafte Vereinbarungen mit KI-Unternehmen auszuhandeln.
„Damit unabhängige Medien korrekt über das Geschehen berichten, vertrauenswürdige Informationen verbreiten und so ihre Rolle in der Demokratie erfüllen können, müssen sie in der Lage sein, ohne Einfluss durch Politik oder Wirtschaft Geld zu verdienen. Durch Überwachung und Monetarisierung der Crawler-Aktivitäten auf ihren Websites können sie ihr geistiges Eigentum schützen und sich gleichzeitig neue Einnahmequellen zur Finanzierung ihres Qualitätsjournalismus erschließen.“ – Ryan Powell, Head of Innovation and Media Business beim International Press Institute
Für den Erhalt einer freien Presse
Journalismus gehört zu den Grundfesten freier Gesellschaften und demokratischer Regierungsführung. Er trägt dazu bei, die Mächtigen zur Verantwortung zu ziehen, und gibt den Marginalisierten und Unterrepräsentierten eine Stimme. Außerdem schützt er freie und offene Märkte, die es Start-ups ermöglichen, mächtige etablierte Unternehmen herauszufordern.
Insbesondere lokalen Nachrichtenorganisationen kommt eine identitätsstiftende Bedeutung zu: Sie bieten nicht nur Berichterstattung über Veranstaltungen, Schulsport, Wochenmärkte und neue Unternehmen in einer Gemeinde oder Region, sondern fungieren auch als Garant für fundamentale Transparenz und Kontrolle bezüglich Staatsdienern, Schulbehörden, Ereignissen mit Bezug zur öffentlichen Sicherheit und Wahlen.
Cloudflare hatte schon immer das Ziel, Journalisten und Nachrichtenorganisationen online zu schützen. Wir sehen dies als maßgeblich für unsere Geschäftstätigkeit und die Zukunft des Internets an.
Melden Sie sich jetzt an, um mehr über Project Galileo zu erfahren. Wenn Sie einen Beitrag zu einem besseren Internet leisten wollen, sind Sie bei uns an der richtigen Adresse.