Das Backbone der Connectivity Cloud von Cloudflare

Die moderne Verwendung des Begriffs „Cloud“ geht wohl auf das Wolken-Symbol zurück, das in Netzwerkdiagrammen seit Jahrzehnten allgegenwärtig ist. Eine Cloud wurde verwendet, um die umfangreichen und komplexen Infrastrukturkomponenten darzustellen, die für die Bereitstellung von Netzwerk- oder Internetdiensten erforderlich sind, ohne auf die zugrunde liegenden Komplexitäten einzugehen. Bei Cloudflare verkörpern wir dieses Prinzip, indem wir Lösungen für kritische Infrastrukturen auf eine benutzerfreundliche und leicht zu bedienende Weise bereitstellen. Unser Logo mit dem Wolken-Symbol spiegelt unser Engagement wider, die Komplexität der Internetinfrastruktur für alle unsere Benutzer zu vereinfachen.

Dieser Blog-Beitrag bietet aktuelle Informationen zu unserer Infrastruktur, wobei der Schwerpunkt auf unserem globalen Backbone im Jahr 2024 liegt. Zudem werden die Vorteile für unsere Kunden, unser Wettbewerbsvorteil am Markt und die Auswirkungen auf unsere Mission, ein besseres Internet zu schaffen, beleuchtet. Seit unserem letzten Blog-Beitrag zum Thema Backbone im Jahr 2021 haben wir unsere Backbone-Kapazität (Tbit/s) um mehr als 500 % erhöht und so neue Anwendungsfälle sowie Vorteile in Bezug auf Zuverlässigkeit und Performance für alle unsere Kunden erschlossen.

Mit Stand Juli 2024 verfügt Cloudflare über Rechenzentren in 330 Städten und mehr als 120 Ländern, die alle mit Geräten und Diensten von Cloudflare betrieben werden. Unverändert bleibt das Ziel, Cloudflare-Produkte und -Dienstleistungen überall bereitzustellen, auch wenn sich die einzelnen Rechenzentren hinsichtlich der Anzahl der Server und der Rechenleistung unterscheiden.

Diese Rechenzentren sind strategisch auf der ganzen Welt verteilt, um unsere Präsenz in allen wichtigen Regionen sicherzustellen und unseren Kunden bei der Einhaltung lokaler Vorschriften zu helfen. Es handelt sich um ein programmierbares intelligentes Netzwerk, bei dem Ihr Datenverkehr zur Verarbeitung an das bestmögliche Rechenzentrum weitergeleitet wird. Diese Programmierbarkeit ermöglicht es uns, sensible Daten mit unseren Data Localization Suite-Lösungen regional und innerhalb der von unseren Kunden vorgegebenen Einschränkungen zu halten. Die Vernetzung dieser Standorte, der Datenaustausch mit Kunden, Public Clouds, Partnern und dem Internet im Allgemeinen ist die Aufgabe unseres Netzwerks, das von unseren Teams für Infrastrukturtechnik und Netzwerkstrategie verwaltet wird. Dieses Netzwerk bildet die Grundlage für die blitzschnelle Geschwindigkeit unserer Produkte, gewährleistet unsere globale Zuverlässigkeit, Sicherheit für jede Kundenanfrage und hilft unseren Kunden bei der Einhaltung der Anforderungen an Datenhoheit.

Das Internet ist ein Verbund verschiedener Netzwerke und separater autonomer Systeme, die durch den Austausch von Daten miteinander funktionieren. Es gibt mehrere Möglichkeiten, Daten auszutauschen, aber der Einfachheit halber konzentrieren wir uns auf zwei wichtige Methoden, wie diese Netzwerke kommunizieren: Peering und IP-Transit. Um die Vorteile unseres globalen Backbones besser zu verstehen, ist es hilfreich, diese grundlegenden Konnektivitätslösungen zu verstehen, die wir in unserem Netzwerk verwenden.

1. Peering: Die freiwillige Zusammenschaltung von administrativ getrennten Internet-Netzwerken, die den Traffic-Austausch zwischen den Benutzern einzelner Netzwerke ermöglicht, wird als „Peering“ bezeichnet. Cloudflare ist eines der Netzwerke mit den meisten Peering-Verbindungen weltweit. Wir haben Peering-Vereinbarungen mit ISPs und anderen Netzwerken in 330 Städten und an allen wichtigen Internet-Knoten (Internet Exchanges, IXs). Interessierte können sich jederzeit bei uns für Peering registrieren, oder sich mit einer Verbindung über eine private Netzwerkverbindung (Private Network Interconnect, PNI) direkt mit unserem Netzwerk verbinden.

2. IP-Transit: Ein kostenpflichtiger Dienst, der es ermöglicht, den Datenverkehr über das Netzwerk eines anderen Anbieters zu leiten oder zu „durchqueren“, wobei in der Regel ein kleinerer Internet Service Provider (ISP) mit dem größeren Internet verbunden wird. Stellen Sie sich das so vor, als würden Sie eine Mautgebühr für die Auffahrt mit Ihrem Auto auf eine Privatautobahn zahlen.

Das Backbone ist ein dediziertes leistungsstarkes Glasfasernetzwerk, das den Traffic zwischen den globalen Rechenzentren von Cloudflare überträgt, wo wir uns mit anderen Netzwerken über die oben genannten Methoden zum Datenaustausch verbinden. Dadurch sind Datenübertragungen möglich, die zuverlässiger sind als über das öffentliche Internet. Für die Konnektivität innerhalb einer Stadt und für Fernverbindungen verwalten wir unsere eigene Darkfiber- oder mieten Wellenlängen mit Dense Wavelength Division Multiplexing (DWDM). DWDM ist eine Glasfasertechnologie, die die Netzwerkkapazität erhöht, indem mehrere Datenströme gleichzeitig auf verschiedenen Wellenlängen des Lichts innerhalb derselben Glasfaser übertragen werden. Das ist vergleichbar mit einer Autobahn mit mehreren Fahrspuren, sodass mehr Autos auf derselben Autobahn fahren können. Wir kaufen und mieten diese Dienste von unseren globalen Carrier-Partnern auf der ganzen Welt.

Ein globales Backbone zu betreiben ist eine Herausforderung, weshalb viele Wettbewerber dies nicht machen. Wir nehmen diese Herausforderung aus zwei Hauptgründen an: Kontrolle des Traffic-Routings und Kosteneffizienz.

Beim IP-Transit verlassen wir uns darauf, dass unsere Transitpartner den Datenverkehr von Cloudflare zum endgültigen Zielnetzwerk transportieren, wodurch eine unnötige Abhängigkeit von Drittanbietern entsteht. Im Gegensatz dazu gibt uns unser Backbone die volle Kontrolle über das Routing unseres internen und externen Traffics, sodass wir ihn effektiver verwalten können. Diese Kontrolle ist äußerst wichtig, da wir damit die Übertragungswege des Traffics optimieren können, was in der Regel zu den Pfaden mit der geringsten Latenz führt, wie bereits erwähnt. Außerdem sind die Kosten für die Bereitstellung großer Datenverkehrsmengen über das Backbone im Durchschnitt kostengünstiger als für den IP-Transit. Deshalb erweitern wir unsere Backbone-Kapazitäten in Regionen wie Frankfurt, London, Amsterdam sowie Paris und Marseille, wo wir ein kontinuierliches Wachstum des Traffics verzeichnen und wo Konnektivitätslösungen weit verbreitet und zu wettbewerbsfähigen Preisen verfügbar sind.

Unser Backbone verarbeitet sowohl internen als auch externen Traffic. Der interne Traffic umfasst Kunden-Traffic, der unsere Sicherheits- oder Performance-Produkte verwendet, sowie Traffic aus internen Systemen von Cloudflare, die Daten zwischen unseren Rechenzentren übertragen. Tiered Caching optimiert beispielsweise unsere Zwischenspeicherung, indem es unsere Rechenzentren in eine Hierarchie von untergeordneten und übergeordneten Ebenen aufteilt. Verfügen die Rechenzentren der unteren Stufe nicht über die entsprechenden Inhalte, fordern sie diese bei den übergeordneten Rechenzentren an. Wenn die übergeordneten Ebenen diesen ebenfalls nicht haben, fordern sie ihn vom Ursprungsserver an. Dieser Prozess reduziert die Zahl der Anfragen an den Ursprungsserver und verbessert die Effizienz des Cache. Die Nutzung unseres Backbones für die Übertragung der Cache-Inhalte zwischen den unter- und übergeordneten Rechenzentren und dem Ursprungsserver ist angesichts der Größe unseres Netzwerks oft die kostengünstigste Methode. Magic Transit ist ein weiteres Beispiel, bei dem wir den Datenverkehr mittels BGP Anycast zu dem Cloudflare-Rechenzentrum leiten, das dem Endbenutzer am nächsten liegt und unsere DDoS-Lösung implementiert. Unser Backbone leitet den gefilterten Traffic zum Rechenzentrum unserer Kunden, die diese über ein Cloudflare-Netzwerk Interconnect (CNI) verbinden.

Der externe Traffic, den wir über unser Backbone übertragen, kann von anderen Originanbietern wie AWS, Oracle, Alibaba, Google Cloud Platform oder Azure stammen, um nur einige zu nennen. Die Antworten von diesen Cloud-Providern werden über Peering-Punkte und unser Backbone an das Cloudflare-Rechenzentrum übermittelt, das unserem Kunden am nächsten liegt. Dadurch, dass wir unseren Backbone nutzen, haben wir mehr Kontrolle darüber, wie wir diesen Traffic durch unser Netzwerk zurückleiten, was zu mehr Zuverlässigkeit, besserer Performance und geringerer Abhängigkeit vom öffentlichen Internet führt.

Unser Backbone bildet ein sehr wichtiges Bindeglied zwischen Public Clouds, Rechenzentren, Büros, dem Internet und unserem Netzwerk, mit einer Ebene aus Sicherheit, Performance, Programmierbarkeit und Transparenz. All dies bildet das Fundament unserer Connectivity Cloud.

_{Diese Karte ist eine Vereinfachung unseres derzeitigen Backbone-Netzwerks und zeigt nicht alle Pfade an}

Wie in der Einleitung erwähnt, haben wir unsere Backbone-Kapazität (Tbit/s) seit 2021 um mehr als 500 % erhöht. Mit der Erweiterung der Kapazität von Unterseekabeln für Afrika haben wir 2023 einen großen Meilenstein erreicht, indem wir unseren globalen Backbone-Ring vervollständigt haben. Es erreicht nun sechs Kontinente über Glasfaser- und Unterseekabel.

Der Ausbau unseres Backbones in Regionen, in denen die Internetinfrastruktur im Vergleich zu Märkten wie Mitteleuropa oder den USA weniger entwickelt ist, war eine Schlüsselstrategie für unsere jüngsten Netzwerkerweiterungen. Mit regionalen ISP-Partnern haben wir das gemeinsame Ziel, unseren Datenfluss zu lokalisieren und so nah wie möglich am Endbenutzer zu halten. Der Traffic nimmt aufgrund des Mangels an ausreichender lokaler Peering- und regionaler Infrastruktur oft ineffiziente Routen außerhalb der Region. Dieses Phänomen, das als „Traffic Tromboning“ („Posaunen-Effekt“) bekannt ist, tritt auf, wenn Daten über kostengünstigere internationale Routen und bestehende Peering-Vereinbarungen geleitet werden.

Unsere regionalen Backbone-Investitionen in Ländern wie Indien oder der Türkei zielen darauf ab, den Bedarf an solch ineffizientem Routing zu verringern. Mit unserem eigenen regionalen Backbone kann Traffic direkt zwischen Cloudflare-Rechenzentren in Ländern geleitet werden, z. B. von Mumbai über Neu-Delhi nach Chennai, wodurch die Latenz verringert, die Zuverlässigkeit erhöht und die gleiche Servicequalität wie in stärker entwickelten Märkten bereitgestellt wird. Wir können kontrollieren, dass Daten lokal bleiben, und unterstützen unsere Data Localization Suite (DLS), die Unternehmen bei der Einhaltung lokaler Datenschutzgesetze hilft, indem sie kontrolliert, wo ihre Daten gespeichert und verarbeitet werden.

Diese strategische Expansion hat nicht nur unsere globale Reichweite erweitert, sondern auch unsere Gesamtlatenz erheblich verbessert. Ein Beispiel dafür ist die Tatsache, dass wir seit der Einführung unseres Backbones zwischen Lissabon und Johannesburg eine erhebliche Performanceverbesserung für Nutzer in Johannesburg feststellen konnten. Zu den Kunden, die von dieser verbesserten Latenz profitieren, gehören beispielsweise Finanzinstitute, die ihre APIs für den Echtzeit-Handel über uns laufen lassen, wobei Millisekunden sich auf das Trading auswirken können, oder unsere Magic WAN-Nutzer, denen wir die Standort-zu-Standort-Konnektivität zwischen ihren Zweigstellen ermöglichen.

Die obige Tabelle zeigt ein Beispiel, für das wir die Round-Trip Time (RTT) für einen nicht zwischengespeicherten Abruf vom Ursprung von einem Endnutzer in Johannesburg zu verschiedenen Ursprungsorten gemessen haben, wobei wir unser Backbone und das öffentliche Internet verglichen haben. Durch die Übertragung der Ursprungsanfrage über unser Backbone, im Gegensatz zu IP-Transit oder Peering, erhalten lokale Benutzer in Johannesburg ihre Inhalte bis zu 22 % schneller. Indem wir unser eigenes Backbone verwenden, um den Traffic über große Entfernungen zu seinem endgültigen Ziel zu leiten, haben wir die vollständige Kontrolle über den Pfad und die Performance. Diese Verbesserung der Latenzzeit variiert je nach Standort, zeigt aber durchweg die Überlegenheit unserer Backbone-Infrastruktur bei der Bereitstellung von Hochleistungsverbindungen.

Stellen Sie sich ein Navigationssystem vor, das 1) GPS zur Ermittlung der Route und 2) eine Autobahnvignette verwendet, die bis zu Ihrem endgültigen Ziel gültig ist und es Ihnen ermöglicht, ohne Anhalten direkt durch die Mautstationen zu fahren. Unser Backbone funktioniert ganz ähnlich.

Unser globales Backbone beruht auf zwei wichtigen Säulen. Das erste ist BGP (Border Gateway Protokoll), das Routing-Protokoll für das Internet, und das zweite ist Segment Routing MPLS (Multiprotocol Label Switching), eine Technik zur Steuerung des Datenverkehrs über vordefinierte Weiterleitungspfade in einem IP-Netzwerk. Standardmäßig bietet Segment Routing eine End-to-End-Kapselung von Eingangs- zu Ausgangsroutern, bei dem die Zwischenknoten keine Routensuche durchführen. Stattdessen leiten sie den Traffic über eine virtuelle End-to-End-Verbindung oder einen Tunnel weiter, der als Label-Switched-Pfad bezeichnet wird. Sobald der Traffic auf einen Label-Switched-Pfad geleitet wurde, kann er nicht mehr in das öffentliche Internet umgeleitet werden, sondern muss auf der vorgegebenen Route über das Backbone von Cloudflare weitergeleitet werden. Das ist nichts Neues, denn in vielen Netzwerken werden sie sogar einen „BGP Free Core“ betreiben, bei dem die gesamten Routeninformationen an der Edge des Netzwerks übertragen werden und die Zwischenknoten nur an der Weiterleitung vom Eingang zum Ausgang beteiligt sind.

Durch den Einsatz von Segment Routing Traffic Engineering (SR-TE) in unserem Backbone können wir automatisch Pfade zwischen unseren Rechenzentren auswählen, die für Latenz und Performance optimiert sind. Manchmal ist der „kürzeste Pfad“ in Bezug auf die Kosten des Routing-Protokolls nicht der Pfad mit der niedrigsten Latenz oder der besten Performance.

Argo Smart Routing ist ein Dienst, der die Backbone-, Transit- und Peering-Konnektivität von Cloudflare nutzt, um den optimalen Pfad zwischen dem Rechenzentrum, in dem die Anfrage eines Nutzers eingeht, und Ihrem Back-End-Ursprungsserver zu finden. Argo kann eine Anfrage von einem Cloudflare-Rechenzentrum an ein anderes auf dem Weg zu einem Ursprungsserver weiterleiten, wenn sich die Performance dadurch verbessern würde. Orpheus ist das Gegenstück zu Argo und leitet beeinträchtigte Pfade für alle Ursprungsanfragen von Kunden kostenlos um. Orpheus kann die Netzwerkbedingungen in Echtzeit analysieren und aktiv Ausfälle der Erreichbarkeit vermeiden. Kunden, bei denen Argo aktiviert ist, erhalten eine optimale Performance für Anfragen von Cloudflare-Rechenzentren an ihren Ursprungsserver, während Orpheus eine universelle Selbsthilfe bei Fehlern für alle Kunden bietet. Durch die Kombination unseres globalen Backbones mit Segment Routing als Unterbau mit Argo Smart Routing und Orpheus als unser Konnektivitäts-Overlay können wir wichtigen Kunden-Traffic über die bestmöglichen Pfade transportieren, die uns zur Verfügung stehen.

Wie genau passt also unser globales Backbone zu Argo Smart Routing? Argo Transit Selection ist eine Erweiterung von Argo Smart Routing, bei der der Pfad mit der geringsten Latenz zwischen den Hops der Cloudflare-Rechenzentren explizit ausgewählt und für die Weiterleitung von Ursprungsanfragen von Kunden verwendet wird. Der Pfad mit der geringsten Latenz ist oft unser globales Backbone, da es sich im Gegensatz zu Transitnetzwerken von Drittanbietern um eine dediziertere und privatere Art der Verbindung handelt.

Betrachten wir ein multinationales niederländisches Pharmaunternehmen, das sich auf das Netzwerk und die Dienste von Cloudflare mit unserer SASE-Lösung verlässt, um seine globalen Büros, Forschungszentren und Remote-Mitarbeitenden zu vernetzen. Die asiatischen Niederlassungen verlassen sich auf die Sicherheitslösungen und das Netzwerk von Cloudflare, um einen sicheren Zugriff auf wichtige Daten von den zentralen Rechenzentren zu den asiatischen Zweigstellen zu gewährleisten. Im Falle einer Kabelunterbrechung zwischen Regionen würde unser Netzwerk automatisch nach der besten alternativen Route zwischen ihnen suchen, sodass die geschäftlichen Auswirkungen in Grenzen gehalten werden.

Argo misst jede mögliche Kombination der verschiedenen Anbieterpfade, einschließlich unseres eigenen Backbones, als eine Option, um Ursprungsserver mit intelligentem Routing zu erreichen. Aufgrund unserer umfangreichen Vernetzung mit so vielen Netzwerken und unseres globalen privaten Backbones ist Argo in der Lage, den leistungsstärksten Netzwerkpfad für Anfragen zu ermitteln. Das Backbone ist durchweg einer der Pfade mit der niedrigsten Latenz, die Argo zur Auswahl hat.

Neben einer hohen Performance ist uns die Zuverlässigkeit des Netzwerks für unsere Kunden sehr wichtig. Das bedeutet, dass wir gegen Glasfaserausfälle und Probleme mit Drittanbietern von Transitanbietern so belastbar wie möglich sein müssen. Während einer Störung des AAE-1-Unterseekabels (Asia Africa Europe-1) hielt Argo zwischen Singapur und Amsterdam auf einigen unserer Transit-Provider-Pfade im Vergleich zum Backbone Folgendes fest:

Die große Spitze (violett) zeigt einen Latenzanstieg auf einem der Pfade unserer IP-Transitprovider von Drittanbietern aufgrund einer Überlastung, die schließlich nach wahrscheinlichem Traffic-Engineering im Netzwerk des Providers behoben wurde. Wir haben einen geringeren Anstieg der Latenz (gelbe Linie) im Vergleich zu anderen Transitnetzen festgestellt, der aber dennoch spürbar ist. Die untere (grüne) Linie in der Grafik ist unser Backbone, wobei die Round-Trip-Time während des gesamten Ereignisses aufgrund unserer vielfältigen Backbone-Verbindungen zwischen Asien und Europa mehr oder weniger unverändert bleibt. Während der gesamten Glasfaserunterbrechung blieben wir stabil bei etwa 200 ms zwischen Amsterdam und Singapur. Es gab keine nennenswerten Netzwerkprobleme, wie sie auf den Pfaden des Transitanbieters auftraten, sodass Argo das Backbone aktiv für eine optimale Performance nutzte.

Während Argo die Performance in unserem Netzwerk verbessert, optimieren Cloudflare-Netzwerk Interconnects (CNIs) den Zugang dazu. Wir empfehlen unseren Enterprise-Kunden, unsere kostenlosen CNIs als On-Ramps zu unserem Netzwerk zu nutzen, wann immer dies möglich ist. So können Sie unser Netzwerk, einschließlich unseres robusten Backbones, voll ausschöpfen und die allgemeine Performance für jedes Produkt in Ihrer Cloudflare Connectivity Cloud steigern. Letztendlich ist unser globales Netzwerk unser Hauptprodukt, und unser Backbone spielt dabei eine entscheidende Rolle. Auf diese Weise tragen wir weiterhin zum Aufbau eines besseren Internets bei, indem wir unsere Dienste für alle und überall verbessern.

Wenn Sie bei unserer Mission mitwirken möchten, schließen Sie sich uns als On-Ramp-Partner für das Cloudflare-Netzwerk an, um Ihren Kunden sichere und zuverlässige Konnektivität zu bieten, indem Sie sich direkt mit uns integrieren. Mehr über unsere Partnerschaften im Bereich On-Ramping und wie Ihr Unternehmen davon profitieren kann, erfahren Sie hier.