Lesezeit: 7 Min.
Cloudflare betreibt das schnellste Netzwerk der Welt. Wir haben heute ein Update dazu veröffentlicht, wie wir die Softwaretechnologie überarbeiten, die jeden unserer Server beschleunigt und so die Geschwindigkeit weltweit erhöht.
Doch damit ist die Arbeit noch nicht getan. Um die Geschwindigkeit weiter zu steigern, müssen wir auch sicherstellen, dass unser Netzwerk die tägliche Beanspruchung im Maßstab des Internets zügig bewältigt und den Datenverkehr zu unseren nun schnelleren Servern leitet.
Wir investieren seit Jahren in die Überlastungskontrolle. Heute beschreiben wir, wie wir mithilfe einer Superkraft unseres Netzwerks – unseres großen Stamms an Nutzern mit Free-Tarif – eine Optimierung der Performance durchführen und den besten Weg finden, das Routing in unserem gesamten Netzwerk für alle unsere Kunden weltweit vorzunehmen.
Laut ersten Ergebnissen ist die Performance im Durchschnitt 10 Prozent höher als der vorherige Ausgangswert. Dafür haben wir auf Grundlage der Metriken, die wir jeden Tag im Internet erfassen, verschiedene algorithmische Methoden zur Performance-Steigerung angewandt. Wir freuen uns, diese Verbesserungen nun für alle Kunden einführen zu können.
Wie gelangt der Datenverkehr in unser Netzwerk?
Bei dem Internet handelt es sich um eine riesige Ansammlung miteinander verbundener Netzwerke, die jeweils aus vielen Maschinen („Knoten“) bestehen. Daten werden in kleine Pakete zerlegt und dann von einem Rechner zum anderen (über eine „Verbindung“) übertragen. Jede dieser Maschinen ist mit vielen anderen verbunden, und jede Verbindung verfügt über eine begrenzte Kapazität.
Wird ein solches Paket über das Internet versandt, durchläuft es die Verbindungen von A nach B über eine Reihe von „Hops“. Zu jedem Zeitpunkt gibt es eine Verbindung (einen „Hop“) auf diesem Pfad, der die geringste verfügbare Kapazität aufweist. Es spielt keine Rolle, wo sich dieser Hop genau befindet – es wird sich in jedem Fall um die Engstelle der Verbindung handeln.
Die Herausforderung besteht darin, dass man bei der Übertragung von Daten über das Internet vorher nicht weiß, welchen Weg sie nehmen werden. Tatsächlich entscheidet jeder Knoten selbst, über welche Route der Datenverkehr gesendet wird. Verschiedene Pakete, die von A nach B übertragen werden, können dabei völlig unterschiedliche Routen einschlagen. Das Internet ist so effektiv, weil es dynamisch und dezentral ist. Aufgrund genau dieser Eigenschaften ist es aber auch sehr schwierig, zu ermitteln, wie viele Daten übermittelt werden können. Wie kann ein Absender also wissen, wo sich die Engstelle befindet und wie schnell Daten gesendet werden sollten?
Zwischen den Cloudflare-Knotenpunkten nutzt unsere Argo Smart Routing-Lösung unser Wissen über das globale Netzwerk, um die Kommunikation zu beschleunigen. Analog dazu können wir bei der Herstellung von Verbindungen zu Ursprungsservern von Kunden Argo und andere Erkenntnisse zur Optimierung nutzen. Die Geschwindigkeit einer Verbindung von Ihrem Telefon oder Laptop (in der Abbildung unten der Client) zum nächstgelegenen Cloudflare-Rechenzentrum hängt jedoch von der Kapazität des Engstellen-Hops in der von Ihnen zu Cloudflare reichenden Kette ab, die außerhalb unseres Netzwerks liegt.
Was passiert, wenn zu viele Daten auf einmal eingehen?
Wenn zu viele Daten an einem Knoten in einem Netzwerk auf dem Pfad einer Anfrage, die verarbeitet wird, eintreffen, verzeichnet der Anfragende Verzögerungen aufgrund eines Datenstaus. Die Daten werden entweder eine Zeitlang in eine Warteschlange eingereiht (was das Risiko eines Bufferbloat mit sich bringt), oder ein Teil davon wird einfach gelöscht. Protokolle wie TCP und QUIC übertragen bei Paketverlusten die Daten erneut. Das führt jedoch zu einer Verzögerung und kann das Problem sogar verschlimmern, wenn dadurch die Überbeanspruchung der begrenzten Kapazität noch verstärkt wird.
Werden Datenstaus von Cloud-Infrastrukturanbietern wie Cloudflare falsch gehandhabt, besteht die Gefahr, dass das System überlastet wird und die Datenübertragungsrate sinkt. Tatsächlich ist genau das passiert, als das Internet noch in den Kinderschuhen steckte. Um das zu vermeiden, haben Betreiber von Internet-Infrastruktur Systeme zur Vermeidung solcher Datenstaus entwickelt, mit denen jeder für die Datenübertragung an die Reihe kommt und das Netzwerk nicht überlastet wird. Dies damit verbundene Herausforderung wandelt sich, da das Netzwerk immer komplexer wird und man ständig auf der Suche nach der besten Methode zur Implementierung einer Überlastungskontrolle ist. Es wurden viele verschiedene Algorithmen entwickelt, die unterschiedliche Informationsquellen und Signale nutzen, zur Optimierung eine bestimmte Methode nutzen und auf unterschiedliche Weise auf Datenstaus reagieren.
Algorithmen zur Überlastungskontrolle verwenden eine Reihe von Signalen, um die richtige Übertragungsrate zur Datenübermittlung zu schätzen, ohne den genauen Aufbau des Netzwerks zu kennen. Ein wichtiges Signal ist der Paketverlust. Wenn ein Paket empfangen wird, sendet der Empfänger ein „ACK“. Damit teilt er dem Absender mit, dass das Paket angekommen ist. Geht es unterwegs verloren, erhält der Absender die Empfangsbestätigung nicht und betrachtet das Paket nach einem Timeout als verloren.
Neuere Algorithmen verwenden zusätzliche Daten. Zum Beispiel versucht ein beliebter Algorithmus namens BBR (Bottleneck Bandwidth and Round-trip propagation time), den wir für einen Großteil unseres Traffics verwenden, während jeder Verbindung ein Modell der maximalen Datenmenge zu erstellen, die in einem bestimmten Zeitraum übertragen werden kann. Dabei wird auf Schätzungen der Paketumlaufzeit sowie auf Verlustinformationen zurückgegriffen.
Welcher Algorithmus am besten geeignet ist, hängt oft vom Workload ab. Zum Beispiel kann bei interaktivem Datenverkehr – etwa im Fall eines Videoanrufs – ein Algorithmus, der dazu neigt, zu viel Traffic zu senden, Warteschlangen verursachen. Das hat dann eine hohe Latenz und schlechte Videoqualität zur Folge. Wenn man aber ausschließlich eine Optimierung auf diesen Anwendungsfall vornimmt und dieses Problem durch die Übertragung einer geringeren Menge Traffic vermeidet, nutzt das Netzwerk die Verbindung für Clients, die Massen-Downloads durchführen, nicht optimal. Das Ergebnis der Performance-Optimierung variiert, abhängig von vielen verschiedenen Faktoren. Wir haben jedoch Einblick in viele von ihnen.
BBR stellte eine spannende Entwicklung im Bereich der Überlastungskontrolle dar. Es handelte sich um den Übergang von reaktiven, verlustbasierten Ansätzen zu einer proaktiven, modellbasierten Optimierung, der einer deutlich besseren Performance moderner Netzwerke führte. Unsere Daten bieten uns die Chance, noch weiterzugehen und verschiedene algorithmische Methoden zur Steigerung der Performance anzuwenden.
Wie können wir uns verbessern?
Alle bestehenden Algorithmen sind auf die Verwendung von Informationen beschränkt, die während der Dauer der aktuellen Verbindung erhoben werden. Glücklicherweise wissen wir zu jedem beliebigen Zeitpunkt weitaus mehr über das Internet als das. Durch den Blickwinkel von Cloudflare auf den Datenverkehr erfahren wir viel mehr, als jeder einzelne Kunde oder Internetdienstanbieter zu einem bestimmten Zeitpunkt erfahren könnte.
Uns begegnet täglich Datenverkehr von praktisch jedem großen Netzwerk auf der Welt. Wenn eine Anfrage unser System erreicht, wissen wir, mit welchem Client-Gerät wir kommunizieren, welche Art von Netzwerk die Verbindung ermöglicht und ob wir es mit Verbraucher-Internetdienstanbietern oder Cloud-Infrastrukturanbietern zu tun haben.
Wir kennen die Lastmuster im globalen Internet und die Orte, an denen unserer Einschätzung nach Systeme überlastet sind – ob innerhalb unseres Netzwerks oder außerhalb. Wir kennen die Netzwerke mit stabilen Eigenschaften, die aufgrund von Mobilfunkdatenverbindungen hohe Paketverluste aufweisen, und die, die niedrige Erdumlaufbahn-Satellitenverbindungen umfassen und ihre Routen alle 15 Sekunden grundlegend ändern.
Wir ziehen gerade unseren Netzwerktechnologie-Stack auf eine neue Plattform um, die auf Rust basiert und mehr Flexibilität für das Experimentieren mit der Variation der Parameter in den Algorithmen bietet, die zur Überlastungskontrolle verwendet werden. Dann benötigten wir Daten.
Die diesen Experimenten zugrunde liegenden Daten müssen Auskunft über das Element geben, das wir zu optimieren versuchen: die Nutzererfahrung. Es reicht nicht aus, dass wir Daten an fast alle Netzwerke auf der Welt senden. Wir müssen sehen können, welche Erfahrungen die Kunden machen. Wie gelingt uns das bei unserer Größenordnung?
Zunächst verfügen wir über ausführliche „passive“ Protokolle zu der Übertragungsrate, mit der Daten von unserem Netzwerk gesendet werden können. Wir erfassen auch detailliert, wie lange es dauert, bis das Ziel den Empfang bestätigt. Dies deckt unseren gesamten Traffic ab und vermittelt uns einen Eindruck davon, wie schnell die Daten vom Client empfangen wurden. Wir haben dadurch aber keine Garantie, dass wir etwas über das Nutzererlebnis erfahren.
Außerdem steht uns ein System zur Erfassung von Real User Measurement (RUM)-Daten zur Verfügung, das in unterstützten Webbrowsern Kennzahlen wie die Seitenladezeit erfasst. Jeder Cloudflare-Kunde kann dies aktivieren und ausführliche Informationen dazu über sein Dashboard abrufen. Darüber hinaus verwenden wir diese Metadaten in gebündelter Form für alle unsere Kunden und Netzwerke, um uns ein Bild davon zu machen, was die Kunden wirklich erleben.
Allerdings sind RUM-Daten in der Regel nur für einen kleinen Teil der Verbindungen in unserem Netzwerk vorhanden. Deshalb haben wir nach einem Weg gesucht, die RUM-Messungen aus den Daten abzuleiten, die uns nur in passiven Protokollen angezeigt werden. Zum Beispiel sind hier die Ergebnisse eines von uns durchgeführten Experiments, bei dem zwei verschiedene Algorithmen mit der kubischen Basislinie verglichen wurden.
Es folgt derselbe Zeitraum, diesmal aber mittels einer auf unseren passiven Protokollen beruhenden Vorhersage abgebildet. Die Kurven ähneln sich stark. Noch wichtiger ist aber, dass das Verhältnis zwischen den Kurven sehr ähnlich ist. Das ist von enormer Bedeutung. Wir können damit nämlich mithilfe einer relativ kleinen Menge an RUM-Daten unsere Ergebnisse validieren, gleichzeitig aber eine weitaus feiner abgestimmte Optimierung unseres Netzwerks vornehmen, indem wir unsere passiven Protokolle in vollem Umfang nutzen.
Treiben wir die Extrapolation zu weit, wird sie unzuverlässig. Deshalb arbeiten wir auch mit einigen unserer größten Kunden zusammen, um unseren Überblick über das Verhalten des Netzwerks aus Sicht seiner Nutzer zu verbessern, wodurch wir dieses Vorhersagemodell noch weiter ausbauen können. Im Gegenzug können wir unseren Kunden Informationen zu der tatsächlichen Erfahrung ihrer Nutzer liefern, die in dieser Form keine andere Plattform zu bieten hat.
Wir wenden derzeit unsere Experimente und verbesserten Algorithmen zur Überlastkontrolle auf den gesamten QUIC-Datenverkehr im Rahmen unserer Free-Tarifoption an. Während wir mehr erfahren, unser Wissen mithilfe von Kunden mit komplexeren Gegebenheiten abgleichen und auf TCP-Traffic ausweiten, werden wir dieses Verfahren ab 2026 schrittweise bei allen unseren Kunden für den gesamten Datenverkehr einführen. Schon jetzt ist das Ergebnis eine Verbesserung von bis zu 10 Prozent im Vergleich zum Ausgangswert.
Wir arbeiten mit einer ausgewählten Gruppe von Unternehmen zusammen, um dies im Rahmen eines „Early Access“-Programms zu testen. Wenn Sie gern mehr erfahren würden, nehmen Sie Kontakt zu uns auf.