訂閱以接收新文章的通知:

Cloudflare 全球連通雲背後的骨幹網

2024-08-06

閱讀時間:10 分鐘
本貼文還提供以下語言版本:English

「雲端」的現代用法可以追溯到幾十年來在網路圖中無處不在的雲端圖示。雲端被用來表示提供網路或網際網路服務所需的龐大而複雜的基礎架構元件,而無需深入瞭解底層的複雜性。在 Cloudflare,我們透過以使用者友好且易於使用的方式提供關鍵基礎架構解決方案來體現這一原則。我們的標誌採用雲端符號,反映了我們為所有使用者簡化網際網路基礎架構複雜性的承諾。

這篇部落格文章介紹了我們基礎架構的最新情況,重點介紹了 2024 年的全球骨幹網,並強調了它為我們的客戶帶來的好處、我們在市場上的競爭優勢以及對我們幫助構建更好的網際網路這一使命的影響。自 2021 年我們發佈上一篇與骨幹網相關的部落格文章以來,我們已將骨幹網容量 (Tbps) 提高了 500% 以上,為所有客戶解鎖了新的使用案例以及可靠性和效能優勢。

Cloudflare 基礎架構快照

截至 2024 年 7 月,Cloudflare 在 120 多個國家/地區的 330 個城市設有資料中心,每個資料中心都執行 Cloudflare 設備和服務。儘管這些資料中心的伺服器數量和運算能力各不相同,但向各地提供 Cloudflare 產品和服務的目標始終如一。

BLOG-2432-2

這些資料中心戰略性地分佈在全球各地,以確保我們的業務覆蓋所有主要地區,並協助我們的客戶遵守當地法規。這是一個可程式設計的智慧型網路,您的流量會盡可能傳輸到最佳的資料中心進行處理。這種可程式設計性讓我們能夠使用我們的資料當地語系化套件解決方案將敏感性資料保持在區域範圍內,並遵守客戶施加的限制。我們網路的作用是連接這些網站,並與客戶、公有雲端、合作夥伴和更廣泛的網際網路交換資料,這一切由我們的基礎架構工程和網路戰略團隊進行管理。這個網路為我們的產品奠定了基礎,使我們的產品速度快如閃電,確保每個客戶請求的全球可靠性和安全性,並協助客戶遵守資料主權要求。

流量交換方式

網際網路是不同網路和獨立自發系統的互連,它們透過相互交換資料來運作。交換資料的方式有多種,但為了簡單起見,我們將重點介紹這些網路通訊的兩種主要方法:對等互連和 IP 傳輸。為了更好地瞭解我們全球骨幹網的優勢,瞭解我們在網路中使用的這些基本連線解決方案會有所幫助。

  1. 對等互連:管理上獨立的網際網路之間自願互連,允許每個網路的使用者之間進行流量交換,這稱為「對等互連」。Cloudflare 是全球對等互連最多的網路之一。我們與 330 個城市的 ISP 和其他網路以及所有主要網際網路交換中心 (IX) 簽訂了對等互連通訊協定。感興趣的各方可以隨時註冊,以與我們建立對等互連,或透過私人網路互連 (PNI) 直接連接到我們的網路。

  2. IP 傳輸:一種付費服務,允許流量穿越或「傳輸」他人的網路,通常將較小的網際網路服務提供者 (ISP) 連接到較大的網際網路。可以將其想像為支付通行費以駕車進入私人高速公路。

骨幹網是一種專用的高容量光纖網路,用於在 Cloudflare 的全球資料中心之間傳輸流量,在這些資料中心中,我們使用上述流量交換方法與其他網路互連。它使資料傳輸比透過公用網際網路傳輸更可靠。對於城市內的連線和長距離連線,我們管理自己的暗光纖或租用使用密集波分複用 (DWDM) 的波長。DWDM 是一種光纖技術,它透過在同一根光纖內以不同波長的光同時傳輸多個資料流程來增強網路容量。這就像擁有一條有多條車道的高速公路,可以讓更多的汽車在同一條高速公路上行駛。我們從世界各地的全球營運商合作夥伴那裡購買和租用這些服務。

BLOG-2432-3

骨幹網路營運及優勢

運營全球骨幹網極具挑戰性,這也是許多競爭對手不這麼做的原因。我們接受這一挑戰有兩個主要原因:流量路由控制和成本效益。

對於 IP 傳輸,我們依賴傳輸合作夥伴將流量從 Cloudflare 傳輸到最終目的地網路,從而引入了不必要的第三方依賴。相比之下,我們的骨幹網讓我們能夠完全控制內部和外部流量的路由,使我們能夠更有效地管理流量。這種控制至關重要,因為它讓我們能夠最佳化流量路由,通常可實現最低延遲路徑,如前所述。此外,透過骨幹網處理大量流量的成本平均比 IP 傳輸更具成本效益。這就是為什麼我們在法蘭克福、倫敦、阿姆斯特丹、巴黎和馬賽等地區加倍增加骨幹網容量的原因,這些地區的流量持續增長,連線解決方案廣泛可用且價格具有競爭力。

我們的骨幹網服務於內部和外部流量。內部流量包括使用我們的安全或效能產品的客戶流量,以及來自在我們的資料中心之間轉移資料的 Cloudflare 內部系統的流量。例如,Tiered Caching 透過將我們的資料中心劃分為下層和上層的階層來最佳化我們的快取交付。如果下層資料中心沒有內容,它們會從上層請求。如果上層也沒有,它們會從來源伺服器請求。此過程減少了來源伺服器請求並提高了快取效率。考慮到我們網路的規模,使用我們的骨幹網在下層和上層資料中心與來源伺服器之間傳輸快取內容通常是最具成本效益的方法。另一個範例是 Magic Transit,我們透過 BGP Anycast 將流量吸引到最靠近終端使用者的 Cloudflare 資料中心並實施我們的 DDoS 解決方案。我們的骨幹網將乾淨的流量傳輸到我們客戶的資料中心,他們透過 Cloudflare 網路互連 (CNI) 連接該資料中心。

我們在骨幹網上傳輸的外部流量可以是來自其他來源提供者的流量,例如 AWS、Oracle、阿裡巴巴、Google Cloud Platform 或 Azure 等。來自這些雲端提供者的來源回應透過對等互連點和我們的骨幹網傳輸到距離客戶最近的 Cloudflare 資料中心。透過利用我們的骨幹網,我們可以更好地控制如何在整個網路中回傳這些流量,從而提高可靠性和效能,減少對公用網際網路的依賴。

我們的全球連通雲就是公有雲端、辦公室和網際網路之間的互連,並在我們的全球骨幹網上執行針對效能、安全性、可程式設計性和可見性的受控層。

This map is a simplification of our current backbone network and does not show all paths

這張地圖是我們目前骨幹網路的簡化圖,並沒有顯示所有路徑

擴展我們的網路

正如前言中所述,自 2021 年以來,我們的骨幹網容量 (Tbps) 增加了 500% 以上。隨著非洲海底電纜容量的增加,我們在 2023 年完成了全球骨幹環,實現了一個重大里程碑。它現在透過陸地光纖和海底電纜覆蓋六大洲。

與中歐或美國相比,有些市場的網際網路基礎架構較不發達,在這些地區建設骨幹網是我們最近網路擴張的關鍵戰略。我們與地區 ISP 合作夥伴有一個共同的目標,那就是將資料流程當地語系化,並盡可能靠近終端使用者。由於缺乏足夠的本地對等互連和區域基礎架構,流量通常會在區域外採用效率低下的路線。當資料透過更具成本效益的國際路線和現有的對等互連通訊協定進行路由時,就會發生這種現象,稱為流量轉接。

我們在印度或土耳其等國家/地區的區域骨幹網投資旨在減少對這種低效路由的需求。藉助我們自己的區域內骨幹網,流量可以直接在同一個國家內的 Cloudflare 資料中心之間路由,例如從孟買到新德里再到欽奈,從而減少延遲、提高可靠性,並幫助我們提供與更發達市場相同水準的服務品質。我們可以將資料保持在本地,支援我們的資料當地語系化套件 (DLS),其透過控制資料儲存和處理的位置來協助企業遵守區域資料隱私法。

BLOG-2432-5

改善延遲和效能

此次戰略擴張不僅擴大了我們的全球覆蓋範圍,還顯著改善了我們的整體延遲。其中一個範例就是,自從我們在里斯本和約翰尼斯堡之間部署骨幹網以來,我們看到約翰尼斯堡使用者的效能得到了顯著改善。諸多客戶可以從這種延遲改善中受益,例如透過我們執行 API 進行即時交易的金融機構,其中毫秒級的誤差就可能影響交易;或者是我們的 Magic WAN 使用者,我們促進了他們分支機搆之間的網站到網站連線。

BLOG-2432-6

上表顯示了一個範例,我們測量了從約翰尼斯堡的終端使用者到各個來源位置的非快取來源擷取的往返時間 (RTT),對我們的骨幹網和公用網際網路的情況進行了比較。透過在我們的骨幹網上傳輸來源請求,而不是使用 IP 傳輸或對等互連,約翰尼斯堡的本地使用者獲取內容的速度提高了 22%。透過使用我們自己的骨幹網將流量長途傳輸到最終目的地,我們可以完全控制路徑和效能。這種延遲的改善因地點而異,但始終表明我們的骨幹網基礎架構在提供高效能連線方面具有優勢。

BLOG-2432-7

流量控制

考慮一個導航系統,它使用 GPS 來識別路線,同時使用高速公路收費通行證,在到達最終目的地之前始終有效,您可以直行通過收費站而無需停車。我們的骨幹網工作原理與此非常相似。

我們的全球骨幹網建立在兩個關鍵支柱之上。第一個是 BGP(邊界閘道通訊協定),即網際網路的路由式通訊協定;第二個是分段路由 MPLS(多通訊協定標籤交換),這是一種在 IP 網路中跨預定義轉發路徑引導流量的技術。預設情況下,分段路由提供從輸入到輸出路由器的端對端封裝,中間節點不執行路由查找。它們透過端對端虛擬電路或通道(稱為標籤交換路徑)轉發流量。一旦流量進入標籤交換路徑,它就不能繞道進入公用網際網路,而必須繼續沿著 Cloudflare 骨幹網的預定路由傳輸。這並不是什麼新鮮事,因為許多網路甚至會執行「BGP 免費核心」,其中所有路由情報都在網路邊緣傳輸,中間節點只參與從輸入到輸出的轉發。

在骨幹網中利用分段路由流量工程 (SR-TE) 時,我們可以自動選擇資料中心之間針對延遲和效能進行最佳化的路徑。有時,就路由通訊協定成本而言的「最短路徑」並不是延遲最低或效能最高的路徑。

BLOG-2432-8

增加動力:Argo 和全球骨幹網

Argo Smart Routing 是一項服務,它使用 Cloudflare 的骨幹網、傳輸和對等互連組合來查找使用者請求所在的資料中心和後端來源伺服器之間的最佳路徑。如果可以提高效能,Argo 可能會在前往來源伺服器的途中將請求從一個 Cloudflare 資料中心轉發到另一個資料中心。Orpheus 是 Argo 的對應產品,它免費為所有客戶來源請求繞過降級路徑。Orpheus 能夠即時分析網路狀況並主動避免可達性失敗。啟用 Argo 的客戶在處理從 Cloudflare 資料中心到其來源伺服器的請求時可以獲得最佳效能,而 Orpheus 則為所有客戶提供普遍的錯誤自我修復。透過將使用分段路由的全球骨幹網作為底層,將 Argo Smart Routing 和 Orpheus 作為連線覆蓋層,將二者結合起來,我們能夠沿著我們可用的最佳化路徑傳輸關鍵客戶流量。

那麼我們的全球骨幹網與 Argo Smart Routing 究竟是如何配合的呢?Argo Transit Selection 是 Argo Smart Routing 的擴充功能,其中明確選擇 Cloudflare 資料中心躍點之間的最低延遲路徑並用於轉發客戶來源請求。最低延遲路徑通常是我們的全球骨幹網,因為與第三方傳輸網路相比,它是一種更專用、更私人的連線方式。

假設一家跨國的荷蘭製藥公司依靠 Cloudflare 的網路和服務以及我們的 SASE 解決方案來連接其全球分公司、研究中心和遠端員工。其亞洲分公司依靠 Cloudflare 的安全解決方案和網路,從亞洲分公司安全存取中央資料中心的重要資料。如果區域間電纜中斷,我們的網路會自動尋找最佳的替代路線,從而將業務影響降到最低。

Argo 會衡量不同提供者路徑(包括我們自己的骨幹網)的每種潛在組合,作為使用智慧路由到達來源的一種選擇。由於我們與眾多網路的廣泛互連以及我們的全球私人骨幹網,Argo 能夠識別出請求效能最高的網路路徑。骨幹網始終是 Argo 可從中選擇的最低延遲路徑之一。

除了高效能之外,我們還非常關心客戶的網路可靠性。這意味著我們需要盡可能地抵禦光纖切斷和第三方傳輸提供者的問題。下圖是在 AAE-1亞非歐 1 號)海底電纜中斷期間,Argo 在新加坡和阿姆斯特丹之間看到的部分傳輸提供者路徑與骨幹網的對比情況。

BLOG-2432-9

較大的(紫線)峰值表明,由於擁塞,我們的第三方 IP 傳輸提供者路徑之一的延遲增加,該問題最終透過提供者網路內的流量工程得到解決。可以看到,與其他傳輸網路相比,有一家提供者的延遲增加較小(黃線),但仍然很明顯。圖表底部(綠線)是我們的骨幹網,由於我們在亞洲和歐洲之間擁有多樣化的骨幹網連線,因此在整個事件期間往返時間基本保持不變。在整個光纖中斷期間,阿姆斯特丹和新加坡之間的延遲保持穩定在 200 毫秒左右。沒有像傳輸提供者路徑上那樣出現明顯的網路故障,因此 Argo 積極利用骨幹網來實現最佳效能。

BLOG-2432-10

召喚行動

隨著 Argo 改進我們網路的效能,Cloudflare 網路互連 (CNI) 也最佳化了接入。我們鼓勵我們的企業客戶在切實可行的情況下使用我們的免費 CNI 作為接入我們網路的入口。透過這種方式,您可以充分利用我們的網路,包括我們強大的骨幹網,並提高 Cloudflare 全球連通雲中每款產品的整體效能。最終,我們的全球網路是我們的主要產品,而我們的骨幹網在其中發揮著關鍵作用。透過這種方式,我們將繼續透過為世界各地的每個人提供更好的服務來協助構建更好的網際網路。

如果您想成為我們使命的一部分,請加入我們,成為 Cloudflare 網路入口合作夥伴,透過直接與我們整合來為您的客戶提供安全可靠的連線。在此處詳細瞭解我們的入口合作夥伴關係以及這如何使您的企業受益。

我們保護整個企業網路,協助客戶有效地建置網際網路規模的應用程式,加速任何網站或網際網路應用程式抵禦 DDoS 攻擊,阻止駭客入侵,並且可以協助您實現 Zero Trust

從任何裝置造訪 1.1.1.1,即可開始使用我們的免費應用程式,讓您的網際網路更快速、更安全。

若要進一步瞭解我們協助打造更好的網際網路的使命,請從這裡開始。如果您正在尋找新的職業方向,請查看我們的職缺
Connectivity CloudAnycastArgo Smart RoutingAthenian ProjectBGPBetter InternetCloudflare NetworkMagic Transit產品新聞

在 X 上進行關注

Bryton Herdes|@next_hopself
Cloudflare|@cloudflare

相關貼文

2024年11月06日 上午8:00

Exploring Internet traffic shifts and cyber attacks during the 2024 US election

Election Day 2024 in the US saw a surge in cyber activity. Cloudflare blocked several DDoS attacks on political and election sites, ensuring no impact. In this post, we analyze these attacks, as well Internet traffic increases across the US and other key trends....

2024年10月24日 下午1:00

Durable Objects aren't just durable, they're fast: a 10x speedup for Cloudflare Queues

Learn how we built Cloudflare Queues using our own Developer Platform and how it evolved to a geographically-distributed, horizontally-scalable architecture built on Durable Objects. Our new architecture supports over 10x more throughput and over 3x lower latency compared to the previous version....

2024年10月15日 下午3:00

Analysis of the EPYC 145% performance gain in Cloudflare Gen 12 servers

Cloudflare’s Gen 12 server is the most powerful and power efficient server that we have deployed to date. Through sensitivity analysis, we found that Cloudflare workloads continue to scale with higher core count and higher CPU frequency, as well as achieving a significant boost in performance with larger L3 cache per core....