新規投稿のお知らせを受信されたい方は、サブスクリプションをご登録ください:

CloudflareのAlways OnlineとInternet Archiveチームのオリジンエラーとの戦い

2020-09-17

5分で読了
この投稿はEnglishFrançaisDeutsch简体中文でも表示されます。

毎日、インターネット上では、何か悪いこと(しかし、完全にノーマルなこと)が起こります。たとえば、何千ものオリジンサーバーがダウンし、接続エラーを招き、ユーザーは不満を懐きます。Cloudflareのユーザーは、到達不能なオリジンサーバーからのレスポンスがエラーメッセージとして送られてくるのを毎日4年半以上待ち続けています。しかし、訪問者はエラーページを見たいのではありません。彼らが見たいのはコンテンツなのです!

インターネットがより強力で耐障害性が高く、重要な冗長性を持つことを望む人にとって、今の時代は面白いでしょう。CloudflareはAlways Onlineサービスに新しい機能性をもたらすために、Internet Archiveと提携したことを発表いたします。

Always Onlineは、当社の顧客Webサイトの保険として機能します。顧客のオリジンがオフラインになったり、タイムアウトしたり、それ以外の方法で中断したりした場合は、Always Onlineが介入し、訪問者にWebページのアーカイブコピーを提供します。Internet Archiveは、インターネット経由で数十億のWebサイトのスナップショットを保存するサービス、Wayback Machineを運営する非営利団体です。Internet Archiveとの提携により、Cloudflareは到達不能なWebサイトへのレスポンスをシームレスに提供することができ、Internet Archiveは、すべての知識へのアクセスを提供するためにWebをアーカイブするというその使命を継続することができます。

Cloudflareダッシュボードで「Always Online」を有効にすると、当社はお客様のホスト名をWeyback Machineと共有し、お客様のWebサイトをアーカイブすることができます。Webサイトのオリジンがダウンしても、CloudflareはInternet Archiveに移動して、サイトの最新アーカイブバージョンを取得できるため、訪問者は引き続きサイトのコンテンツを閲覧することができます。

壊れたオリジンへの到達を試みる

ユーザーがCloudflare Webサイトを訪問すると、ノートパソコン/電話/タブレット/スマート冷蔵庫から、Cloudflareのエッジへとリクエストが送られます。当社のエッジでは、最初にキャッシュされたコンテンツで応答できるかどうかを調べます。リクエストされたコンテンツがキャッシュにない、または有効期限が切れていると判断した場合は、オリジンから新しいコピーを取得します。キャッシュされていない/期限切れのオリジンフェッチの任務を果たすため、キャッシュを更新し、後続のリクエストが訪問者により迅速/安全に提供されるようにします。オリジンに到達できない場合、さらに数回接続を試みて、必要があればオリジンがダウンしていることをマークし、訪問者にエラーページを提供します。エラーページを受け取ることは誰にとっても望ましくはないため、Cloudflareを利用しているWebサイトへの訪問者が、たとえオリジンに困難が伴う場合であっても、何らかのコンテンツを得ることができるように、私たちは本当に懸命に努力しています。

Always Online の略歴

Cloudflareが10年前に設立されたとき、当社お客様のほとんどは小規模で、頻繁にダウンタイムが発生するホスト上で稼働していました。初期のお客様は、検索エンジンがそのサイトのインデックスを作成しているときに、ホストがダウンしてしまうことを恐れていました。検索エンジンのクローラーは、ダウンしたサイトを非応答として報告し、検索ランキングではサイトの順位が下がってしまいます。Always Onlineはこのような懸念から生まれました。

過去10年間に及ぶ Always Online の運用を通じて、シンプルで目立たないツールでインターネットのダウンタイムと戦うことに、お客様とそのユーザーは深く価値を見出してくれることを私達は知りました。いくつかの機能は、何回も書き換えられていますが、当社のコードの他の部分は、時間の経過にも関わらず比較的手つかずのまま残されており、堅牢性の証となっています。たとえば、Always Online では、オリジンに到達不能のため、ページのアーカイブバージョンを提供していることを示すバナーが明確に表示されますが、この透明性はWebサイトの所有者と訪問者の両方に好評です。

当社では最近、Always Onlineをより良くするための取り組みをはじめました。当社はお客様が望むものを保存したかったのです。Always Online を通じて利用できるコンテンツの量を増やし、コンテンツを可能な限り新しい状態に保つとともに、オリジンサーバーがダウンしたときのユーザー体験を可能な限りシームレスに維持し、このアーカイブをインターネットをより良い場所にするという目標の達成に向けて使いたいと考えました。

Always Onlineで訪問者が目にするもの

Internet Archiveに参加する

Internet ArchiveのWayback Machineと提携し、次世代のAlways Onlineを実現することで、これらの目標をすべて達成できます。Internet Archiveのミッションは、すべての知識への普遍的なアクセスを提供することです。1996年以来、Internet Archiveの Wayback Machine は、パブリックWebサイトの多くをアーカイブしています。つまり、アーカイブされなければ失われていたであろう数百万のWebサイトやページを保存し、利用できるようにしています。自社のミッションのために、彼らは4680億以上のWebページをアーカイブし、情報量に換算すると、45ペタバイト以上をアーカイブしていることになります。

Always Online とInternet Archiveとの統合は、Archiveがインターネットに関する記録を拡張するのに役立ちます。Always Online 機能をオプトインするドメインの多くは、Archiveのクローラーによって発見されていなければ、存在していない可能性があります。Archiveは、Cloudflareのお客様のために、Archiveがなければエラーになってしまうコンテンツへのアクセスをシームレスに提供します。

つまり、CloudflareはInternet Archiveと提携することで、インターネットをより良く、より強く、誰もが利用できるように変えることができるのです。

「_Cloudflare_とのパートナーシップを通じて、このパートナーシップがなければ、特に知る機会もなかったであろう_Web_ページについて学び、そのページをアーカイブしています。そして_Cloudflare_の Always Online サービスと統合することで、それらのページのアーカイブを、アクセスを試みたけれど、ライブ_Web_を介しては利用できなくなった人々に提供することができます」_—Mark Graham_氏、 Internet ArchiveWayback Machine、ディレクター

「_Cloudflare_と協力できることをうれしく思います。このパートナーシップが、インターネットに重要な冗長性をもたらし、インターネットをより便利で信頼できるものにするために、当社がさらに歩を進めるよい機会になると考えています。」_—Brewster Kahle_氏、Internet Archive、創設者兼デジタルライブラリアン

新しいAlways Onlineは舞台裏ではどのように機能しますか?

Cloudflareダッシュボードの新しい Always Online にアップグレードすると、インターネットアーカイブを使用してWebサイトに関するいくつかの基本情報(ホスト名や人気のURLなど)を共有できるため、定期的にWebサイトをクロールしてアーカイブすることができます。この情報の共有とクロールにより、コンテンツはAlways Onlineで利用できるようになり、アーカイブを通じて直接利用できるコンテンツライブラリをさらに充実させることができます。

オリジンがダウンしたり、到達不能になった場合、Cloudflare のエッジは 520 から527 の範囲のステータスコードを返します。これは、オリジンへの接続に問題があることを示します。このような場合、Cloudflareは最初にローカルエッジデータセンターを調べて、Webサイト訪問者に提供できるコンテンツの古くなったバージョンまたは有効期限が切れたバージョンがないかどうかを確認します。ローカルキャッシュにバージョンがない場合、CloudflareはInternet Archiveに移動し、サイトの最新アーカイブバージョンを取得し、訪問者にサービスを提供します。その場合、Always Online はアーカイブされたコンテンツをバナーとともに提供し、オリジンに問題があることを訪問者に知らせます。バナーを使用すると、訪問者はワンクリックでオリジンがオンラインに戻ったかどうかを確認できます。オリジンサーバーとの通信を必要とする動的コンテンツは、訪問者(Webアプリケーションやショッピングカートなど)にエラーを表示しますが、多くの場合、基本コンテンツは Always Online で入手できます。

新しいAlways Onlineを有効にする

今のところ、古いAlways Onlineサービスは引き続き利用可能ですが、すぐにInternet Archiveと提携したバージョンに完全に移行する予定です。

Cloudflareのお客様は、ダッシュボードでAlways Onlineを有効にすることができます。

詳細

  • Always Online、およびその仕組みの詳細についてはt、当社のドキュメントをご覧ください。

  • Always Online の使用を開始するには、Cloudflareダッシュボードにログインして「オン」に切り替えてください。

  • Internet Archiveによる当社とのパートナーシップの発表はこちらをご覧ください。

  • Always Online、またはインターネットのその他の部分に関する改善を支援するには、こちらからご連絡ください 。

Cloudflareは企業ネットワーク全体を保護し、お客様がインターネット規模のアプリケーションを効率的に構築し、あらゆるWebサイトやインターネットアプリケーションを高速化し、DDoS攻撃を退けハッカーの侵入を防ぎゼロトラスト導入を推進できるようお手伝いしています。

ご使用のデバイスから1.1.1.1 にアクセスし、インターネットを高速化し安全性を高めるCloudflareの無料アプリをご利用ください。

より良いインターネットの構築支援という当社の使命について、詳しくはこちらをご覧ください。新たなキャリアの方向性を模索中の方は、当社の求人情報をご覧ください。
製品ニュースAlways Online

Xでフォロー

Alex Krivit|@ackriv
Ilya Andreev|@andreev_io
Cloudflare|@cloudflare

関連ブログ投稿

2024年10月24日 13:00

Durable Objects aren't just durable, they're fast: a 10x speedup for Cloudflare Queues

Learn how we built Cloudflare Queues using our own Developer Platform and how it evolved to a geographically-distributed, horizontally-scalable architecture built on Durable Objects. Our new architecture supports over 10x more throughput and over 3x lower latency compared to the previous version....

2024年10月08日 13:00

Cloudflare acquires Kivera to add simple, preventive cloud security to Cloudflare One

The acquisition and integration of Kivera broadens the scope of Cloudflare’s SASE platform beyond just apps, incorporating increased cloud security through proactive configuration management of cloud services. ...

2024年9月27日 13:00

AI Everywhere with the WAF Rule Builder Assistant, Cloudflare Radar AI Insights, and updated AI bot protection

This year for Cloudflare’s birthday, we’ve extended our AI Assistant capabilities to help you build new WAF rules, added new AI bot & crawler traffic insights to Radar, and given customers new AI bot blocking capabilities...