[レベル: 上級]
Google には「Effingo」（エフィンゴー）と呼ばれる超高速なデータ転送の仕組みがあるそうです。
Google 検索のデータセンター間のデータコピーにも使われています。
毎秒 14 テラバイトの超高速データ転送
Google の Gary Illyes（ゲイリー・イリース）氏が LinkedIn で Effingo を次のように紹介しました。
5 テラバイトのデータを配信したいだって？問題ない、我々は Google だ。Effingo のような魔法のツールを使えば、毎秒 14 テラバイトものデータ転送が可能なんだ…多分ね。
10 年ほど前のプロジェクトで、3 つのリージョン/データセンターに大量のデータを複製する必要があった。おそらく数十テラバイト規模だ。従来の方法でデータをコピーするのがどれほど面倒で、複製が完了するまで永遠に時間がかかるかを知っていた僕は、当然のごとく先延ばしにしていた。テックリードに状況を聞かれたので、僕の不安を説明した。彼は Effingo について聞いたことがあるかと尋ねた。僕は知らなかったが、5 分後にはデータセンター A から B と C にデータをコピーするコマンドを入力していた。複製には数時間かかると思っていたが、約 3 分で完了した。僕は Effingo に夢中になった。
現在、Google では Effingo が1日あたり 1 エクサバイト強のデータを転送している。ランキングシグナル、ウェブおよびメディアインデックス、もしかしたらユーザーの写真の生データなども含まれているかもしれない。これは毎秒約 14 テラバイトに相当する。
Effingo はどうやってそれを実現しているのか？ 僕には全くわからない。下にリンクされている論文の大部分を理解できないからだ。僕にとって、これはまさに Google マジックだ。
1 テラバイトと 1 エクサバイトを馴染みのあるギガバイトに換算すると、それぞれ約 1,000 ギガバイトと約 1,000,000,000 ギガバイトです。
毎秒 14,000 GB、毎日 10 億 GB 以上のデータを Effingo は転送しているのですから、ゲイリーが感動する超高速データ転送のすごさがわかります。
Effingo 技術的側面
Effingo の論文は当然のことながら僕にも内容を理解できません。
Effingo はもともとは、Google Cloud 間のデータ転送技術として開発されていました。
Google Cloud ブログに、Effingo の解説記事が 2023 年 5 月に投稿されていました。
キーポイントの一部は次のとおりです。
データ移動の必要性
次の理由からデータ移動が必要になります。
- 耐久性と信頼性: 地理的に分散した場所にデータを複製することで、ハードウェア障害や局所的なインシデントによるデータ損失を防ぐ
- 低レイテンシー: ユーザーの近くにデータを保存することで、データアクセスにおける遅延を最小限に抑え、ユーザー体験を向上させる
- 効率的なリソース活用: クラスタ間でストレージ容量のバランスを取ることで、リソースの使用率を最適化し、コストを削減する
大規模データ移動の課題
しかし、大規模なデータ転送にはいくつかの課題があります。
- セキュリティと一貫性
- 高スループット
- リソース効率
- システム可用性
これらの要件を確実にしなければなりません。
Effingo：Googleのソリューション
こうした課題を解決するために開発されたのが Effingo です。
次のような特徴を持ちます。
- 最適化されたデータ複製: 代替データソースとネットワークトポロジ認識を活用して、効率的なデータ転送計画を作成する
- ネットワーク効率: 既存のレプリカを可能な限り再利用することで、費用のかかる大陸間のデータ転送を最小限に抑える
- 並列処理制御: 変化するワークロードに対応するために容量を動的に拡張し、ユーザー間の公平性を確保する
- 回復力とエラー処理: 一時的な障害に対しては再試行を行い、再試行不可能なエラーは迅速に中止し、リアルタイム監視に基づいて適応的に再構成を行う
Google 検索においても世界中にデータセンターがあります。
アップデートの完了に一定の時間が必要な理由の 1 つがすべてのデータセンターに新しいアップデートが行き渡るのに時間がかかるからです。
データ転送に時間に長い時間がかかると、コア アップデートのようにメジャーなアップデートの展開完了にもっと長い時間がかかることでしょう。
各データセンターが保持しているデータが等しくないため、検索するごとに検索結果が大きく異なるといったことが起きるかもしれません。
Effingo について知っていたからといって、SEO において得することはおそらく何もないのですが、せっかくゲイリーが共有してくれた蘊蓄（うんちく）なので紹介しました。
それでも、ユーザーとしても SEO に取り組む身としても、Effingo に間接的には恩恵を受けていると言えるのではないでしょうか。
#Google #SEO #Effingo