さくらのバックボーンネットワークをアメリカに延伸した話

当社でバックボーンネットワークの設計や運用、対外接続の交渉などを担当しております山口です。

当社では2020年12月に、アメリカ西海岸の都市、シアトルにバックボーンを延伸し、現地のインターネットエクスチェンジであるSeattle Internet eXchange(SIX)に接続、運用を開始しました。

さくらインターネットとして海外にバックボーンネットワークを延伸して、他のネットワークとトラフィック交換をするのは初めての試みとなります。また、日本の他のクラウド・データセンタ事業者においても海外にネットワークを伸ばしているケースは少ないようで、珍しいケースと言えるかもしれません。

今回は、この海外バックボーン構築の舞台裏についてお話ししたいと思います。

日本のクラウド事業者が海外にバックボーンを伸ばす意味

海外バックボーンを持っていない場合、当社がアメリカにあるISPやクラウド事業者と通信するには、すでに海外と接続している上流ISP(トランジットとも呼び、当社ではIIJ(AS2497) / NTT Communications(AS2914) / KDDI(AS2516)の3社を利用しています)に通信を中継してもらうことになります。

海外バックボーンを持たない多くの事業者はこの方法を使っており、手間のかからない方法ですが、通信を中継してもらうためには当然ながら費用を支払う必要がありますし、「どの経路を経由して、どこで宛先となるアメリカなど海外のISPやクラウド事業者に通信を渡してもらうか」は中継を任せる上流ISP次第となり、当社でルートをコントロールすることはできなくなってしまいます。日本の上流ISPの品質は高く、多くの場合はこれでも問題ありませんが、時に遠回りのルートを経由して通信の遅延時間が長くなってしまったり、中継経路が混雑していたりするとパケットロスが発生してしまう可能性もあります。

一方、海外バックボーンを自社で持ち、アメリカのISPやクラウド事業者と現地でお互いが対等な立場で接続(ピアリング)することができれば、当社で経由する経路や、どこで宛先のネットワークに通信を渡すかを決めることができる上、回線の利用帯域のコントロールも当社で行うことができるため、より低遅延で安定した通信環境を構築することができ、より高品質なネットワークを提供することが可能になります。また、日本とアメリカ間の回線やアメリカ側で利用するネットワーク機器などのコストは追加で発生しますが、日本で上流ISPに費用を支払って通信を中継してもらうよりもコストが安くなる場合もあります。

当社は主に国内のお客様を中心にサービスを提供しておりますが、欧米の大手クラウド事業者と当社のクラウドを併用するお客様も増えており、より高品質なネットワークを提供するため、海外にバックボーンを伸ばすことになりました。

シアトルとSIX

シアトルはワシントン州北西部にある都市で、メガクラウドをはじめ多くのインターネット企業が集まり、同じくアメリカ西海岸のカリフォルニア州ロサンゼルスと並び、一大拠点となっています。日本からアメリカ西海岸に接続する場合、このどちらかの都市を選択することになりますが、ロサンゼルスより日本からの距離が1000km程短く、遅延を最小限に抑えることができるシアトルを選択しました。

SIXは、米国西海岸の中でも大きなインターネットエクスチェンジの一つで、大手のクラウド事業者やISPをはじめ、350を超えるネットワークが接続しています。SIXは非営利法人によって運営されており、接続に初期費用は必要になるものの、月額費用が不要であるという特徴があります。（接続に必要となる構内回線などの実費は別途負担する必要があります）

国際回線の話

太平洋を挟む日本とアメリカの間の通信は海底に敷設された光ファイバ(海底ケーブル)によって実現しています。日本とアメリカの間の主な海底ケーブルは、Pacific Crossing-1、TGN-Pacific、Japan-US(JUS)、FASTERなどがありますが、日本側は海底ケーブルの陸揚げに適した場所などの関係で、主に房総半島や茨城県からアメリカに伸びる北回りのルートと、愛知県の渥美半島や三重県からアメリカに伸びる南回りのルートを利用しているものがほとんどのようです。

一方、アメリカ側は西海岸では主にカリフォルニア州付近、そしてワシントン州(シアトル付近)に海底ケーブルが陸揚げされています。2州の間は1000km以上の距離があり、海底ケーブルの陸揚げポイントによっては、アメリカ国内だけでも遅延が大きく増加することになるため、できるだけシアトル近くに陸揚げされている海底ケーブルを利用する必要がありました。

当社では、Pacific Crossing-1(PC-1)という海底ケーブルの北回りルートを利用している通信キャリアから10Gbpsの専用線サービスを購入して利用しています。このケーブルは日本側が茨城県の阿字ヶ浦、アメリカ側がワシントン州のHarbour Pointeに陸揚げされており、日本とシアトルの間では最短ルートを通る海底ケーブルの一つです。

※世界中に張り巡らされた主要海底ケーブルのルートは以下のサイトで見ることができます。
https://www.submarinecablemap.com/

米国でのピアリング

アメリカまで国際回線を用意してもすぐに通信ができるわけではなく、アメリカのISPやクラウド事業者と現地でお互いが対等な立場で接続(ピアリング)をして、BGPによる経路情報の交換が必要になります。当社でも私をはじめピアリング担当者が、メールやピアリング担当者が世界中から集まるカンファレンスなどで、ピアリングを希望する先のネットワーク担当者と交渉を重ねています。当社では以前より国内外でのピアリングやカンファレンスなどで多くのISPやクラウド事業者との関係を築いてきたことを生かし、比較的スムーズに交渉を進めることができています。もちろん、交渉が成立せずピアリングができないケースもあります。交渉が成立しない理由はさまざまですが、ネットワーク構成上、接続をすることで逆に遅延が増加してしまうケース、双方のネットワーク構成上メリットが少ないケース、ビジネス上の事情により有償での接続サービスを勧められるケースなどがあります。

個々のネットワークによって状況が異なるため、あまり詳しい情報は公開できませんが、海外でのピアリング特有の事情によって接続を見送ったケースについて一例を紹介したいと思います。

アジアのネットワークとの接続

日本から比較的近いアジアのネットワークとアメリカでピアリングをした場合、通信が太平洋を往復してしまい、大きな遅延が発生してしまうケースがあります。このようなアジアのネットワークとは日本国内でピアリングすることが好ましいですが、日本国内のインターネットエクスチェンジに相手が接続していないなどでピアリングできない場合は、日本の周辺国でそのネットワークとピアリングしている上流ISPに通信を中継してもらった方が良いと考えることができます。

日本国内でもアメリカと同一の経路情報を交換できるネットワーク

当社では日本国内とアメリカで同一の経路情報を受け取った場合は、日本で受け取った経路情報を優先して通信をする設計をしています。したがってこのようなケースにおいては、少なくとも上りの通信においてはアメリカ経由で流すことはできず、ピアリングするメリットが少ないと考えることができます。

ヨーロッパのネットワーク

日本からヨーロッパへはユーラシア大陸を超えて到達するルート(170ms程度の遅延)と、アメリカを経由して大西洋を超えるルート(270ms程度の遅延)があります。例えば現在、上流ISPに通信を中継してもらい、ユーラシア大陸経由で通信しているネットワークとアメリカでピアリングをすると、通信経路が大西洋経由に変わってしまい、遅延が増加してしまうケースがあります。このような場合もアメリカでピアリングをしない方が良いと考えることができます。

接続による効果と課題

SIXでのピアリングにより、アメリカ西海岸でサービスを提供している某クラウド事業者との間では遅延が10ms近く減少しています。また、接続先のネットワークによっては、アメリカ中部や東海岸との間でも数msから10ms程度の遅延の減少を達成することができました。この10msという値をわずかであると感じる方もいらっしゃるかと思います。しかし、TCPの通信では10msの遅延であっても大きくスループットが低下する上、昨今はゲーム、映像配信、音声などの低遅延なネットワークを求められるアプリケーションも多く、10msの改善は大きな意味があると考えています。

また、日本ではピアリングのできないネットワークともピアリングをすることができ、上流ISPへ流れる通信量の削減にも効果を発揮しています。

一方で、海外バックボーンネットワークの取り組みはまだ試験的な部分もあり、限られた予算の中で今後どのようにこのネットワークを発展させていくかが課題になっています。

おわりに

海外バックボーンの構築にあたって、利用する機材や回線などの選定、現地での調整や交渉などもすべて当社のエンジニアが行いました。構築作業については2020年3月末に当社エンジニアが渡米して行う予定でしたが、新型コロナウイルス感染症の影響により構築直前に渡米ができなくなりました。そこで、さらに半年ほどかけてさまざまな設計変更とリモートでの構築を行い、2020年12月の運用開始となりました。言語の壁や、日本とアメリカでネットワーク運用やビジネスの文化の違い、経路情報の制御で国内とは違った視点で検討しなければならないことなど、国をまたいだバックボーン構築の難しさを痛感しています。
　
しかし、新たな知見を得られた部分も多く、バックボーンネットワークの設計や運用をするエンジニアとして本プロジェクトに関わったメンバーは大きく成長できたのではないかと感じています。一部のISPや通信キャリアを除いて、他社ではなかなかできない経験でもありますので、今後も海外バックボーンの運用を通じて、若手メンバーを中心に多くの知見を得てほしいと考えています。

当社では、今後もこのような品質改善の取り組みを継続し、より良いクラウドサービスを提供するために努力を重ねて参ります。