UPSと海底ケーブルとGPUインフラの話を聞いてきた 〜JADOG19ミーティングレポート〜
はじめに
JADOGは、データセンター事業者をはじめ、ユーザー、メーカー、SIer、ネットワーク事業者など、多様な業界のプレーヤーが業界の枠を超えて集まり、建設的な情報共有と活発な議論を行うコミュニティーです。これにより、各業界の発展に寄与することを目的としています。概ね年2回程度のミーティングを開催していますが、2026年8月28日(金)にはFujitsu Uvance Kawasaki TowerにてJADOG19ミーティングが行われました。
イベントのプログラムは公式サイトをご覧いただくとして、本記事ではその中から、
- 東芝二次電池SCiBのご紹介及びUPS用途における導入メリットや新提案のご紹介
- 国際海底ケーブルの基礎と最近の傾向の解説
- ＜パネルディスカッション＞GPU時代のインフラ運用のリアル 学びを持ち寄るディスカッション
の内容をレポートします。
SCiBの紹介とUPS用途における導入メリット
東芝の市道直喜さんから、リチウムイオン二次電池であるSCiBの紹介とUPSへの適用に関する発表がありました。
はじめにUPSの市場状況について、世界全体と日本国内に分けて解説がありました。UPSには鉛電池を使ったものとリチウム電池を使ったものがあります。鉛は実績や価格優位性があり、リチウムは軽量、省スペース、長寿命といった特長があります。世界ではデータセンター向けを中心にリチウムの採用が増えつつあり、2021年時点では鉛73%・リチウム27%という状況です。2030年には鉛とリチウムが半々程度のシェアになるという予測もあります。一方、日本国内では消防法や建築基準法などの制約があるためリチウムが使える場面が限られており、2021年時点で鉛97%・リチウム3%です。
そのような状況の中、東芝で開発しているSCiBの紹介がありました。まず電池の分類から話が始まりました。電池には化学電池と物理電池があります。化学電池の中で使い切りのものが一次電池、充電して繰り返し使えるのが二次電池です。二次電池の材料は鉛やニッケルなどさまざまなものが使われますが、SCiBはリチウムイオン二次電池です。
さらにリチウムイオン二次電池にも細かい分類があります。主に電極材料の名前で表記され、例えばニッケル・コバルト・アルミニウムを使ったものはNCAと呼ばれます。SCiBは負極にチタン酸リチウムを使用しているためLTO(L=リチウム/T=チタン/O=酸素)に分類されます。LTOを採用することのメリットとしては、内部短絡リスクが低い、急速充電が可能、低温でも性能が出る、充放電に伴う体積変化が少ないので長寿命、内部短絡に対する保護機能を持つため発煙・発火の可能性が極めて低い、といったものがあります。
SCiBは自動車・鉄道・船舶・産業機器など多くの分野で採用されていますが、ここではUPS用蓄電池としての利用について話がありました。UPS用蓄電池にリチウムイオンを採用するメリットとしては、鉛より寿命が長い、小型軽量化できる、出力が高いといった点があります。一方でコストは鉛よりも高くなります。小型軽量化に関しては、鉛を使用したUPSに比べて床面積で1割〜6割減、重量は約半分〜1/4になるそうです。
最後に現在のUPS運用が抱える難点として、UPSの更新と電池の更新サイクルのずれによるコスト上昇、UPSを設置する環境温度の維持(温度が高いと電池寿命が縮まる)、鉛電池の価格上昇、リチウムイオン電池の発火リスクなどを挙げました。SCiBは発火リスクが低いため15年以上の使用が可能で、実際に10年経過したSCiBの容量維持率が90%以上というデータも提示されました。将来はUPS用途において30年使える電池を目指したいそうです。
国際海底ケーブルの基礎と最近の傾向の解説
海底ケーブルのコンサルタントをしている西川均さんから、国際海底ケーブルについての話がありました。
前半は海底ケーブルの基礎知識の解説でした。海底ケーブルの設計寿命は25年で、実績としてそのほとんどが寿命の限界近くまで運用されています。構成要素は端局装置と海中設備からなります。端局装置は陸揚げ地点にて陸上網と海底ケーブルを接続する装置です。海中設備としては海底ケーブルや中継器、海中分岐装置といったものがあります。
近年の海底ケーブルシステムは、トランスポンダー(中継機)の伝送速度が著しく向上しています。10年ほど前は10Gbpsだったのが最近は400-500Gbpsで伝送するようになっています。またネットワーク接続も陸揚げ局同士を結ぶ形(CLS-CLS)だったのが、近年は海底ケーブルからの信号を直接データセンターに送り込む方式(PoP-PoP)が採用されるケースが増えています。陸揚げ局もコンテナ型の簡易なものが登場しています。
それから、海底ケーブル、光中継器、光海底分岐装置なども写真付きで解説されました。ケーブルは何種類かあり、敷設する海の深さなどで使い分けます。サメがかじってしまうのを防ぐための被覆が施されたケーブルもあります。
海底ケーブルのネットワーク構成は、Point-to-Point、リング、Fish Bone(魚の骨のように1本の幹線から複数の支線が分岐して陸揚げ局に接続する構成)、Festoon(沿岸の複数拠点をループ状に接続する構成)といったものがあります。
ケーブル船や修理についても説明がありました。ケーブルを敷設する際はケーブル船が航行しますが、このときに船の位置制御が重要で、このためにDPS(自動船保持システム)という仕組みがあります。ケーブルの敷設工程も簡単にですが解説がありました。
また、ケーブル船による海底ケーブルの障害修理に関しても解説がありました。ケーブルに障害が起きたときの修理方法は、陸揚げ局から障害探査を行い、その推定点近くに探索機(Cut & Hold Grapnel, ケーブルをつかむと切断し、片方をつかむ錨器具)を下ろして、ケーブルをいったん船に回収し、ブイを付けて海底に沈めます。次に、反対側のケーブルを同様に回収して障害箇所を除去した後に予備ケーブルを取り付け、ブイを付けた側のもう一方のケーブルと接続します。最後に通信試験を行い、ケーブルを再び海底に沈めます。ちなみに海底ケーブルの障害はここ10年で約260件ほど発生しており、そのうちアジア圏が35%でもっとも件数が多いです。
後半は最近の海底ケーブルを巡る市場動向です。近年の海底ケーブルのトラフィックは、ハイパースケーラによるものが8割ぐらいを占めています。中でもGoogleは自前による海底ケーブル敷設に最初に取り組んだ企業で、現在でも最大の海底ケーブル網を保持しています。MetaやAmazonなども自社サービス用の海底ケーブルに投資しています。海底ケーブルの事業者としては、アルカテル・サブマリン・ネットワークス(ASN)、サブコム、日本電気(NEC)が3大ベンダーで、この3社で約90%のシェアを占めています。国際回線の価格動向は、新規建設ケーブルほどコストが下がる傾向にあります。これは1本の海底ケーブルに収容するファイバーの本数の増加や、回線速度の向上によるものです。最後は地勢動向の話題で、特に中近東には海底ケーブルが集中していますが、これが国際的な衝突の関係で攻撃の対象になっているという話がありました。
＜パネルディスカッション＞GPU時代のインフラ運用のリアル
イベントの最後のセッションとしてパネルディスカッションが行われました。セッションテーマは「GPU時代のインフラ運用のリアル」で、GPUインフラを運用している各社からパネリストとモデレータが登壇しました。登壇者は以下の方々です。
- 高橋大輔さん (サイバーエージェント)
- 西村恭平さん (ソフトバンク)
- 中村槙吾さん (GMOインターネット)
- 高峯誠さん(モデレーター) (さくらインターネット)
各社のGPU基盤運用の取り組み
はじめにパネリストの皆さんから、各社のGPUインフラについて説明がありました。
サイバーエージェントでは2020年から「Cycloud ML Platform」という社内用のGPU基盤を運用しています。サイバーエージェントグループ内には数百のプロジェクトがあり、GPU基盤を利用するものだけでも100以上あります。用途もLLM学習や推論、画像生成、GPUレンダリングなどさまざまで、規模も利用期間もかなり幅があります。クラウドにもオンプレミスにも対応しており、用途に応じて使い分けて提供しています。さらにこの基盤を使った生成AIを自社の事業でも利用しており、キャッチコピーや画像の生成、CyberAgentLMという自社開発LLMの提供を行っています。今後はGPUの増強や分散推論などを検討していきたいとのことです。
GMOは2024年からGPUクラウド事業に参入しました。その基盤を構築し運用する中で取り組んだことを3つ紹介しました。1つはGPU基盤に適した冷却環境の整備です。これはQTnetと共同で取り組んだもので、CFD(流体解析)による温度や気流の可視化を行った上で、その結果をもとにラックレイアウトやサーバー背面の風向き、排熱経路を設計しました。2つ目は使いやすいサービス設計で、構築不要なHPCクラスタと、自由なOS・環境を構築できるベアメタルを選べるようにしました。3つ目は監視で、GPUは常時監視して異常検知時はすぐに交換できる他、メトリクスを収集して不良の疑いがあるGPUを予防交換することもやっています。
ソフトバンクはAI用のデータセンターを府中(東京都)と生駒(奈良県)に持っており、さらに苫小牧(北海道)と堺(大阪府)に建設する予定です。同社の取り組みからは液体冷却の変化について説明がありました。現在はIn-Rack CDU(ラック内蔵型の冷却液分配ユニット)を使用していますが、これでは1ラックあたり150kw程度のGPUしか載せられず性能的な限界を迎えています。今後はラックの1列全体を外側から液体冷却するIn-Row CDUを導入することが必須になるだろうと考えています。In-Row CDUの利用においては冷媒の品質管理が重要で、異物の排除、サビが発生しないような防食性、水漏れ防止などへの配慮が必要とのことです。
ディスカッション
後半はディスカッションの時間で、モデレーターの高峯さんから提示された話題についてパネリストが回答していきました。
最初のお題は「GPU基盤がデータセンターに求める要件」です。高橋さんは、GPUの強化とともに電力などの数字要件がどんどん上がっていくので、データセンター事業者がそれをどれぐらい理解しているかが選定ポイントになると回答しました。中村さんは「いつからGPUサーバを設置して動かせるか？」を重視し、その次に土地や電気のことを考えるとのことです。西村さんからは、一般的にデータセンターは納期が長いので、数年先を見据えて動く必要があることと、情報を早く仕入れることが大事というコメントがありました。
次の話題は「GPU基盤ならではの苦労話と解決策」です。高橋さんから出たのは搬入の苦労です。GPUサーバは非常に重く、大きなものは200kgぐらいあるそうです。ラックに搭載する際も電動リフトが必要です。中村さんからは通信の苦労話がありました。GPUノード間の通信には光ファイバーが使われますが、これがわずかな汚れでも通信トラブルを起こすので、MPOケーブルの先端をナノメートルレベルで確認できる端面カメラを導入してきれいにしています。西村さんからは、顧客から各種情報をもらってインフラを設計するが、途中で仕様が変わると消費電力が大きく変化するので、そこで苦労するという話がありました。対策は自身のメンタルを強化することだそうです。
最後に「将来のGPU基盤戦略とチャレンジしたいこと」という話がありました。高橋さんは、パブリッククラウドも含めて複数拠点を束ねた利用にチャレンジしたいそうです。これは将来的に分散推論が必要になることを見込んでのものです。課題は転送データ量が多くなることです。中村さんからは液体冷却の早期導入、NVIDIA以外のGPUの導入と、個人的な希望として自社設備データセンターの建設が挙がりました。西村さんは、これまでのノウハウをもとにしたGPU基盤のパッケージ化と、1社専有のデータセンターを作ってみたいとのことです。
おわりに
海底ケーブルやUPSなどは概念的には知っていても技術的な詳細までは知る機会が少なく、勉強になる話が多く聞けました。GPUインフラの話はJANOGミーティングで当社エンジニアが何度か発表していますが1、事業者同士の話はまた別の角度で楽しめました。
最後になりましたが、さくらインターネットはJADOGのホームページなどに使うサーバを提供しています。これからもコミュニティの活動を支援していきたいと思います。ちなみに次回のJADOGは2027年2月19日(金)に、TISI株式会社 豊洲オフィスで開催予定とのことです。詳細は決まり次第、JADOGのホームページに掲載されると思います。このレポートを読んで興味を持った方はぜひご参加ください。
それではまた次回のイベントでお会いしましょう！