トヨタが試す液浸冷却サーバーはなぜ石狩データセンターに行ったのか？

※こちらの記事は2020年03月25日にASCII.jpで公開された記事を再編集したものです。
文● 大谷イビサ　写真● 曽根田元

トヨタ自動車がさくらインターネットの石狩データセンターの一角を借りて最新ハードウェアの実験をしている。そんな話を聞きつけ、巨大なつららが建物を覆う石狩データセンターまで行ってきた。話を聞いたのはコネクティッドカー戦略を支える技術を検証しているトヨタ自動車の矢澤祐司氏だ。

コネクティッドカーで集めたビッグデータで新しい価値を

今回話を聞いた矢澤祐司氏はYahoo! JAPANのインフラを8年近く担当して、サーバー数万台・容量数ペタというハイパースケールの運用知見を得てきた。その後、フラッシュストレージのFusion-ioやSoftware Defined Storageを手がけるScalityでストレージのプロフェッショナルとしてキャリアを積み、2017年にトヨタIT開発センターに入社している。現在ではトヨタIT開発センターがトヨタ自動車に吸収されたことで、現在はトヨタ自動車に所属し、コネクティッドカー戦略を実現するための要素技術を検証する立場にある。

「お客様としてアプローチしていたトヨタの方から、エクサやゼタといった話を聞いて、これは行くしかないなと（笑）。ヤフーでハイパースケール環境、Fusion-ioで超高速なストレージ、そしてScalityで巨大な分散ストレージを経験したので、それら全てが求められる環境でもう一度エンドユーザーに戻ってこようと思って転職しました」（矢澤氏）

トヨタでの矢澤氏の役割は、コネクティッドカーやMaaS、そして自動運転の開発を進めるべく、サーバーやストレージなど最新ハードウェアをキャッチアップすることだ。ソフトウェア化する自動車業界の中で、なぜ最新のITハードウェアを追っているのか？　これにはトヨタが全社を挙げて取り組むコネクティッドカー戦略について理解する必要がある。

同社では多くの車種にDCM（Data Communication Module）を搭載することで、さまざまなデータを収集し、ビッグデータによる新しい価値の創出を目指している。既存のテレマティックサービスの拡張や自動車と交通インフラが連動したITS（Intelligent Transport Systems）に加え、将来的な自動運転も見据えている。

コネクティッドカーによって収集されたビッグデータはポテンシャルも大きい。車がセンサーとなり、走行中のさまざまなデータを集めることによって、多種多様なモビリティサービスのほか、渋滞や事故、災害などの社会課題の解決に寄与できる。

「たとえば、普段と異なるデータが来たら故障を疑うとか、リコール対象の車両いち早く特定するとか、運転スキルに応じた保険サービスが実現できます。さらに車両からのデータに基づいた『ダイナミックマップ』で、路面のスリップ状態や落下した段ボールの位置を共有することで、安全運転や事故防止に寄与できるはずです」（矢澤氏）

現在、実用化されているのは、ナビプローブ情報を使った渋滞情報や災害時に通れる道をマップ化するといった事例。今後は車載カメラやリモートセンサーの「LiDAR」を用いたダイナミックマップ作成や障害物検知などが実用化され、精度の高いモビリティサービスや社会課題の解決がより現実味を帯びてくる。

ビッグデータに対応するストレージの高密度化と冷却

どのような研究開発をするにせよ、鍵になってくるのはビッグデータの扱いだ。既存のナビプローブの送信量は数百MB／月に過ぎないが、車の運転制御を行なうECUの状態を監視したり、ダイナミックマップを作成するためには適時でも数十GB／月になり、周辺センシングデータまで含めるとさらに巨大になる。

「データ量と通信コストのバランスが難しいです。どんなにいいサービスを作っても、通信コストが大きすぎて収益が出なければ意味がありません。ですから、車やエッジ側でデータを選別したり、長期保存のために圧縮するとか、そういったことも模索が必要です」（矢澤氏）

また、位置に依存したデータのリアルタイムな収集が必要だが、車自体がそもそも高速で移動するためリアルタイム性を確保するのが難しく、場所によっては常時接続も保証されない。さらに車の開発期間や利用データのライフタイムが長いため、サービス継続のためのインフラの設計も必要だし、データの種類も多種多様になる。

「電力や冷却性能など車の中の限られたリソースでどこまで制御できるのか。データセンターやクラウドなどをIT基盤を利用できたら、どこまでの処理が可能なのかを見極めるのが難しい。とはいえ、自動運転を見据えると、通信状態が不安定でも安全を担保するのは最優先。『たられば』に『たられば』を重ね、全部乗せの要件で『走るコンピューター』を作っているのが現状です」（矢澤氏）

こうしたビッグデータを支える基礎技術で課題になるのが冷却だ。最新の性能や容量などの要件を満たすべくNVMe SSDを用いた場合、ドライブあたりの最大消費電力は40Wにおよぶ。最近では2Uにこの40Wドライブを108本積み込めるサーバーが現れているので、ラック単位で見ると最大86.4kW/40Uにおよぶ。特にコストを考えてストレージの階層化管理を行なうと、読み出しだけではなく、書き込みも頻繁に行なうことになる。今後もこのレベルで高密度化したサーバーが増えてくることになるが、特定のラックに熱源が集中すると、電力と空調設備のバランスでなかなか冷却は難しい。せっかく最新のハードウェアがあっても、障壁があって使えないというのはトヨタとしては問題だ。

そんな中、矢澤氏が長らく検証を続けてきたのが液浸冷却サーバーだ。液浸冷却とは文字通りサーバーを丸ごと液体に浸して冷却する方法。フッ素系の不活性液体である「フロリナート」を用いることで、サーバーの発熱を奪う。もちろん、さび付くこともなく、電気も通さないのだが、サーバーのマザーボードが液体に浸されているビジュアルは何度見ても強烈だ。

「今のサーバーって空冷前提なので、風で冷やします。でも、風で冷やすのではなければ、このフォームファクタじゃなくていいんですよね。もっと集積密度を高められるかもしれませんし、奥行きだって必要なくなります。ラックあたり80kWのサーバーを冷やすって、液浸冷却であればそれほどハードル高くありません」（矢澤氏）

赤坂から石狩へ　液浸冷却サーバーは北の実験場へ

石狩データセンターの一角に鎮座する液浸冷却サーバーは、矢澤氏がもともと所属していたトヨタ子会社のトヨタIT開発センターの赤坂オフィスに設置されていた。オフィス内のサーバールームに組み付けられていたのだが、2019年4月にトヨタIT開発センターがトヨタ自動車に吸収合併されることになり、オフィスが引っ越すことになった。

「2018年の夏に吸収合併に伴うオフィス撤退がアナウンスされたので、サーバーの引っ越し先を探し始めました。汎用サーバーのコロケーション場所はわりとすぐに見つかったのですが、液浸冷却サーバーは難しかった。冷媒は揮発性が高いので安全なのですが、なにせ見た目が液体なので、通常のデータセンター事業者はこれを置きたがたらないのです」（矢澤氏）

行き先が見つからず、途方に暮れていたところ、台湾のイベントでたまたま出会ったのがさくらインターネットの担当者だった。他の事業者が難色を示した液浸冷却サーバーのコロケーションのため、さくらインターネットは設置する場所にあわせて細かいプランを提案し、結果として石狩データセンターの一角を借りて、運用することになったという。今後は液浸冷却サーバーのコロケーションのみならず、都市部では難しい取り組みを石狩でスタートさせる予定だ。

「たとえば、大規模な災害が起こったときに、トヨタのコネクティッドカーや将来の自動運転車がどのように動くのか、とても懸念しています。こうした災害に対して、コネクティッドカーのインフラ基盤を一式搭載したコンテナデータセンターみたいなものを提供できないかと思っていました。こうした取り組みに関しても歓迎してくれたのが、さくらインターネットさんだったんです。商用データセンターで液浸冷却システムを最初にやろうと力強く言ってくれました。私たちの取り組みに対する共感がありがたかったです」（矢澤氏）

地方型データセンターを代表する石狩データセンターは、単なるコロケーション設備だけではなく、直流給電や新しい冷却方式などさまざまな実証実験の現場となってきた。今回取り上げた液浸冷却サーバーをはじめとした基礎技術の研究も、次世代の自動運転を支える一助になっていくかもしれない。

関連サイト

• トヨタ自動車
• トヨタ大手町