SMART GOAL 〜サッカーのGKのための練習分析デバイス〜

はじめに 〜編集部より〜

さくらインターネットでは、ITコミュニティや研究プロジェクトなどの活動に必要なITインフラを支援する活動を行っています。その一環として、2023年度の未踏IT人材発掘・育成事業に採択されたプロジェクト「サッカーのゴールキーパーのための練習データ分析システム」に対して、当社の高火力コンピューティング(GPUサーバ)をはじめとする計算資源を提供しました。

本記事は、そのプロジェクトの成果を、メンバーである王方成さんにお話しいただいたものです。

メンバー紹介

このたび、サッカーのゴールキーパーの分析デバイス「SMART GOAL」というものを開発しましたので、それについてお話しします。

私達は3人全員が東京大学のサッカー部出身です。私は王方成と申します。2023年1月にサッカー部の研究開発部門として「UTokyo Football Lab.」を立ち上げました。現在は東京大学の修士1年です。高校生まではゴールキーパーとしてプレーをしていました。染谷大河は東京大学の博士1年で、UTokyo Football Lab.の共同代表を務めています。彼はゴールキーパーとしてU-15/U16の日本代表候補に選出された経験もあるという、プロに近い領域でプレーしてきた選手です。松尾勇吾も東京大学の修士1年です。主にデータ分析の部分でトップを担ってもらっています。このようなメンバーで、サッカー、特にゴールキーパーに関する深い知識と、ITの技術力を生かして開発を進めてきました。

ゴールキーパーコーチは少ない

本プロジェクトの背景には、私自身の強い原体験があります。

私は高校時代までゴールキーパーとしてサッカーをしていましたが、ゴールキーパーコーチからの継続的な指導を受ける機会になかなか恵まれない状況が続き、結局そのまま現役を引退するという形になりました。

日本サッカー協会に登録しているチームの中でゴールキーパーライセンスを取得したコーチがいるチームの比率は、約1割と言われています。つまり、ゴールキーパーコーチは10チームに1人ぐらいしかおらず、多くの選手が質の良い指導を受けられていないという現状があります。

そのため多くのチームでは、ゴールキーパーは自分たちでトレーニングを行ってます。またフィードバックも自分自身で行う必要があって、例えば私はプロ選手と自分の動きを動画で比べたりしていたのですが、こういう方法で学びを得るのは非常に難しいことだと思います。

今までに30人以上のゴールキーパー関係者にインタビューしてきましたが、やはり同じような振り返りの課題を抱えていました。例えば、自分のプレーの詳細を見るためにさまざまな画角の映像が欲しいとか、自分の動きとプロの動きを比較することでもっと早く上達したいといったものです。

プレーを3DCG化するサービス・SMART GOAL

そこで私達は、練習時のプレーを3DCG化するようなサービスを開発しました。それがSMART GOALです。

3DCGなので、自由に画角を変えて、動画では見られないような視点から自分たちのプレーを確認することができます。例えば上からの視点にすると、自分がどのような角度でボールに向かって飛んでいるのかがわかるようになります。また、全体を俯瞰して見ることもできます。

それから、複数の素材を重ねることで、他の人のプレーと動きを比較することもできます。プロのデータを取得して比較すれば、自分とプロの動きの違いを明確に理解することもできます。骨格のデータもすべて出ているので、このようにデータで客観的に違いを知ることできます。

さらには、継続的にSMART GOALを使用していくことで、失点したときのデータやセーブしたときのデータを蓄積をしていくことができます。こうして十分にデータが蓄積されると、その選手の苦手なポイントがわかるようになり、効率的にトレーニングできるようになります。このように、我々が開発したSMART GOALを使うと、選手の成長スピードを大きく高めていくことができると考えています。

プロダクトの背景

ここからは、プロダクトの背景について少し説明したいと思います。

サッカーにおいて、3次元トラッキング自体は新しい技術ではありません。例えばカタール・ワールドカップでは、スタジアムにたくさんのカメラを取り付け、選手の骨格を取得することで、半自動的にオフサイドの判定を可能にしていました(上図)。しかしながら、これらの3Dトラッキングはワールドカップなど大きな大会のデータしか取れません。

さらに実際の選手のプレー回数を考えてみると、1週間のうちほとんどの時間は練習に費やしています。ボールに触る回数やシュートの回数も練習の方が圧倒的に多く、さらに練習であればレギュラーの選手も控えの選手も同じようにプレーをすることができます。特にゴールキーパーに関しては、試合中に交代することがほとんどないので、試合で取れるデータはレギュラー選手のみのデータになってしまうという問題があります。これらを鑑みると、練習で取得できるプレーデータの量は、試合で取得できるデータ量の実に50倍ぐらいになると考えられます。

このため私達は、普段の練習でこそ、ITを用いたデータ分析デバイスが重要になると考えています。しかしながら現状では、GPSなどで選手の走行距離は測定できますが、例えばどのようなシュートを打ったのか、その結果がどうだったのか、というようなイベントデータを取得できるデバイスはありません。選手の上達のために本当に重要なのはイベントデータなので、これを練習で取得することは非常に価値のあることです。

練習におけるデータ分析の難しさ

しかしながら、練習におけるデータ分析にはさまざまな難しさがあります。

まず練習の多様性についてです。サッカーの練習はさまざまな形状のコートで行われます。同じ日の練習でも、ゴールを横に2つ並べて練習したり、その直後の練習ではゴールを動かして対面させ、ミニゲーム形式で練習をしたりします。このようにさまざまに変化する練習環境に対して、既存のデバイスでは安定してプレイデータを取得することは非常に難しいです。

次に予算規模についてです。先ほど紹介したような、たくさんのカメラを用いて分析するシステムは設備投資にものすごくお金がかかります。よって、なかなか手軽に導入することができません。特に練習場のようなお金をかけづらい環境では、なおさら安価で手軽なデバイスが必要とされます。

そこでSMART GOAL

これらの課題を解決するのがSMART GOALです。SMART GOALでは、たった2台のカメラを用いるだけで、ゴール前の広い範囲で3DCGを構成することが可能になります。

SMART GOALの使い方

SMART GOALの使い方を簡単に説明します。

ゴールのクロスバーの左右2か所にカメラを設置します。カメラに磁石を付けることでゴールへの設置を容易にし、わずか3秒でカメラを設置できます。

練習の模様を、クロスバーに設置したカメラで撮影します。

練習が終わったらカメラを回収し、撮影した動画をSMART GOALのサーバにアップロードします。

SMART GOALが生成した3DCGを見ながら分析します。

ユーザは図のような直感的なWeb UIを通して、自分のプレーを詳細に確認し分析することができます。画角を変えてみたり、コマ送りで再生してみたり、画面に線を引いてポジションを確認することもできます。このようにSMARTGOALは、安価でかつユーザにとっても非常に使いやすく理解しやすいシステムになっています。

Smart Goal Dock

また、私達はユーザの負担を軽減するためにSmart Goal Dockを開発しました。Smart Goal Dockは、接続されたカメラの左右を自動認識して、さくらインターネットから提供されたサーバに動画を自動でアップロードします。アップロードが完了するとカメラ内のSDカードから動画が削除されて空き領域が確保されるので、毎日カメラを使い続けることができます。カメラの充電もDockが行うため、ユーザはカメラをDockから取り外して、ゴールに取り付けて撮影して、またDockに戻す、これだけで毎日定常的に使用することができるようになります。

SMART GOALを支える技術

ここからは、SMART GOALに関する技術について、もう少し踏み込んだ説明をしていきます。

3DCGの作り方

まず、動画から3DCGを作成する方法について説明します。

まず2台のカメラの両方で動画を撮影します。次に、各カメラにおいて、人間の骨格推定を行います。各カメラにおけるボールの位置推定と人の骨格推定は、ボールについてはYOLOv8、人間については4D Humansといった公開済みのモデルを使用しています。特にボールのトラッキングや4D Humansを使うところで、さくらインターネットのGPUサーバを活用させていただきました。

選手の3Dモデル化については、まず魚眼レンズのモデルを推定した上で、各カメラ上の各ピクセルに写っている物体が、カメラから見てどんな角度の交線上にあるのかを推定します。そして、ゴール上に取り付けられた2つのカメラから、対象となる体の部位がどの交線上にあるのかを推定します。その交線の交点を求めることで、その体の部位の3Dの座標を求めることができます。これをすべての部位について行うことで、選手を3Dモデルとして再構成することができます。

またこれを動画の各フレームに対して行うことで、動画に映っている選手の動作を3Dモデルとしてとらえることができます。正面から見た場合でも、カメラの画角を動かして横から見た場合でも、正しく元の動作を再現できていることがこのCGからもよくわかるかと思います。

多様な練習への対応

先ほど述べた通り、練習でデータを取得する際には、多様な練習設定に対応していく必要があります。例えば練習中に大きくゴールを動かしてピッチサイズを変えて練習を行う場合でも、これまでと同じように2つのカメラで動画を撮影して推論を行うことで、ゴールを動かしていない場合と同じように、正確に3DCGを生成することが可能です。先ほどと同じように、この3DCG上でも自由な視点からプレーを振り返ることができます。

複数人のトラッキング

また、練習中の分析を行う際に解決すべきもう一つの課題として、動画に複数人が映っている場合への対応があります。撮影した動画には、プレー中のゴールキーパーだけではなく他の選手も同時に映り込んでいることがほとんどです。この場合、左右のカメラで写っている選手が異なるという問題が発生する中で、左右の動画に映っているどの人とどの人が同じ人なのかをマッチングさせる必要があります。我々はこのような状況下でも正しく3DCGを生成するための仕組みを開発しました。

まず片方のカメラに映った人を、もう片方のカメラに写ってる人全員とマッチングします。それぞれのペアに対してマッチングの誤差を計算して、最も誤差の少ないペアを採用してマッチングするというアルゴリズムを使っています。これを両方のカメラに映っているすべての人に対して行うことで、複数人がいる状況下でも正しく3DCGを生成することを可能にしました。

カメラの角度推定

次に解決すべき課題は、設置された2台のカメラの角度の推定です。

2台のカメラを磁石でゴールに設置してすぐ撮影を開始できるのはSMART GOALの大きな特徴の一つなのですが、一方でグラウンドに固定されたカメラとは異なって、カメラがどの方向を向いているかという角度を推定してあげる必要があります。我々はサッカーのピッチの特徴を生かして、この問題を解決することにしました。

ゴールにカメラを設置した際に、フィールド上にはゴールやペナルティーエリアの角など、カメラからの相対位置が常に一定になっているような点がいくつか存在します。カメラを設置したときにこれらの参照点の情報を用いて数理最適化を行い、データからカメラの角度を推定します。これによって毎回の練習における正確な測定を可能にしています。

タイムスタンプの同期

最後に、各カメラで得られた情報から3DCGを再構成するには、2つのカメラで撮影された動画を正確に同期する必要があります。2つのカメラで撮影した動画は必ずしも同期されていないので、このままでは3DCGを構成することはできません。

ではどうするかと言うと、この2つの動画の音声の特徴を取得し、それらをマッチングさせることによって、このように正確に2つの動画を同期させることができます。誤差は1フレーム程度であり、十分な精度を保っていると言えます。

ユーザの感想

SMART GOALを使えば、後方からのプレー映像が正確にCG化されます。また、ボタンを使って自由に視点を移動することができ、ライン(線)を使ってポジションも視覚的に確認できます。またゴール前のフィールドプレーヤーもとらえているので、プレーの文脈を含めた振り返り、そしてシュートを打った選手からの視点もチェックすることができます。

これらの機能について、東大サッカー部のゴールキーパーにインタビューを行いました。

「こういうフォワード視点の映像があると、フォワードからすると止められる気がしない、蹴れば絶対に入るだろうという感じなので、シュートを打たれる前に真ん中に入れるなって思うタイミングだったら、ちょっと前に出て間合いを詰めるだけで相手に与える圧がめっちゃ変わるんで良いかなと思いました」

次に王のプレーと染谷のプレーを、SMART GOALを使って比較してみます。

このようにCGを重ねて表示することで、膝の動きの違いがよくわかりますし、また横から見ると肘の動きについても大きな違いがよくわかるようになります。このようにいろんな角度で見ることで、さまざまな細かい動きがわかるようになります。

これについて、東大のゴールキーパーコーチに伺ってみました。

「普通のカメラの映像だと一方向しかないから、横からの映像がないし、実際に膝の角度だったり、縦方向の角度が隠れちゃう。あとはどれだけ前方向、ボール方向にアタックできてるかっていうのが、普通の映像だとはっきりわからないかな。CGで見ると、横からの角度で見るとはっきりわかりやすい。ボールに対して、赤い方(染谷)がしっかり遅れずに出てるから、たぶんより高く、力強くアタックできてる。青の方(王)は、初動が遅れた分、上半身が傾いてないから上の起き上がりが少なく、ちょっと沈んだ感じになる。映像の最後、ここでわかるかな。ボールにアタックする寸前のところで沈んでるっていうフィードバックがしやすいかな。こっちのCGの方が」

最後に、さまざまなデータでプレーを比較してみます。東大サッカー部の選手とプロサッカー選手を比較してみました。青の選手がプロサッカー選手です。

このようにCGで比較することも可能な上、目で見えるものだけでなく、データを使っても確認できます。今回の場合は横方向のスピードを見ると、プロサッカー選手の方が初速が大きくて、素早い動きであることがわかります。

東大サッカー部の選手にCGを見てもらいました。

「自分のプレイ映像は何回も見返してるんですけど、それでも気付けなかった手のムダな動きっていう細かい課題に、CGを見ることで気づくことができたので、それはすごくありがたいかなと思いました。あとは、普段なかなか一緒に練習することが叶わないトッププロの選手の動きと自分を重ね合わせることで、このCGがなければできないような比較が可能になるので、そこもすごくありがたいです」

今後の展開

ではここからは、今後の展開について話をしていきたいと思います。

我々はアメリカで活躍する高丘陽平選手にインタビューを行いました。高丘選手はJリーグでも優勝を経験しているようなキーパーです。高丘選手からはこんなコメントをいただきました。

• セービングのときの体の使い方(膝や骨盤の向き、関節の角度など)がわかるのはとても良い
• 特に自分はデータを見たいので、こういうのがあるととても助かる
• 現在は骨格を中心に見ているようだが、これを発展させて、筋肉の動き(どこからどういう順番で筋肉が使えているかなど)もわかるようになれば、さらに良い

高丘選手のインタビューから、プロ選手にとってはより詳細な細かい筋肉の動きの測定というのが重要であることがわかりました。今回のプロジェクトでは3次元骨格推定を行ったのですが、研究では骨格データから、どの筋肉にどれぐらいの力を使っているかを推定する技術が存在します。将来的にはこういう技術を導入することで、より詳細に筋肉の動きを改善したりとか、またケガの予防や、バイオメカニクス的な観点からのプレーの改善につなげることを目指します。

また我々の開発した技術は、他のスポーツにも応用展開が可能です。こちらのバスケットボールのCGは、実際にプレイしてもらった映像を我々のシステムを用いてCG化したものですが、このように他のスポーツへの応用というのも期待しています。

また最近では、世界最大級の見本市であるSXSWに出展をさせていただき、世界中のクラブチームの関係者の方と話をする機会も得ました(紹介記事)。国外にもいろんなサービスがありますが、やはり練習のときにこういう細かいデータをしっかり取れるサービスはほとんどないようで、アヤックス・アムステルダムなどの世界的にもトップレベルのチームの関係者にも非常に興味を持っていただいて、我々としてもすごく自信のつくイベントになりました。

それから最近は地上波にも出演をさせていただきました。5月にテレビ東京の「FOOT×BRAIN」という番組に出演させていただいて、元日本代表の槙野智章さんやMCの勝村政信さんとお話をさせていただきました。これも関係者の方や我々のことをよく知らなかった方々からも非常に大きな反響がありまして、いろんな企業やクラブチーム関係者からもお声がけをいただいているような状況になっています。

将来的には、我々の活動、もちろん今回作ったプロダクトもそうですけど、それ以外でも、テクノロジーを使ってスポーツやサッカー界でできることはまだまだたくさんあると思っています。そういったものを開発するためにUTokyo Football Lab.を設立しました。最終的にはこれらの技術を使って世界一のサッカー研究機関を日本に作り、日本のワールドカップ優勝に貢献していきたいと考えています。