日本初の競技機械学習大会！【第1回 Cpaw AI competition】開催レポート
こんにちは！ Cpaw 代表の伊東道明です。
普段はさくらインターネット 高火力チームでアルバイトをしています。
2017年10月29日に、さくらインターネット 西新宿セミナールームにてAI技術を駆使して競争する「第1回 Cpaw AI competition」を開催しました。このイベントは、「Cpaw」主催、「全脳アーキテクチャ若手の会」共催で開催されたもので、限られた時間内で様々なデータセットの識別器を作成し、精度を競い合う大会でした。会場と計算資源は、私のアルバイト先のさくらインターネットから提供していただきました。本記事では、このイベントの様子をレポートします。
Cpawとは
工学院大学、法政大学の学生で立ち上げたIT団体で、月1回開催されるLT大会やセキュリティコンテストの運営、オープンソースカンファレンスへの出展等を行っています。
メンバーは基本的に学生または若手エンジニアで構成されていて、IT技術に興味を持っている方なら参加可能です。現在のメンバー数は約40人です。
「競技機械学習」の開拓
現在、プログラミング技術を競う大会は、「ACM-ICPC」というプログラミングコンテスト等、日本や世界各国で頻繁に開催されています。
また、セキュリティの技術を競う大会も「DEF CON CTF」や「Hardening Project」等様々なものが開催されていて、Cpawでも入門者向けの「CpawCTF」や初心者〜中級者向けの「CpawCTF2」をオンラインで提供しています。
「機械学習」は、近年すさまじい勢いで発展しているAI技術の一つです。ですが、他の分野に比べてまだ”競技性”を強く持ったイベントが少ないと感じています。特に日本国内では、いくつかの企業が不定期でポツポツと開催している程度です。
そこで、私たちはより競技性が強く、参加者が楽しめる「競技機械学習」というジャンルを開拓すべく、Cpaw AI competitionを開催しました。
大会概要
大会の流れは、以下のようになっています。
- いくつかのデータセットと、テストデータが与えられる
- 与えられたデータセットを使い、テストデータのラベルを推測してラベルをつける
- ラベルをつけたテストデータをコンテストサイトに提出し、全てのテストデータの合計正解率を競う
今回は、さくらインターネットから「さくらのクラウド」サーバ（12Core, Mem96GB）を参加者全員に貸し出していただいたため、参加者はそれぞれのさくらのクラウドのサーバ上で機械学習やラベル付与作業を行いました。また、推測時に機械学習などを使う場合は、さくらのクラウド以外で行うのを禁止しました。
大会に用いたデータセットは、次の5種類を用意しました。
- 古代文字の分類（画像）
- ファッションアイテムの分類（画像）
- 芸能人ブログ記事の分類（自然言語）
- マルウェアの分類（json）
- URLの分類（文字列）
画像、自然言語、文字列、json形式と様々なデータセットを揃えました。
競技時間は13:30から18:00の４時間半でした。他の機械学習の大会は数日〜数ヶ月単位で行うことを考えると、非常に短い時間です。今回この短い時間に設定した理由は、参加者の作業時間が絞られることによって、戦略性が増し、みなさんにより楽しんでいただけるのではないかと考えたからです。
当日レポート
大会当日（10/29）は、台風が直撃してしまいました。
予定していた参加者も参加できなくなってしまうのではないかと心配したのですが、悪天候にも関わらず参加予定者のうち約6割の20名もの方が会場に来てくださりました。
台風の影響による遅刻や会場を間違えてしまった参加者が多かったため、定刻より10分遅らせてオープニングを開始しました。オープニングでは、私たちCpawや共催の全脳アーキテクチャ若手の会の説明と大会の注意事項等の説明をしました。
オープニング後、定刻通り13:30に競技を開始しました。参加者のみなさんは黙々と問題に取り掛かり始めました。
コンテストサイトは、以下のようなデザインになっています。
Challengesタブをクリックすると問題一覧が表示されます。
問題名をクリックすると、その問題の回答をcsv形式で提出するページになります。
ここで識別器等用いてラベルをつけたテストデータを提出すると、正解率が表示され、スコアが更新されます。
競技中は、コンテストサイトのランキングが正しくソートされない・答えが異なるファイルになっている等のトラブルが発生してしまいましたが、なんとか無事競技を終えることができました！
競技終了後、しばらく休憩して全脳アーキテクチャ若手の会の方々から問題解説をしていただきました。
まず、全脳アーキテクチャ若手の会元会計 藤田さんから、画像系のデータセット解説をしていただきました。
次に、全脳アーキテクチャ若手の会元副代表 島田さんから、文章系のデータセットについて解説をしていただきました。
問題解説のあと、今回会場と計算リソースを提供していただいたさくらインターネット 高火力チームの長谷川さんから、さくらの高火力コンピューティングについてご紹介をしていただきました。
そして、いよいよ優勝者の発表です。
優勝は、hogehogeさんでした！！（コンテストサイト登録時の名前です）
ちなみに優勝商品は、「Google home mini」でした！ hogehogeさんはすでにお持ちでしたが、喜んでいただけたようでよかったです。
上位の最終ランキングは以下のようになりました。
ユーザ名「hasegaw」さんはさくらインターネット社員の長谷川さんがゲスト参戦し作成したユーザのため、表彰対象外となっています。
表彰の後、参加者と運営全員参加の懇親会が行われ、大会の感想や普段行なっていることなどをピザを食べながら気楽に話しました。
おわりに
まず、今回会場と計算リソースを提供していただき、さらに当日運営のサポートをしてくださったさくらインターネット社員の方々、本当にありがとうございました！
アンケート等行ったところ、「競技プログラミングのようで楽しかった」等の感想をいただくことができました。
そのため、この大会の目的である「競技機械学習」の開拓が少しでもできたのかなと思っています。
ですが、運営の準備不足が原因で、経験の浅い方へのサポートができなかった等たくさんの改善すべき点がありました。
改善すべき点を一つずつ見直し、より良い大会を目指して第2回 Cpaw AI competition を来春に開催する予定です。是非ご参加ください！