いま明かされるネットワーク運用の実態！ Internet Week 2015レポート (その2)
前回に引き続き、11月17日(火)-20日(金)の4日間にわたって行われたInternet Weekのレポートをお届けします。
今回ご紹介するプログラムは、11月18日(水)に行われました「手を取り合う！ネットワーク運用2015」です。このプログラムは、なかなか公開されることの少ないネットワーク運用のノウハウを共有しようという主旨で企画されたものです。タイプの異なる3つの事業者から登壇者をお招きし、それぞれの運用の実態をお話しいただきました。
さくらインターネットの運用を赤裸々に語る
実は最初の事例は当社で、運用部の野島周平が登壇しました。レンタルサーバ、VPS、クラウド、専用サーバなど多種多様なサービスを展開する事業者の例ということでお声がけいただいたようです。野島からは、当社の運用体制や課題、障害対応の仕組みなどを説明いたしました。その中からいくつかの話題をご紹介します。
昔はタスク管理を紙でやっていた！
昔はタスクが発生するとメールを印刷し、フォルダに綴じて管理していましたが、事業規模の拡大とともに状況把握が困難になりました。そこで現在はRedmineによるチケット管理を行っています。ペーパーレス化はもちろんのこと、タスクの進捗や優先順位の把握も簡単になりました。
ハードウェア障害を防ぐための健康診断
多数の機器を運用する事業において、ハードウェア障害はつきものです。機器の冗長化や仮想化などによる耐障害性の向上に加え、定期的に機器の健康状態チェックを行い、問題のある機器は定期メンテナンス時に交換することで障害を未然に防いでいます。また、健康状態や交換用機器を管理するシステムを開発し運用しています。
ハードウェア障害対応システムの挙動
DoS攻撃との闘い
かつてはDoS攻撃を検知すると、当該IPアドレス宛のパケットを当社ネットワーク網の入口ですべて落としていましたが、これではDoS以外のパケットも破棄されてしまいます。そこでDoS攻撃検知の仕組みを改善し、攻撃パケットだけをフィルタするようにしました。詳しくはさくナレの記事をご覧ください。
地方ISPならではの運用ノウハウあれこれ
続いては地方ISPの例として、福井県のミテネインターネット株式会社から熊本豊さんが登壇されました。こちらも印象に残った話題をいくつかご紹介します。
障害対応は主治医制
地方ISPでは少人数で構築から運用まで担当するケースが多いようで、ミテネ社でも5人で対応しているそうです。得意分野もそれぞれ異なるため、障害対応時は得意な担当者が指揮を執る「主治医制」を採用しています。無理に当番が対応するよりも、この方が復旧が早いとのことです。
遠方のサービスを活用
そうは言っても少人数ですべてのサービスを運用するのは大変です。そこで、ダイヤルアップ接続やメールサーバなどは自社インフラで提供せずローミングサービスを利用しています。また、福井～東京を接続する長距離回線を運用し、IXに接続することでトラフィック制御の手間を軽減しています。
勉強会への積極的な参加
地元に留まっていると新しい情報が入って来ないので、社外で行われる勉強会に、東京へ出張してでも積極的に参加するよう促しています。ちなみに報告書を書く義務はないそうです。報告書よりも参加して人とつながることの方が重要とのことです。
ソフトバンク合併の舞台裏
最後にソフトバンク株式会社の佐藤智昭さんが登壇されました。こちらは会社の合併を繰り返し、7つのサービス、4回の運用組織統合を経験した事例の紹介です。主な話題は以下の通りです。
障害時の初動対応確立
とにかく多数の業務を扱うので、障害の件数も多くなります。ソフトバンクでは障害の初動対応を重視しており、障害発生から10分以内に対策本部を設置して対応に臨んでいます。対策本部の設置は月に10件以上あるそうです。
障害対応の自動化
オペレーターの稼働状況とミス発生率を時間帯別にグラフ化すると、忙しい時間帯(午前2時から3時)にミスが多いことがわかりました。そこで基地局の障害切り分けやトラフィック制御などの自動化システムを開発することで、ミスを減らすとともに、これらの時間帯の稼働を大幅に減らすことに成功しました。
統合は教育と訓練あるのみ
各々の組織に運用のしきたりがあるので、組織を統合しても同じフロアで仕事するだけでは心はひとつになりません。人員の入れ替えを経てようやく融合したようです。また、運用業務はとにかく訓練が重要との考えを示し、大規模災害時の訓練の様子を紹介されました。
次回につづく
ひとくちに運用と言っても、それぞれの事業者に事情があり、その上に運用が成り立っています。このセッションではそのような事情を垣間見ることができ、またノウハウもいろいろと教えていただき、内容の濃いセッションでした。参加者の関心も高く、満席の上に補助席まで出していたほどです。
次回もプログラムのレポートをお届けします。お楽しみに！