DeNAのリアルイベントの舞台裏〜ネットワーク構築編

はじめに

こんにちは、IT基盤部の兵藤です。主に社内ネットワークのインフラを担当しています。

弊社では、DeNA TechConなどの技術系イベント、Pocochaで開催しているリアルイベントなどを主催しておりそのイベント会場のネットワーク構築は我々（IT基盤部ネットワークグループ）が行っています。

今回のブログでは、そのイベントの舞台裏となる会場ネットワーク構築の手順などをお伝えしていこうと思います。

イベントのネットワーク構築の流れ

イベントのネットワーク構築はざっとこのような手順で行っていきます。

イベント会場のネットワーク状況の把握
ネットワーク設計
キッティング
当日の構築

一つずつ簡単に説明していきます。

1.イベント会場のネットワーク状況の把握

まずはイベント会場のネットワーク状況について把握する必要があります。会場によって既設の設備も様々であり、利用させてもらえるものは利用したほうが費用が安く抑えられる場合もあるからです。無線の設備がある会場もなかにはありますが、こちら側で無線の状態などコントロールができないため、基本的には利用していません。

会場の既設ネットワークの確認では主に以下の項目を確認しています。

回線の種類は何を使っているのか。こちらについては利用している回線の種別から、回線の品質についてある程度判断しています。例えばフレッツ光ネクストを利用しているのであれば、ベストエフォートで1Gbpsの回線であることがわかります。
回線の実効速度はどの程度か。回線の種別がかわかったとしても、実効速度がどの程度あるのかを調べておかないと、ベストエフォート回線では致命的になります。フレッツ回線の場合はまず間違いなく1Gbpsは出ませんので、実際に接続させてもらい、複数の速度測定サイトなどを利用して平均値を測っています。
回線は安定して利用できているか。こちらについては情報があればもらうようにしています。上記で実効速度を測ったとしても、それは観測時点での結果であり、継続してその速度が出る保証はどこにもありません。なので、ある程度のスパンで回線の状況について計測しているデータが有ればもらうようにしていますが、フレッツを利用しているところは大抵持っていませんので判断に困ります。

上記のようなことを総合して、既設回線を利用するのか、新規に安定した回線を引き込むのかを判断して対応しています。

これまで対応してきた中では、会場の状況については下記のようなものが挙げられます。

会場の既設ネットワークが利用可能であり、帯域的にも十分利用に耐えうる
会場の既設ネットワークが利用可能ではあるが、帯域が乏しく利用が難しい
会場の既設ネットワークが利用不可だが、回線の引き込みは可能
会場の既設ネットワークが利用不可でありかつ、新たな回線の手配も不可能

ほとんどの会場が2か3に該当することが多く、会場となる場所へ新規にインターネット回線を引き込みさせていただいています。 1ができる会場は稀で、4についてはそもそも会場選びの候補から外してもらっています。

TechConで利用しているヒカリエホールは、1に該当してますが、通常利用ではベストエフォート100Mbpsの帯域のみの利用であるため、帯域を1Gbpsへ拡張するために利用料を上乗せして払っていたりします。

インターネット回線を会場へ引き込む場合、新規の回線敷設には1.5ヶ月〜3ヶ月必要と回線業者から言われることが多く、早め早めに行動することが必要になってきます。回線敷設については、NTTが絡むことが多く、回線業者でもコントロールすることが難しい部分もあるため、毎度綱渡り状態で回線敷設していたりします。

2. ネットワーク設計

会場の状況が確認でき、インターネット回線利用の方向性が固まったら、次にネットワーク設計をします。基本的な構成は下図のように設計・構築しているのですが、会場によっては既設部分とのつなぎの仕様を確認したりして柔軟に対応しています。

会場の大きさ、形、有線LAN利用の要望などを考慮し、無線のカバレッジホールができないように、機器の台数、設置位置などについて設計していきますが、、、

DeNAではイベント用に専用のネットワーク機器を確保しているわけではありません。都度、必要台数を設計し、通常運用で確保している予備機器を利用して、構築しています。予備機の状況によっては、要件を満たずのが困難だったりもしますが、その時は必要最低限の箇所に絞ってもらい対応するなどしています。

また、論理設計だけでなく、物理設計についても都度会場に合わせて設計をしています。会場によって、どこに電源があるのか、どこに機器を設置するのか、どのようにケーブルを取り回して配線するのか、など考慮する必要があります。ケーブルの長さ、本数などが足りなければ購入するなどして対応しています。

3. キッティング

設計が終わればキッティングを実施します。キッティングと言ってもすでに何度もイベントを実施しているため、基本的な設定はすべて完了しているため、ただただ地道にコンフィグ設定をしていきます。

設定が全て終われば、仮組みをし設定に問題がないか確認します。仮組みで問題なければ、機器、ケーブル、電源タップなど必要機材一式を梱包し、会場へ配送手配をします。

4. 当日の構築

イベントでは前日に準備日を設けている場合と、そうでない場合があります。前日準備が可能であれば、構築時間も潤沢にあるので問題ないのですが、当日準備の場合は限られた時間の中で構築する必要があり、NOCメンバー全員で手分けして構築作業をしています。広い会場では物理的な配線作業が一番時間を要します。多いときは6人で3時間ずっと配線作業していたりします。

物理的な構築が完了したら、無線のカバレッジホールが無いかどうか、会場全体を無線スキャンしながら回ります。問題がなければ基本的な構築は完了です。あとは本番に向けて監視の設置をしていきます。

監視についてはnagios（機器監視）などを構築して使っていたり、Cisco Meraki機器を利用してネットワーク構築した際などはMeraki Dashboard上でトラフィックの傾向確認をしていたりします。。機器監視については、本番中に機器が停止していないか、CPUなどのリソースは問題ないかを監視しています。過去の例では、イベントの関係者が誤って電源を抜いてしまったなどのトラブルがありましたが、監視のおかげですぐさま復旧させ事なきを得ました。

トラフィック傾向確認については、今後のイベントのために傾向を見れるように可視化するために使っています。過去のTechConでは来場者1000人程度に対して、最大同時接続650台程度で300Mbps程度のトラフィックを観測しています。

イベントが終了したあとは、撤収作業も自分たちで行っています。撤収も時間が限られているため時間との戦いです。設営のときほど気を使わなくていいので、一気に撤去作業を進めていきます。整理整頓は後でいいので撤去優先でどんどん実施します。

自社によるネットワーク構築のメリットデメリット

このようにイベントにおいて自社でネットワークの環境を構築していると普段あまり体験しないレイヤー1の部分からすべて自分で対応することで、ネットワーク構築の経験を積めるといったメリットがあります。構築費用面においても、自分たちですべて実施することで、外部への費用流出を抑え低コストで実施できます。設計についても自分たちでやることで、柔軟に対応でき、スピード感を持って対応することができます。

一方でトラブル時などは全て自分たちで解決しないといけないといったデメリットは懸念されるところですが、事前検証をみっちりやることで未然にトラブルを防ぐようにしています。