DeNA TechCon 2024 のネットワーク構築 [DeNA インフラ SRE]

はじめに

ネットワークグループの増田・林です。
今年2月に開催した、弊社主催のテックカンファレンス DeNA TechCon 2024 のネットワーク構築について紹介します！

TechCon のネットワークについては、すでに同イベント内の LT 枠でお話ししています。本稿では、LT で話しきれなかった構築の詳細をお伝えします！また、今回のネットワークのメイン機材である Juniper Mist (以下 Mist) についても併せて紹介します。

要件確認（5ヶ月前）

今回の TechCon は、4年ぶりのオフライン開催でした ( 4年前のブログ )。早い段階でイベント運営部署からの共有を受けていたので、要件の整理や会場の確認は5ヶ月前から始めました。

また、久しぶりのオフライン開催ということで、イベントネットワークの構築ノウハウは薄れていました。本イベントは、DeNA でのイベントネットワーク構築経験がない2名で担当したこともあり、早めに着手し構築期間を長めに取りました。

主な要件は以下のような内容でした。

オンライン配信用のネットワーク
オフライン来場者用のWi-Fi
会場は3フロア (1フロア約200平米)
来場者は最大400名

4年前の TechCon と比べて小規模、会場は別施設、配信用のネットワークが必要など、以前と異なる点も多々あることが分かりました。

会場視察（4か月前）

機材調達に時間がかかることが多いので、まず機材の数や配置を確定させるため、会場の確認に行きました。それ以外にも、会場資料や図面だけでは分からなかった以下の4点を重点的に確認しました。

インターネット回線

インターネット回線は、会場によっては自前で引く必要がありますが、今回の会場ではインターネット回線が用意されていました。
主に、通信速度などを確認し、速度が十分であることを確認できたので会場設備の回線を利用することにしました。

有線 LAN 設備

特に、会場設備の LAN ポートを設計に組み込めるかどうかを確認しました。今回は自前の機器を持ち込んで利用し、タグ VLAN を用いた設計とする予定であったため、壁の LAN ポートに接続した機器間の通信、つまり会場設備のルータを経由する通信で、VLAN を利用できるかどうかの確認は必須でした。確認の結果、問題なく VLAN が通ることが分かったので、配線に会場の LAN ポートも利用することに決めました。これにより、有線 LAN の配線を最小限にすることができました。

また、EPS 室も見せていただき、会場のルータの種類や大まかな物理構成を確認しました。

電源

コンセントの電圧と接地極の有無を確認しました。どちらも問題ありませんでした。

Wi-Fiの干渉

Wi-Fiを提供するので、干渉が十分に小さいかどうかを確認しました。幸いにも干渉しそうな既存チャンネルは少なく、使用するチャンネルを自由に選ぶことができる状態でした。

設計（3か月前）

視察で得た情報を元に、本格的にネットワークの設計に取りかかりました。

物理設計

会場の図面などの他に、様々な設計ガイド等も参考にして、機材の個数や配線を確定させました。

機材の中でも、特にアクセスポイントの位置や個数は、Wi-Fiの安定性のために入念に検討しました。 Wi-Fiの安定性は来場者の満足度への影響が大きいため重要です。

配線は、利用する扉や導線を考慮してケーブルがなるべく邪魔にならないような経路を決め、長さも確定させました。

論理設計

VLAN 設計をし、Wi-Fi の SSID の分け方や、インターネット回線の使い方などを決めました。

今回の会場には、利用できるインターネット回線が2つありました。
1つ目の回線は、会場となる3フロアすべてで共有されており、1つのルータから3フロアに配線されていました。ポートに接続すると DHCP でアドレスが振られインターネットに出られる、よくある家庭のネットワークのような構成です。
2つ目の回線は、構成は1つ目の回線と同様ですが、配線が6階のみのメインステージ専用回線でした。
来場者用とオンライン配信用の通信でこれらの回線を使い分け、配信用の通信を安定的に確保することにしました。

ここで問題となったのは、それぞれの回線に接続されているルータが全く同じサブネットで設定されていた点です。通常、これらの回線は独立して利用されるため問題になりませんが、今回は持ち込んだ1つのコア機器で2つの回線を扱いたかったため、少し工夫して設定しました。具体的には、virtual-router の設定で、ルータを配信用と来場者用に仮想的に分け、それぞれのルータに対して回線を1つずつ接続しました。

機材調達（2か月前）

本イベントでは、新しい機器を実験的に利用する方針で機材を選定しました。イベントネットワークを問題なく提供することが第一ではありますが、イベントは単発で実運用できる良い機会でもあるため、以前より利用を検討していた Mist の検証の場としても活用しました。

Mist とは、ネットワーク機器をクラウドで一元管理するためのソリューションです。元々は Mist のアクセスポイント（以下 AP）に興味を持って検討を始めましたが、AP 以外にもファイアウォールやスイッチなど、多くの機器が Mist のクラウド管理に対応していました。

今回は、ジュニパーネットワークス株式会社様（以下 Juniper）より、Mist 対応機器をお借りし、全機器をクラウドで管理・運用しました。実際に利用させていただいた主な機器は以下です。

SRX300 ・・・ 1台
EX4100-F ・・・ 4台
AP33 ・・・ 13台

クリスマスに届いた段ボール — たまたまクリスマスに到着した提供機材 (まるでサンタさんですね！検証させていただき本当にありがとうございました！)

弊社では、元々 SRX シリーズのファイアウォールを利用していますが、Juniper の AP やスイッチはほとんど使用経験がなかったため、検証機を触るのはとても楽しみでした！

仮構築（1か月前）

クラウドへの登録

動作確認の段階で早速 Mist の良さが発揮されました。まず、機器のクラウドへの登録は、以下のスマホアプリで機材に貼り付けられた QR コードを読み込むだけで、簡単に登録することができました。

また、通常ならシリアルコンソールからログインして、SSH 等のリモートアクセスのための設定を入れるところですが、今回はこれは不要でした。 Mist に登録したファイアウォールやスイッチへのログインは、機器がインターネットにさえ繋がっていれば、機器側への設定なしで Web ダッシュボードから簡単にできます。今回はこの機能を利用して設定しました。

ケーブルの準備

4年前のオフライン開催のあと、本社オフィスの移転もあったため、まずはサーバ室内で使えそうなケーブルを探し出すところから始まりました。イベントネットワークでは、普段オフィスでは利用しないような長いケーブルが必要になります。幸い、CAT5e 以上で 20m 前後のケーブルをそこそこの本数発掘することができたので、ケーブルはほぼ在庫で賄えました。

ただ、当日実際配線してみたら短かったでは困るので、すべてのケーブルの長さを測り、長さをラベル付けしました。「19インチってだいたい50cmだよね！」とネットワークエンジニアらしく (?) 適当な機器の横幅を利用して地道に計測しました。

さらに、すべてのケーブルの両端に接続機器とポートの情報もラベル付けしました。ここまで準備するとラベルに従い結線するだけなので、会場で資料等を確認することなく配線できます。

機器の設定

会場回線を模した仮のスイッチを用意し、サーバ室内で本番と同じ構成を作りました。やはり設定ミスは見つかるもので、VLAN の設定が不足していたりといった、細々したミスを修正し意図通りのネットワークとなるよう調整しました。

ファイアウォールは普段通り CLI で設定したのですが、それ以外の機器は GUI でポチポチして設定しました。スイッチの設定は、同じ内容を複数のポートに適用するのがすごく簡単でした。AP にも、Mist のテンプレート機能を利用して簡単に同じ設定を適用できました。

どこにどの程度の帯域を割り当てるかも、この段階で確認しながら決めました。 Mist の機能でクライアントごとの細かい通信量を制御できるので、通常のインターネット利用に支障がなく、全体の帯域を逼迫しない程度に、来場者用 Wi-Fi のクライアントの帯域を uplink 10Mbps、downlink 50Mbps に制限しました。
この他に VLAN ごとの帯域制限も設定し、配信用の帯域を確実に確保するようにしました。その後、実際に帯域が制限されているかをテストし、意図通りの制御ができていることを確認しました。

実際に設定作業をしてみて、Mist はダッシュボードがとても軽量だと感じました。複数機器を登録してもステータスページがすぐに開くので、グラフや機器の状態を気軽に確認できました。
また、日本語も含めたドキュメントが充実していたので、はじめて使用する機器でも設定で困ることがあまりありませんでした。

本構築（前々日）

本番の構築は、ケーブルのラベル付けの効果もあり配線ミスもほぼなく、朝始めて昼までにスムーズに終わりました。

ケーブルの養生方法は、公開されているイベントネットワークのブログ等 ※ を参考にさせていただき、以下の方法で床に貼り付けました。

機器は、会場の椅子の背もたれにちょうどいい穴があったので、これを利用して綺麗に設置できました。
また、各機器への配線はある程度余裕のあるケーブルを割り当てていたのですが、場所によっては当日の設営に合わせて2-5mほど移動させた箇所もありました。今回は椅子への設置ということで、ケーブルが余っても置くスペースが十分にあったので、すべて5mくらいは余分があっても良かったと思いました。場所によっては長さの調節がぎりぎりのところもありました。

当初 AP については、AP 用のスタンドを購入して使う、天井の照明用のバトン (上げ下げできる) に取り付けるなど、いくつか設置案がありました。最終的に、設置の簡単さと安全性を考慮し、特に今回の会場であれば低い位置の設置でも問題ないと判断して、椅子にただ置くだけというシンプルな方法を採りました。結果的に、構築後のテストでも電波強度等に問題は出ませんでした。

また、一部 AP は配線の距離を短くするために、スイッチではなく、会場設備の LAN ポートから配線する必要がありました。このため、AP と壁の LAN ポートの間に PoE インジェクタを設置しました。

設置後の無線の電波強度や周波数帯の調整については、Mist の AI による自動最適化機能に任せたため、特に設定は必要ありませんでした。 AP の数が多くなると、周波数帯の調整はパズルのような大変さがありますが、これを自動で調整してくれるのはとても助かりました。

他にも Mist には様々な機能があります。たとえば、以下のスマホアプリによる位置情報のリアルタイム表示などもそのうちの1つです。

Wi-Fi に接続すると、すぐに自分がフロア上のどこにいるのかアプリ上で表示されます。また、会場は3フロアあるのですが、エスカレーターを登り切るときちんとフロアが切り替わっており、かなり正確な位置情報を見ることができました。

本番

当日は大きなトラブルが発生することもなく、無事にイベントを終えることができました。過去のイベントと比べて小規模の開催ではありましたが、それでも Mist で問題なく構築運用できることは確認できました。

最大通信量: 約240Mbps
最大クライアント数: 約300
最大 DHCP リース数: 約400

唯一あったトラブルは、印刷物の一部での Wi-Fi パスワードの誤記くらいでした。ただ、これは Mist の Multi PSK という機能を用いて、複数のパスワードで Wi-Fi に接続できるように設定することによりすぐに対処できました。エンタープライズ向けの AP にはよくある機能ですが、よくある機能がきちんと揃っているのはありがたかったです。

以下は、Mist のダッシュボードの一部です。他にも混雑具合など、様々なステータスがデフォルトで可視化されていました。