DataCenter 移設してみました

こんにちは、IT 基盤部の矢島です。
DeNA ネットワーク全般の設計・構築・運用を担当しています。

すでに発表済みですが、DeNA では 2018 年から開始していたクラウド移行が、本年 4 月に完了しました。

[【ノーカット掲載】3年に及ぶクラウド移行。「創造的な仕事へのフォーカス」がついに始まる] (https://fullswing.dena.com/archives/7425) -フルスイングより-

ただ、ネットワークがゼロになることはありません。
このクラウド移行の総仕上げとして、DataCenter についても移設及びネットワーク移行を実施しました。
今回は、その移設の大枠やネットワーク移行時のポイントについて紹介します。

なぜ、DataCenter を移設したのか？

クラウド移行前後の DataCenter

クラウド移行前の DataCenter は、100 以上のラックに、 3,000 台以上のサーバが存在していました。その中には、サービス提供するためのサーバと社内システムのためのサーバが混在しており、ユーザからの外部アクセスと社員からの内部アクセス両方が発生していました。

クラウド移行完了により、ユーザからの外部アクセスは無くなりましたが、クラウド移行対象は社内システムも範囲内となっており、各オフィスからクラウド上の社内システムへの社員からの内部アクセスは継続して発生します。
また、各オフィスからサービス提供するための各事業領域のサーバへの内部アクセスも発生します。

各オフィスから専用線や IPsecVPN などを利用して、AWS などのクラウドに内部アクセスすることは可能です。しかし、複数のオフィスがあり、多くの AWS アカウントがある DeNA では、それらをメッシュ構造的に繋ぐことは、ネットワーク構成及び運用が複雑になるため現実的ではありません。
したがって、クラウド移行完了後においても、オフィスやクラウドを集中的に繋ぎ込むことができる ネットワークのハブ となる DataCenter を持っておく必要があります。

また、特殊な開発用サーバや協業先と接続するためのルータをオンプレミスに置く必要性があった、ということも背景にあります。

DataCenter 移設の理由

クラウド移行前から、ネットワークのハブであった DataCenter をなぜ移設することにしたのか？は、主に以下の理由です。

回線コストの抑制

クラウド移行により、ラック数が大幅に減少し、DataCenter コストの内、回線コストが支配的になることが見えていた
回線コストがより安価になる方法を検討した結果、DataCenter 移設が妥当であると判断した

ネットワーク機器関連コストの抑制

これまで利用していたネットワーク機器は 100 ラック以上の利用に耐えうるスペックのものであり、ネットワーク機器だけで数ラックを専有する状況であった
また、スペックが高いネットワーク機器だったため、年間の保守費用が高額であった
その他、ネットワーク機器の老朽化も進んでおり、10 年以上稼働していた DataCenter であったため、ネットワーク機器の型番が古く、保守不可のものがあった
したがって、どこかのタイミングで刷新する必要があった

移設までの道のり

大きく以下のステップを踏み、要所でベンダー様の助力を頂きながら、トータル約 6 ヶ月以上の期間を費やして、移設のための準備を進めていきました。

グランドデザイン策定

クラウド移行後に求められる DataCenter ネットワークの役割や要件整理
既存のネットワーク運用における課題整理

機器や各種回線の選定と調達

グランドデザインに沿ったネットワーク構成を前提に、コストも加味しながら機器を選定し調達
DeNA での利用実績とコストを比較しながら、必要な回線を選定し調達

詳細設計と構築

構築中において、想定外の動作があった場合は、都度ベンダー様へ質疑
この期間中に、綿密に障害試験を実施

ネットワーク移行

切り替えの事前テスト
旧から新への DataCenter ネットワーク切り替え

ネットワーク移行のポイント

DataCenter ネットワークを移行するために、いくつか案を考えて、結果的に一斉に切り替えを実施することで決定しました。
簡単に図で説明すると、以下の通りとなります。

事前に切り替え用の経路を確保しておいて、一斉に Routing を切り替える手法です。
クラウド移行が完了しており、新旧の DataCenter 間通信を考慮する必要性が無かったため、この手法を採用することができました。
この切り替え時に採用した手法や、海外拠点とのネットワーク構成変更について紹介します。

AWS ネットワークの切り替え

DeNA では、AWS と専用線を経由して接続しています。
具体的な接続方法は、オンプレミスと AWS 間のネットワーク接続をご参照下さい。

先述したように、社内システムのクラウド移行に伴って、多くが AWS 上に移行されました。したがって、この AWS ネットワークの切り替えをいかにスムーズに実施すべきか？が重要なポイントでした。
結論から言うと、ロンゲストマッチの手法で、Routing 切り替えを実施しました。\

以下の図は、切り替え前の状態です。AWS 上の DirectConnectGateway が持っている RouteTable を見ると、DirectConnect-A (旧 DataCenter) 側を経由して、内部通信していることが分かります。

以下の図は、切り替え後の状態です。新 DataCenter から、10.0.0.0/8 及び 172.16.0.0/12 のセグメントを分割して、経路広報します。
そうすると、AWS 上の DirectConnectGateway が持っている RouteTable は、ロンゲストマッチのルールに従い、自ずと DirectConnect-B (つまりは、新 DataCenter) 側を経由して、内部通信するように切り替わります。

この手法でスムーズに切り替えることができました。

海外拠点とのネットワーク構成変更

DeNA では海外にも拠点があり、DataCenter 移設前は海外向けの専用線サービスで接続していました。
ただ、専用線のコストや運用に課題を持っており、移設を機に、中国拠点間のネットワーク構成の変更を実施しました。
この際もクラウドを活用しています。

具体的には、Alibaba Cloud の CEN(Cloud Enterprise Network) というサービスを利用しています。日本と中国という異なる Region 間を簡単にかつ安価に、プライベートネットワークで接続することができるサービスです。

構成変更前後と比較して、中国拠点との通信遅延時間 (RTT) は、以前とほとんど変わらない状況です。一方で、コストは 50% 以上の減額となり、この構成変更は価値のある結果となりました。

最後に

新旧の DataCenter の用途や数の大まかな比較については、以下の通りとなります。(2021 年 9 月時点)
クラウド移行により、ネットワーク機器台数も大幅に減少したため、ネットワークに関するコストや運用工数を削減することができました。

「DataCenter 移設してみました」とラフな題名ですが、道程は長く険しいものでした。
様々な関係者のご協力を頂きながら、結果無事に移設完了することができました。

以上、DataCenter 移設及びネットワーク移行について、ご紹介させていただきました。
本ブログの内容が少しでも皆様のお役に立ちましたら幸いです。

最後までお読みいただき、ありがとうございました。

この記事を読んで「面白かった」「学びがあった」と思っていただけた方、よろしければ Twitter や facebook、はてなブックマークにてコメントをお願いします！

また DeNA 公式 Twitter アカウント @DeNAxTech では、 Blog記事だけでなく色々な勉強会での登壇資料も発信してます。ぜひフォローして下さい！

Follow @DeNAxTech