IT基盤(インフラ / SRE)
DeNA グループ全体のシステム基盤を横断して管理しているインフラ部門、IT 基盤部について紹介します。DeNA は様々な事業分野にチャレンジし、多種多様なサービスを展開していますが、そのサービス/システムの成功を支えていくインフラ部門が IT 基盤部です。 IT 基盤部では、インフラ部門として日々様々な技術的なチャレンジを繰り返しています。
チームカルチャー
ミッション

これらの一見、両立/鼎立が非常に難しい 3 つの要素、QCD 全てで世界最高の水準を達成することが我々 IT 基盤部のミッションです。このミッションを達成するため、以下のような様々な問題を日々エンジニアリングで解決しています。
- システムを 24 時間 365 日、安定して動かし「続ける」ためには何が必要なのか
- 数十万リクエスト/秒のトラフィックや、PB クラスのデータを取り扱うには、どのようなインフラ構成が必要になるのか
- システムの基盤やアーキテクチャはどのような基準で選択すべきなのか
- システムの運用コストを 1 円でも安くするためには何をすればよいのか
バリュー
インフラ運用ノウハウのコモディティ化により、この部分はこうすれば良いという部分最適な情報は世の中に大量にあります。また、パブリッククラウドの躍進と普及により、知っていれば誰でも自由に使うことができ、使い方も簡易です。
しかしながら、インフラ運用としては部分最適は当然ですが、全体最適も常に追求し、多様で大規模なシステムを高品質、低コストな運用を実現することが重要です。そのノウハウや知見はどこにもなく、組織の中で集約できるかがポイントです。
事業会社のサービスとして提供する以上、パブリッククラウドをただ使えれば良い、動けば良いというわけではなく、どう使いこなすかを高いレベルで追求することが重要です。クラウドの一利用者に留まることなく、パブリッククラウドをクラウド事業者とともにどう変えていくか、という観点で取り組む必要があります。
こういった考え方をもとに、DeNAのインフラでは、共通部門としてノウハウの集約と蓄積を行い、 ただ動くものではなく、動き続けるものを高いレベルで追求する ことを大事にしています。
高品質で低コストなインフラを素早く提供し、DeNAの事業活動に繋げる という価値を発揮することにフォーカスしていますが、これらはシステム横断部門でノウハウの集中と蓄積があり、幅広い経験と高度な専門性を持っているからこそ実現できていると考えています。
事例の紹介
これまで IT 基盤部にて発表した様々な登壇資料,公開資料による取り組み・事例・技術情報を紹介します。(DeNA エンジニアブログに掲載している事例紹介はボリュームが多い為末尾に掲載しています)
DeNA TechCon 登壇
DeNA TechCon2021 Autumn
DeNA TechCon2021
DeNA TechCon2020
DeNA TechCon2019
フルスイング
技術スタック
IT 基盤部にて扱っている多様な技術スタックを紹介します。
DeNA には様々なサービスがあります。根幹部分には部門共通の技術スタックを利用し、サービス固有部分にはそれぞれの特質に合わせて固有の技術を利用する事で最適化を図っているのが特徴です。
ここでは、部門共通の技術スタック・サービス固有の技術スタックをそれぞれ紹介します。
共通基盤
インフラ運用管理共通ツールセット | 内製ツール(global-infra) |
インフラ開発言語 | Perl, Python |
OS | CentOS, Ubuntu |
AWS | Amazon EC2 (Ondemand, Spot Instances) Elastic Load Balancing (CLB, NLB, ALB) Amazon S3, Amazon S3 Glacier Amazon RDS, Amazon Aurora, Amazon DynamoDB Amazon ElastiCache, Redis Amazon CloudWatch, AWS CloudTrail Amazon SNS, Amazon SES, Amazon SQS AWS Lambda AWS TransitGateway |
GCP | Google Compute Engine Google Cloud Storage Google BigQuery GCE, GCS, BigQuery |
Middleware | HTTPサーバ:Apache,Nginx Application:Unicorn (Ruby), FCGI, Plack (Perl) データベースサーバ:MySQL+MHA,q4m KVS:Memcached,Redis |
Monitoring | CloudForecast, Nagios |
DNS | Amazonn Route53, mydns, unbound |
CDN | Akamai, Amazon CloudFront, Fastly |
構成管理ツール | chef,Terraform |
Other | daemontools (supervisor移行予定) , Postfix |
各サービス基盤
Live Streaming 基盤
配信基盤 | Amazon Interactive Video Service |
画像分析 | Amazon Rekognition |
データベースプロキシ(検討中) | Amazon RDS Proxy |
Container | Amazon ECS |
CI/CD | AWS CodePipeline, AWS CodeBuild, CircleCI |
Autoscaling | Amazon EC2 Auto Scaling, Application Auto Scaling |
IaaS オーケストレータ | 内製ツール (Workflow2) |
Entertainment/Sports 基盤
ファイル転送 | AWS Transfer Family |
データベース | PostgreSQL |
IMAP | Dovecot |
Game 基盤
構成管理ツール | 内製ツール (Touryo) |
ログ監視設定管理ツール | 内製ツール (Haikanko) |
オートスケーラー | 内製ツール (AutoScaling tool) |
Healthcare 基盤
データベース | Oracle Database |
ファイル改ざん検知 | tripwire |
Game (global) 基盤
IaaS オーケストレータ | 内製ツール (Workflow2) |
データベース | Amazon Aurora |
オートスケーラー | 内製ツール (AutoScaling tool) |
社内システム基盤
OS | windows |
Attrasian インフラ管理 | Github, Jira, Confluence |
DaaS 管理 | Amazon Workspaces |
顧客管理 | Amazon Connect zendesk |
Public Cloud | Alibaba cloud |
ファイル管理 | Cloud Volumes Ontap, samba, WebDAV |
ネットワーク基盤
ネットワークメトリクス収集 | prometheus, grafana |
ネットワーク監視 | prometheus, smokeping, swatch |
構成管理ツール | ansible |
CI/CD | drone |

得られるもの・伸びる能力
IT基盤部で得られるもの、伸びる能力について紹介します。
- トラブルシューティング力
- 技術的な問題の切り分け力
- 技術的な問題を解決に導く力
- システムアーキテクト力
- 高度な事業要件を実現する力
- 設計、構築、実装力
- セキュリティ的に堅牢なものにする力
- 設計、構築、実装力
- 高度な事業要件を実現する力
- 様々な規模、多種多様なサービスの実運用経験
- 色々なものを見据える力
- 調整力、交渉力
- 多数の事業部との関わり
- 多数の外部事業者との関わり
全方位的な守備範囲で、今後のキャリア的にも自由度が高いと思います。
グループ・チーム構成
約 40 名在籍していて、第一から第四グループとネットワークグループの計 5 グループあります。
第一グループから 第四グループが各事業部サービスのインフラを担当しています。(詳細は下記表に記載)
クラウドの総合的な運用管理は IT 基盤部内の横断組織で、各グループから人が集まってチームとして動いています。パブリッククラウドの Payer や Organization の管理、コスト管理、セキュリティ施策の推進等様々なクラウドの管理業務を遂行しています。
第一グループ | ライブストリーミング,エンタメ,スポーツ |
第二グループ | ゲーム,オートモーティブ |
第三グループ | ヘルスケア,社内システム |
第四グループ | ゲーム(グローバル) |
ネットワークグループ | ネットワーク(パブリッククラウド,データセンター,オフィス) CDN/ドメイン/証明書管理 |
パブリッククラウド管理チーム (IT基盤部内横断組織) | パブリッククラウド管理(AWS,GCP,その他) |
現在募集している募集要項はこちらになります。
- インフラエンジニア・SRE
Appendix. DeNA エンジニアブログ掲載情報
インフラ運用
- インフラ運用管理共通ツールセット「gi」のこれまでとこれから
- Auto Scaling から見るInfra System の構成
- DeNAのユーザアカウント管理
- Auroraの高速フェイルオーバーと無停止での切り替え
- メールを送信する話
- DeNAにおけるLinux環境アラート対処ケーススタディ
- 実行時間を約90%削減する Ansible パフォーマンスチューニング 基礎
- Ansible で始める Linux 管理
QCD
- WEB+DB PRESS Vol.117 の特集「AWS/GCP コスト削減」を執筆しました
- AWS スポットインスタンスを用いたサービスの平均故障間隔(MTBF)を定量的に評価する
- MySQLサーバのMulti Instance化によるコスト最適化方法
- DeNA の QCT マネジメント
セキュリティ
クラウド移行
社内システム
ネットワーク
- DataCenter 移設してみました
- オンプレミスと AWS 間のネットワーク接続
- オンプレミスと GCP 間のネットワーク接続
- オフィス島スイッチ運用の負担軽減のための工夫
- DeNAのリアルイベントの舞台裏〜ネットワーク構築編
- Cisco WLC を Act-Act で運用する話
- オンプレとクラウドのネットワークの話
- 無線 LAN の通信品質を見える化する話