IT基盤（インフラ / SRE）
DeNA グループ全体のシステム基盤を横断して管理しているインフラ部門、IT 基盤部について紹介します。DeNA は様々な事業分野にチャレンジし、多種多様なサービスを展開していますが、そのサービス/システムの成功を支えていくインフラ部門が IT 基盤部です。 IT 基盤部では、インフラ部門として日々様々な技術的なチャレンジを繰り返しています。
チームカルチャー
ミッション
これらの一見、両立/鼎立が非常に難しい 3 つの要素、QCD 全てで世界最高の水準を達成することが我々 IT 基盤部のミッションです。このミッションを達成するため、以下のような様々な問題を日々エンジニアリングで解決しています。
- システムを 24 時間 365 日、安定して動かし「続ける」ためには何が必要なのか
- 数十万リクエスト/秒のトラフィックや、PB クラスのデータを取り扱うには、どのようなインフラ構成が必要になるのか
- システムの基盤やアーキテクチャはどのような基準で選択すべきなのか
- システムの運用コストを 1 円でも安くするためには何をすればよいのか
バリュー
インフラ運用ノウハウのコモディティ化により、この部分はこうすれば良いという部分最適な情報は世の中に大量にあります。また、パブリッククラウドの躍進と普及により、知っていれば誰でも自由に使うことができ、使い方も簡易です。
しかしながら、インフラ運用としては部分最適は当然ですが、全体最適も常に追求し、多様で大規模なシステムを高品質、低コストな運用を実現することが重要です。そのノウハウや知見はどこにもなく、組織の中で集約できるかがポイントです。
事業会社のサービスとして提供する以上、パブリッククラウドをただ使えれば良い、動けば良いというわけではなく、どう使いこなすかを高いレベルで追求することが重要です。クラウドの一利用者に留まることなく、パブリッククラウドをクラウド事業者とともにどう変えていくか、という観点で取り組む必要があります。
こういった考え方をもとに、DeNAのインフラでは、共通部門としてノウハウの集約と蓄積を行い、 ただ動くものではなく、動き続けるものを高いレベルで追求する ことを大事にしています。
高品質で低コストなインフラを素早く提供し、DeNAの事業活動に繋げる という価値を発揮することにフォーカスしていますが、これらはシステム横断部門でノウハウの集中と蓄積があり、幅広い経験と高度な専門性を持っているからこそ実現できていると考えています。
事例の紹介
これまで IT 基盤部にて発表した様々な登壇資料，公開資料による取り組み・事例・技術情報を紹介します。（DeNA エンジニアブログに掲載している事例紹介はボリュームが多い為末尾に掲載しています）
DeNA TechCon 登壇
DeNA TechCon2021 Autumn
DeNA TechCon2021
DeNA TechCon2020
DeNA TechCon2019
フルスイング
技術スタック
IT 基盤部にて扱っている多様な技術スタックを紹介します。
DeNA には様々なサービスがあります。根幹部分には部門共通の技術スタックを利用し、サービス固有部分にはそれぞれの特質に合わせて固有の技術を利用する事で最適化を図っているのが特徴です。
ここでは、部門共通の技術スタック・サービス固有の技術スタックをそれぞれ紹介します。
共通基盤
| インフラ運用管理共通ツールセット | 内製ツール（global-infra） |
| インフラ開発言語 | Perl, Python |
| OS | CentOS, Ubuntu |
| AWS | Amazon EC2 (Ondemand, Spot Instances) Elastic Load Balancing (CLB, NLB, ALB) Amazon S3, Amazon S3 Glacier Amazon RDS, Amazon Aurora, Amazon DynamoDB Amazon ElastiCache, Redis Amazon CloudWatch, AWS CloudTrail Amazon SNS, Amazon SES, Amazon SQS AWS Lambda AWS TransitGateway |
| GCP | Google Compute Engine Google Cloud Storage Google BigQuery GCE, GCS, BigQuery |
| Middleware | HTTPサーバ：Apache，Nginx Application：Unicorn (Ruby), FCGI, Plack (Perl) データベースサーバ：MySQL+MHA，q4m KVS：Memcached，Redis |
| Monitoring | CloudForecast, Nagios |
| DNS | Amazonn Route53, mydns, unbound |
| CDN | Akamai, Amazon CloudFront, Fastly |
| 構成管理ツール | chef，Terraform |
| Other | daemontools (supervisor移行予定) , Postfix |
各サービス基盤
Live Streaming 基盤
| 配信基盤 | Amazon Interactive Video Service |
| 画像分析 | Amazon Rekognition |
| データベースプロキシ（検討中） | Amazon RDS Proxy |
| Container | Amazon ECS |
| CI/CD | AWS CodePipeline, AWS CodeBuild, CircleCI |
| Autoscaling | Amazon EC2 Auto Scaling, Application Auto Scaling |
| IaaS オーケストレータ | 内製ツール (Workflow2) |
Entertainment/Sports 基盤
| ファイル転送 | AWS Transfer Family |
| データベース | PostgreSQL |
| IMAP | Dovecot |
Game 基盤
| 構成管理ツール | 内製ツール (Touryo) |
| ログ監視設定管理ツール | 内製ツール (Haikanko) |
| オートスケーラー | 内製ツール (AutoScaling tool) |
Healthcare 基盤
| データベース | Oracle Database |
| ファイル改ざん検知 | tripwire |
Game (global) 基盤
| IaaS オーケストレータ | 内製ツール (Workflow2) |
| データベース | Amazon Aurora |
| オートスケーラー | 内製ツール (AutoScaling tool) |
ネットワーク基盤
| ネットワークメトリクス収集 | prometheus, grafana |
| ネットワーク監視 | prometheus, smokeping, swatch |
| 構成管理ツール | ansible |
| CI/CD | drone |
得られるもの・伸びる能力
IT基盤部で得られるもの、伸びる能力について紹介します。
- トラブルシューティング力
- 技術的な問題の切り分け力
- 技術的な問題を解決に導く力
- システムアーキテクト力
- 高度な事業要件を実現する力
- 設計、構築、実装力
- セキュリティ的に堅牢なものにする力
- 設計、構築、実装力
- 高度な事業要件を実現する力
- 様々な規模、多種多様なサービスの実運用経験
- 色々なものを見据える力
- 調整力、交渉力
- 多数の事業部との関わり
- 多数の外部事業者との関わり
全方位的な守備範囲で、今後のキャリア的にも自由度が高いと思います。
グループ・チーム構成
約 40 名在籍していて、4 つのグループに分かれています。
第一グループから 第四グループが各事業部サービスのインフラを担当しています。（詳細は下記表に記載）
クラウドの総合的な運用管理は IT 基盤部内の横断組織で、各グループから人が集まってチームとして動いています。パブリッククラウドの Payer や Organization の管理、コスト管理、セキュリティ施策の推進等様々なクラウドの管理業務を遂行しています。
| 第一グループ | ライブストリーミング，エンタメ，スポーツ，ヘルスケア，メディカル |
| 第二グループ | ゲーム，オートモーティブ |
| 第四グループ | ゲーム（グローバル） |
| ネットワークグループ | ネットワーク（パブリッククラウド，データセンター，オフィス） CDN/ドメイン/証明書管理 |
| パブリッククラウド管理チーム （IT基盤部内横断組織） | パブリッククラウド管理（AWS，GCP，その他） |
キャリア例ご紹介
IT基盤部には多様なキャリア/立場の方が在籍されてます。 そのキャリア例の一部ををご紹介させて頂きます。
インフラマネージャー
| 職歴・経歴・年齢 | 韓国ソウルを主な生息地として幼少期から大学卒業まで20代の前半まで生息。 韓国のある通信事業会社で１年間社会人生活を経て 2007年に来日。 キャリアのスタートは C 言語開発で日本では Java に変わり開発エンジニアとしてキャリアを蓄積していく。 2010年過ぎた頃からはインフラエンジニアへ転向し、いくつかの会社を転々としてついに 2017年に DeNA へ中途入社。 DeNA ではゲームタイトル及びプラットフォーム、オートモーティブ事業のインフラを運用をはじめ、 今は主にライブストリーミング事業及びスポーツ事業のインフラを支える業務を担当。 |
| 誇れる実績・強み | ・GCP, AWS アカウントのコスト管理/運用 ・オンプレミスより AWS 環境へ移行 ・大規模の配信基盤環境の移行 |
| 技術スタック | Linux 基盤の各種システムエンジニアリング技術、各種自動化、Devops(Perl, Python, Go..)など |
| 今の業務内容 | IT基盤部 第一グループに所属しており、グループリーダーのロールを担っている。 グループリーダーとしての以下の観点に焦点を置き、日々発生する課題・問題に立ち向かい組織マネジメントに励んでいる。 1. Qulity : 合意した品質を守る 2. Cost : 合意した予算を守る 3. Delivery : 合意した納期を守る 踏まえての目標 - インフラサービス API 提供及び CI/CD 連携。自動化技術が適用可能なインフラへ転換し標準化を目指す - ヒューマン/インフラリソース及びサービス形態の定量化を目指す - 運用リソースを削減し、改善及び新技術の検証業務に工数集中を目指す |
スペシャリスト
| 職歴・経歴・年齢 | 大学卒業後、SIerなど数社勤務し、2010年にDeNAに入社。 Linuxのデバイスドライバ開発、カーネルのチューニング、ネットワークデバイスの開発経験など、 OS以下の低レイヤーの技術力を活かせるインフラエンジニアに従事。 日本屈指の高トラフィックをさばくmobageサーバで主に低レイヤーにまつわる問題解決をしてきた。 現在は配信サービスPocochaなど、主にAWSクラウドサービスの構築、運用。 45歳。 |
| 誇れる実績・強み | オンプレミス環境の物理サーバのOSインストール、自動化。 プライベートクラウドOpenStackをベースにしたインフラの設計、構築、運用。 オンプレミス環境からAWSクラウドへの移行（クラウドジャーニー）。 |
| 技術スタック | Linux、Perl、Apache、nginx、MySQL、AWS、GCP、Chef、Terrafrom、Python、Go |
| 今の業務内容 | 配信サービスPococha、Voice-Pococha、横浜ベイスターズのインターネットシステムの運用、インフラ改善 |
開発エンジニアから転身
| 職歴・経歴・年齢 | 大学卒業後、組み込みシステム系SIerにて5年ほど勤務。 その後、モバイルゲーム業界への転職をこころざし、ガラケーアプリ開発の契約社員として2年ほど勤務。 その後、DeNAに中途入社し、 mobage（プラットフォーム）のWebアプリ担当を6年ほど、 mobage（SocialGame）のWebアプリ担当を6年ほど、 IT基盤部にてインフラ構築運用を2年ほど経験。 現在43歳。 |
| 誇れる実績・強み | DeNA入社後の主な職務内容 - mobage（無料ゲームやSNS）の開発運用 - mobage（プラットフォーム）3rdパーティー向けsandbox環境の開発運用 - yahoo x mobage の無料ゲームまわりの開発運用 - mobage（SocialGame）2タイトル程にてリードエンジニアとして開発運用 - IT基盤部にて大規模ゲーム向けインフラの構築運用 などWebアプリ開発〜インフラ運用までの開発運用経験。 |
| 技術スタック | - Perl、HTML、Javascript、Linux、Apache、nginx、MySQL、Jenkins - AWS、GCP、Chef、Terrafrom、Kubernetes、Python、Go |
| 今の業務内容 | - 新規ゲーム向けインフラの構築（Kubernetes） - 既存ゲーム向けインフラの運用（IaaS） |
インフラ未経験から中途入社
| 職歴・経歴・年齢 | 2020年に前職に新卒入社。前職では PHP、JS、Go などによる開発業務を担当していた。 2021年に DeNA のネットワークグループに中途入社。 DeNA ではオフィスのネットワークの構築運用やネットワーク運用関連のツールの作成などを行っている。 また、パプリッククラウド管理チームにも所属し、AWS や GCP のアカウント運用等にも携わっている。 現在27歳。 |
| 誇れる実績・強み | DeNA TechCon 2022 Autumn 登壇 |
| 技術スタック | Linux, Bash, Go, C, Python, Ruby, MySQL, Ansible, Terraform, AWS, GCP, オフィスネットワーク構築運用 |
| 今の業務内容 | ネットワーク機器のフィルタ設定の自動確認ツールの開発 新規拠点のネットワーク構築 GCP とオンプレとの VPN 接続の切り替え AWS CLI でのログインを Okta 連携で行う方法の策定 |
文系学部卒から新卒入社
| 職歴・経歴・年齢 | 法学部政治学科出身ながらエンジニアへの道を志し、2019 年に DeNA にエンジニアとして新卒入社。 技術への知識欲を満たすためにインフラエンジニアとしてキャリアをスタート。以来一貫してゲーム・オートモーティブ事業のインフラの運用に従事している。 2020年にはオンプレミスから aws へのクラウド化が本格化し、mobage developers site のクラウド移行を任され計画から実行までをやりきった。 直近は Mobage Open Platform のインフラ管理に必要な全てのことを考え、実行する役割を担っている。 |
| 誇れる実績・強み | ・オンプレミスから aws への移行 ・techcon 2022 spring 登壇 > Amazon EC2 大規模インフラで起きうる障害と対応 |
| 技術スタック | ・Memcached, Redis, MySQL などのデータストア ・約10万 req/sec ほどの大規模サービスの運用 ・AWS や GCP の運用 ・プログラミング ・Linux 知識 |
| 今の業務内容 | ・Mobage Open Platform のインフラ管理に必要な全てのことを考え、実行すること ・キャパシティ管理 ・コスト削減 ・セキュリティ改善 ・アラート削減 |
