データ基盤（データエンジニアリング）

事業部門/共通部門におけるデータドリブンな意思決定をエンジニアリングによって支える、データ基盤部データエンジニアリンググループについてご紹介いたします。データ基盤部に所属するデータエンジニアは全社の各部門を横串で支援しており、各部門のデータ活用水準の向上に努めています。

事業/サービスの成長に伴い、データの量・種類・データを要求する仕事は日々増え続けています。我々データエンジニアは、データパイプラインの開発・運用やそれを支えるインフラ、分析関連ツールの提供などを通じて、全社のデータ活用がより便利で安全になるような取り組みをしています。我々の取り組みによりデータドリブンな意思決定をより効率的に行うことが可能となったり、機械学習や AI 技術を応用した、ユーザーにとって魅力的で便利な機能の開発も効率化されます。

データエンジニアリング組織について

データエンジニアが多数在籍するデータ基盤部では「チームトポロジー」と呼ばれる組織戦略を採択しており、データエンジニアリング組織を事業ドメインに対応するチームへ細分化し、事業ドメインに特化したデータ・ビジネスに専念できる状態を実現しています。

2024/08現在、データエンジニアリングに関わるグループとして下記の構成にて運営されています。

ストリームアラインドチーム

ゲームデータグループ
ライブコミュニティデータグループ
ヘルスケア・メディカルデータグループ
バックオフィスデータグループ

イネイブリング/プラットフォームチーム

プラットフォームグループ
データプロダクト開発グループ

DeNAデータエンジニアリング組織におけるチームトポロジー採択の意思決定背景および具体的なアプローチについては以下の資料を参照してください。

データエンジニアの役割

データエンジニアはデータの利用者を良く理解し、最適なデータアーキテクチャの設計やデータパイプラインの開発・運用、データマネジメントの推進など、事業におけるデータ基盤・利活用に付随する様々な業務を担っています。

実際にフェーズによって多岐に渡りますが、データエンジニアが担う業務としては以下の内容があります。

データエンジニアの業務

最近では、データ基盤部にて横断的な技術支援に取り組んでいるプラットフォームグループとの連携によるデータマネジメントの推進を進めており、このようなデータ戦略に取り組むデータマネージャーの役割も生まれつつあるなど、業務内容も日々進化しています。

また、役割・責務に細分化することでデータエンジニアリング組織として達成すべきミッションを明確にしています。

役割	業務内容
データアナリティクスエンジニア	分析やデータ利用の業務を主軸に貢献する。ドメインや業務に深く入り込みデータエンジニアリングの技術から支援を行う。データアーキテクト・データソフトウェアエンジニアと連携しながら各要件定義にも貢献し、データ活用の生産性を高める。担当するドメインやデータ構造も熟知する。
データアーキテクト	データプラットフォームをアーキテクチャ・インフラから支える。新しいクラウドサービスを活用した、アーキテクチャや各機能の開発・手順の提供を行いデータ活用の底上げを図る。アナリティクスエンジニア・ソフトウェアエンジニアと連携し、データマネジメント分野の開発・推進・監査を行う。リアルタイムデータパイプラインなど、より高度な開発・運用も行う。
データソフトウェアエンジニア	データエンジニアやアナリストなどの利用者をユーザーに、プロダクトを開発・運用し貢献する。クラウドサービスでは補完出来ない機能を開発することで、データ活用の生産性や品質を最大化させる。データマネジメント分野でも、データアーキテクト・データアナリティクスエンジニアと連携し、プロダクトの開発も行う。プロダクト開発においては、フロント・サーバー・インフラと広い範囲で業務を行う事が考えられる。

これらのポジションは硬直的なものではなく、自身のWILLを加味したアサインや目指していくキャリア・ロールに応じたデザインを実施しています。伸ばしたいスキル・経験を考慮し、時にはポジションを切り替えながら成長を促しています。

データエンジニアのポジション

チームカルチャー

事業やサービス、データの利用者を理解する姿勢

我々データエンジニアは事業やデータの利用者を理解し、より便利で安心なデータプラットフォームと、より快適なデータ活用の体験を提供しています。

そのために事業やサービス・データの利用者の理解が大切であり、ドメインごとにチームを組成することで事業に深く寄り添っています。

技術的にも、事業やサービスによって取り扱うデータの性質やデータパイプラインに求められる要件は異なります。データ利用者の業務を理解することで各データの重要度や障害発生時の影響度を把握し、監視の仕組みや運用体制を構築しています。

積極的な学習姿勢

チームトポロジーによりチームが分かれていても、ドメイン間での相互共有や技術研鑽は非常に重要です。データ基盤部に閉じず、DeNAグループに在籍する各組織のデータエンジニア・関係会社に所属するデータエンジニアおよびMLOpsエンジニアも交えた、特定の事業や技術に閉じない幅広いトピックを取り扱うことで知見の底上げを目指していく勉強会を毎週開催しています。

更に、有志によるデータエンジニアリングに特化した勉強会も積極的に行われており、新規技術・興味のあるテーマが現れるたび大小関わらず自発的に勉強会が生まれています。

実務で得られた知見・経験についても勉強会だけではなく外部に向けても積極的に発信しており、イベント登壇だけでなくBLOGページやオウンドメディアである dena.ai にてデータエンジニアリングに関する記事を掲載しています。

働き方について

担当役割や事業に応じて様々ですが、基本的にはリモートワークを中心にチームを運営しており、中には関東以外の地方に住居しているメンバーも含まれています。

チームによっては不定期にオフィスへ集合し、交流のためのランチ会やチームビルディングを行うことでリモートワークだけでは培われにくい関係の構築も行っています。

技術スタック

チーム・ロールによって異なりますが、主に以下のものが利用されています。

Category	Technology Stack
Programming / Database Languages	Python SQL
Infrastructure	Google Cloud
Data Lake / Warehouse	BigQuery Cloud Storage
Container Orchestration	Kubernetes Engine Cloud Run
Workflow Engine	Digdag Cloud Composer(Airflow)
Data Modeling and Transformation	dbt dataform
ETL	Airbyte
BI	Looker Looker Studio Argus(内製BIツール)
CI / CD	GitHub Actions Cloud Build
Tools	GitHub Enterprise Terraform PagerDuty

イベント登壇実績

2024