AIシステム部の栗林と申します。AI研究開発グループのマネージャーとして、主に「DRIVE CHART」で使用する認識技術の開発を担当しております。我々は、AI技術を効率よく実サービスに適用するため要素技術開発からプロダクトへの実装を一貫して行っています。
このBlog記事は、DRIVE CHARTにおける AI技術の事業応用 ーモデル開発からサービスデプロイまでー の前編です。ここでは、事業応用にあたってComputer Vision技術によるDeep Learning（以下、DL）モデルの要素技術開発事例について以下トピックでご紹介します。

　1. DRIVE CHART
　2. 実装機器&ドメインに特化したDLモデル開発の事例
　　　2−1 事例1 軽量な顔ランドマーク推定の設計
　　　2−2 事例2 事業ドメインに特化したデータセット構築

後編ではDLモデルをドライブレコーダーに実装するまでを紹介しています。
DRIVE CHARTにおける AI技術の事業応用 ーモデル開発からサービスデプロイまでー Part2

1. DRIVE CHART

AI機能を搭載したドライブレコーダーで交通事故ゼロ社会を目指すサービスで、図1に示すようにAI機能で検知した危険運転シーンをレポート配信して運転管理者がドライバーに対して運転行動改善を指導することで事故削減につなげます。

このサービスでは、カメラ映像とセンサデータを組み合わせて7つの危険運転が検知可能です（図2）。我々のグループでは、内・外向きカメラの映像からドライバーや前方車両の特徴を抽出できるDLモデルを効率的に実装できるように、要素技術開発から実装まで一貫して開発できる体制を整えています。

2. 実装機器&ドメインに特化したDLモデル開発の事例

内・外向きカメラの映像を利用したDLモデル開発の中から、内向きカメラに関して実施した取り組みを2つ紹介します。脇見検知を実現するために、内向きカメラの映像からドライバーの顔ランドマーク（目や鼻などの特徴点）を推定できるDLモデル、特にドライバードメインでランドマーク位置精度が高いモデルが必要でした。ここでは、事業部要求を満たす顔ランドマーク推定を実現するための事例を記載します。

2−1. 事例1 軽量な顔ランドマーク推定の設計

事業部からの要求は以下2つでした。
　1. エッジ端末で処理可能な顔ランドマーク推定の軽量モデル
　2. 脇見検知で重要となる目ランドマーク推定の高精度化

これらの要求を満たすためにSingle Shot Detector系の軽量ネットワークを用いて、図3のような2段階で検出する構造にしました。1段階目では顔全体のランドマークを推定して、2段階目では目領域だけ抽出した画像に対して高精度に推定します。2段階目は入力解像度を低く、かつ浅いネットワークを実現できたので軽量と高精度を両立させることができました。

図4は顔ランドマーク推定した一例です。目の位置がずれることなく推定できていることが分かります。

2−2. 事例2 事業ドメインに特化したデータセット構築

ドライバーの顔画像を大量に取得できますが、運転中のため正面向きかつ遮蔽されていないシーンが圧倒的に多く、このまま学習してしまうと正面向き以外または遮蔽されているような出現頻度が低いシーンでは精度が悪くなってしまいます（図5）。様々なシーンでも高精度な推定を実現するためには、学習用データセットに出現頻度が低いシーンを優先的に追加する必要があります。しかし、状況が多岐に渡るため特定条件に絞った検出（サングラス検出等）では網羅的に抽出することができません。 そこで、異常検知のアプローチで出現頻度の低いシーンを自動抽出して優先的にアノテーションできるようにしました。

生成モデルを用いた異常検知の概念を説明します。まず正常データのみで生成モデルを訓練します。図6は手書き数字の「5」を正常データとしていますが正面顔と思って下さい。推論時に入力画像と生成モデルで再構成された出力画像の再構成誤差から正常と異常の識別が可能になります。正常系に近い画像の場合は再構成された画像はほぼ変化なく、異常系の場合は再構成された画像との差が大きくなります。このように出現頻度が高いシーンを正常系として学習することで、出現頻度が低いシーンを異常系とみなすことが可能です。

結果としては7割程度識別可能で、異常系には出現頻度が低い正面向き以外または遮蔽されているシーンが多く含まれています。本手法を用いて抽出可能シーン、抽出困難シーンは図7のようなものがありました。
完璧な自動抽出ではないですが要求精度としては問題ないレベルに到達させることができました。

最後に

以上、DRIVE CHARTの概要、並びに事業部要求を満たす顔ランドマーク推定を実現するための事例を紹介しました。DLモデルのサービス実装は環境等の制約からハードルが高いですが、さらに性能向上させるためには技術的課題も多く、やりがいのある業務だと感じます。
価値のあるサービスを素早く実装させるために、DLモデルの高技術化ならび実装技術を一貫して開発できる体制をより加速させたいと思います。

part2ではDLモデルをドライブレコーダーに実装するまでを紹介していますので御覧ください。
DRIVE CHARTにおける AI技術の事業応用 ーモデル開発からサービスデプロイまでー Part2