オムロン、運転手の状態をリアルタイムに判定する「最先端AIを搭載した車載センサー」を開発


オムロン株式会社(本社:京都市下京区、代表取締役社長CEO:山田義仁)は、人と機械の関係を革新し、自動運転による「ぶつからない車社会」の実現など、安心・安全な車社会に関わる技術貢献に取り組んでいる。

omron-developed-the-in-vehicle-sensors-equipped-with-state-of-the-art-ai-determines-the-state-of-the-driver-in-real-time20160607-22

一方、近年は社会に於いても、公道上での自動運転に注目が集まっている。具体的には我が国でも実証実験を筆頭に、国土交通省と経済産業省が共同で開催している「自動走行ビジネス検討会」が『今後の取組方針』を発表。

早ければ2018年までに高速道路での「自動走行レベル2(自動分合流)」の実用化を目指すことを明記するなど、車の自動運転実用化への期待が高まっている。

但し車の自動運転は、高速道路から段階的に実用化される見込みであり、自動運転を行う高速道路と手動運転を行う一般道路では自動運転と手動運転の安全な切り替えが必須となる。

特に自動運転から手動運転の切り替えは、ドライバーが運転に集中していない状態(寝ている、スマートフォンの操作に夢中になっているなど)からでも、安全に行う必要がある。そのためには、自動運転時のドライバーが、どのような状態であるかを車が正しく認識することが重要だ。

omron-developed-the-in-vehicle-sensors-equipped-with-state-of-the-art-ai-determines-the-state-of-the-driver-in-real-time20160607-23

omron-developed-the-in-vehicle-sensors-equipped-with-state-of-the-art-ai-determines-the-state-of-the-driver-in-real-time20160607-12

また、ドライバーの健康状態が急変し、運転の継続が困難な状況に陥ってしまう事故が複数発生したことを背景に、国土交通省が、「ドライバー異常時対応システム」のガイドラインを世界に先駆けて策定するなど、今後は、手動運転時のドライバーがどのような状態で運転しているかを、車が正しく認識することが求められてくる。

このような背景からオムロンは、自動運転時のドライバーの状態を「どれくらいの時間で運転に復帰できるか」、手動運転時のドライバーの状態を「どれくらい安全に運転を行える状態か」を基準とした多段階で判別する機能の実現を目指した。

判別した結果をもとに車を制御することで、自動運転と手動運転の安全な切り替えや、ドライバーの異常時に車を安全に停車させることなどを可能にする。

例えば、自動運転で高速道路から一般道路に進入する場合、ドライバーがすぐに運転に集中できる状態であれば、円滑に自動運転から手動運転に切り替える、ドライバーが寝ていたり、すぐに運転に集中できない状態であれば、安全に路肩に停車するなどのシーンが想定される。

以上を踏まえ同社は、独自の画像センシング技術に最先端のAI(時系列ディープラーニング ※1)技術を組み合わせ、運転手の多種多様な行動や状態をチェックし続け、安全運転に適した状態かを判定する「ドライバー運転集中度センシング技術」を備えた世界初の車載センサーを開発した。

omron-developed-the-in-vehicle-sensors-equipped-with-state-of-the-art-ai-determines-the-state-of-the-driver-in-real-time20160607-2
図1. 「ドライバー運転集中度センシング技術」の概要

近年、運転手の健康状態が急変し、運転の継続が困難な状況に陥ってしまうことによる事故の複数発生や、自動運転の実現にむけた運転手の安全運転を支援する技術開発が求められている。

同社はこれを背景に、車を安全に制御するために運転手が安全運転に適した状態かをリアルタイムに判定できる技術開発を進めてきた。

今回発表した「ドライバー運転集中度センシング技術」は、オムロン独自の高精度な画像センシング技術に最先端のAI技術「時系列ディープラーニング」を取り入れることにより、カメラで撮影した映像から、運転手が運転に適した状態かをリアルタイムにレベル分けして判定する技術。

同技術により、車は運転手の状態に合わせた制御を行うことが可能となり、自動運転と手動運転の安全な切り替えや、運転手の異常発生時に車を安全に停車させるなど、車社会の安全性を高めることができる。

同社では、この技術を搭載した車載センサーを、2019年~2020年に発売される自動運転車などへの採用を目指す。

omron-developed-the-in-vehicle-sensors-equipped-with-state-of-the-art-ai-determines-the-state-of-the-driver-in-real-time20160607-3
図2. 「ドライバー運転集中度センシング技術」による「運転復帰レベル」の判定例

【同技術の特徴】
1.運転手の多種多様な行動/状態をセンシングし、運転に適した状態かをリアルタイムにレベル別に判定。

・高速道路の自動運転時:運転手の多種多様な行動/状態を「どれくらいの時間で運転に復帰できるか」を基準に「運転復帰レベル」として、リアルタイムにレベル別に判定する。(図2参照)

・手動運転時:運転手の多種多様な行動/状態を「どれくらい安全に運転を行える状態か」を基準に「危険度レベル」として、リアルタイムにレベル別に判定する。(図3参照)
・レベル分けの段階・基準は、顧客の要望によって変更が可能であり、幅広い車種に対応できる。

omron-developed-the-in-vehicle-sensors-equipped-with-state-of-the-art-ai-determines-the-state-of-the-driver-in-real-time20160607-4
図3. 「ドライバー運転集中度センシング技術」による「危険度レベル」の判定例

2.多様な運転手の状態を手のひらサイズのカメラ1台で判定

・従来、運転手の多様な状態を把握するには、顔の向きなどを検知するカメラ、心拍など生体情報を検知するセンサー、ハンドルの動きを検知するセンサーなど、複数のカメラやセンサーから得られる情報を組み合わせる必要があった。

同技術は、「局所的な顔映像」と「大局的な動作映像」の2つの映像として処理することで、居眠り、脇見、スマートフォン操作、読書など、さまざまな運転手の状態を手のひらサイズのコンパクトなカメラ1台で判定できるようにした。

3.ネットワーク接続を必要としない車内で完結したシステムでもリアルタイムに判定処理が可能

・従来、時系列ディープラーニングは、連続したデータを扱うために、比較的大規模なサーバーシステムへの接続が必要だった。

しかし同技術では、カメラから取得した映像データを、「高解像度の局所的な顔映像」と「低解像度の大局的な動作映像」に一旦分離した上で、2つの映像を効果的に組み合わせることで画像処理量を低減。

「時系列ディープラーニング」を、車載の組込環境でもリアルタイムで実行可能にした。

これにより、大規模サーバーシステムへの接続が不要となり、車にネットワークへの接続環境を求めないため、既存車への後付けや、低価格帯の車への搭載も可能とする。

展示情報
オムロンは、「ドライバー運転集中度モニタリング技術」を用いた技術デモンストレーションを、2016年6月8日(水)から10日(金)まで、パシフィコ横浜で開催される「第22回 画像センシングシンポジウム SSII2016」および、2016年6月27日(月)から30日(木)に、アメリカ・ラスベガスで開催される「CVPR Industry Expo 2016」に展示する。

※1 時系列ディープラーニングについて
ディープラーニング技術の一種。ネットワーク構造の工夫等により、静的情報だけでなく、連続した時間的変化を伴う事象の認識を可能とするニューラルネットワーク技術である。

現在AI分野で活用が進む一般的なディープラーニング技術は、画像認識等で非常に高い性能を示す一方(例えば、静止画から猫である、犬である等の判別)、連続した時間的変化を伴う事象は苦手としており、音声認識等の一部の分野への適用に留まっていた。

特に人間の動作のように非常に高次元の情報を含む事象の高精度認識は実現できていなかった。オムロンは、過去の情報を内部に保持する仕組みを持つ、RNN(Recurrent Neural Network)と呼ばれる技術を独自に改良し、高精度な顔情報と映像情報を統合的に処理することで、時系列情報を含む多様なドライバー状態の高精度な認識を実現した。

オムロン株式会社 http://www.omron.co.jp/ To-jump-to-external-page20150401