2002年度森泰吉郎記念研究振興基金 報告書

研究課題「自動車における自動運転システム高信頼化に関する研究」

慶應義塾大学大学院政策・メディア研究科後期博士課程1年

橋本尚久 e-mail:mocchi@sfc.keio.ac.jp

 

究課題概要

現在の交通社会問題解決策として,自動運転システムの普及が求められている.現在普及の妨げになっている信頼性問題の解決のためには,高精度な環境認識が必要である.そこで本研究では,画像処理情報を組み合わせるための,センサフュージョンアルゴリズムを構築し自動運転システムの高度化を行う.具体的には,車両にステレオビジョンと,周囲環境データベース(周囲に存在する固定物体とその形状および位置に関するデータ)を導入し,このデータベースを利用したセンサフュージョンアルゴリズムを開発する.高精度GPSによる位置,方位情報,ステレオビジョンによる画像情報,レーザーレーダーからの情報を周囲環境データベースを媒介にしてセンサフュージョンを行うことにより,各センサの情報の精度を高め,他のセンサに対してフォローできるシステムの構築を行う.本研究では,シミュレーション,実車実験により評価を行う.

 

研究の目的

本研究では,完全自動運転システムにおいて,画像情報を利用することにより,自動車の自車位置計測の信頼性向上に加えて,障害物検出性能を向上させることを目的としている.高精度GPSのみを利用した,位置情報に依存したシステムでは,衛星の信号が捕捉できなった場合等に,大きな位置計測誤差が発生し,目標コースから逸脱し,危険な状況が発生する.また,レーザーレーダーのみに依存した障害物検出は,雨天時の検出性能が大幅に劣化する.また,歩行者の服の素材によっては,歩行者を検出できない場合がある.すなわち,一般人被験者を対象とした運用試験を安全に行うための信頼性が十分ではない.本研究では,CCDカメラによるステレオ画像情報と,高精度GPSによる位置情報,レーザーレーダーの障害物位置情報を統合的に処理することにより,自車位置検出,および障害物検出に関する信頼性の向上を行う.具体的には,CCDカメラを利用した,画像入力装置,画像処理装置を制作し,画像処理アルゴリズムを開発する.そして,実車実験による評価を行いその有効性を評価する

 

 

 

本年度の研究成果

本年度の研究成果について述べる.本年度の成果は,大きく分けて下記の3点を行った.

l        慶應義塾新川崎タウンキャンパスに存在する物体位置データベースの構築

l        画像処理を利用した物体認識アルゴリズムの構築

l        画像処理を想定した自動運転評価シミュレーションプログラムの作成

1つ目の,慶應義塾新川崎タウンキャンパスに存在する物体詳細位置データベースの構築について説明する.画像処理から自車位置を特定する方法は,下記のとおりである.まず,カメラから送られる映像を写す画面上の中で,あらかじめ決められた物体を認知する.それを利用して,その物体の画面上の位置,物体の絶対位置座標と自車パラメータ(向き,速度等)から現在の自車の位置を算出する.この方法で正確に自車の位置を推定するためには,物体自体の正確の位置が必要である.そこでまず,新川崎タウンキャンパスの数多く存在する物体の中から,画像認識の容易性を考慮にいれて電灯,白線,側溝,看板を選択し,それぞれの絶対位置座標(緯度,経度,高さ)の測定を行った.これらの測定には,現在の自動運転システムに利用している高精度GPSを用いた.得られた測定結果を元にそれぞれの位置をプロットしたものを図1に示す.また,今後の容易に利用するために,今回の測定で得た物体の正確な位置情報をデータベースとして構築した.本データベースは,後の画像処理の高速化高信頼化,もとにある障害物と予期せぬ障害物の見分けるための先見情報やそれらを組み合わせて自車位置を推定するために利用するものである.

 

図1 新川崎タウンキャンパスデータベースプロット図

図2 川崎タウンキャンパスの物体位置データベース表

 

 2つ目の,画面上の物体位置を車載CCDカメラにより認識するための画像認識アルゴリズム構築について説明する.車両に搭載したカメラの画像情報より物体認知を行うためのアルゴリズムを構築した.画像認識には,CCDカメラ,画像処理用ボードと画像処理ソフトHALCONを使用した.画像処理ボードとは,CCDカメラからの映像情報を高速にパソコンで処理するためのハードウエアである.また,HALCONは取り込んだ画像情報から物体認識のアルゴリズム構築を容易にするソフトウエアであり,自動運転プログラムを構築するC言語との相性が非常によいため,本研究において使用することにした.

次に,画像認識アルゴリズムについて説明する.白線,側溝は地面と平行に位置し,カメラからの映像において画面の中央より下に存在することは明らかである.また,現在の車両パラメータ(位置,向き等)によりデータベースから画面に映し出されるであろう,白線,側溝をピックアップする.またそれらの正確な位置データより,カメラより得られる画面上においての白線,側溝の認識範囲を定めることができる.これにより,認識精度の向上と認識時間の短縮を実現している.同様に,外灯認識も同じように範囲を指定している.また,範囲内においては,白線,側溝,外灯は下記に記す流れで認識を行っている.

@        画像全体の情報(輝度,平均,偏差等)を得る

A        現在の車両パラメータや前回の測定結果より認識範囲を決定する

B        認識範囲内において,画像の情報を獲得する

C        上記の情報を元に画像の加工(フィルタ,2値化,エッジ強調,穴埋め)を行う

D        加工された画像においてハフ変換,パターンマッチングを行う

E        誤差の少ないものを採用し認識結果とする

F        認識された画面上の位置を求める

G        現在の車両パラメータや前回の認知場所等を考慮して今回の認知の採用を決定する

上記のアルゴリズムを用いて図3に示す画像の処理を行った例を図4に示す.図4の青い線は,白線の認知結果を示す.図3の元画像と比較して白線の内側(車両側)に沿って平行に描かれていることが理解できる.図4の黄色い円は,外灯の認知結果を示す.外灯の中心に円が示されている.外灯に関しては,あらかじめ外灯のテンプレートファイルを2種類用意しておき,それぞれのテンプレートファイルとのマッチングを行い,同じものであればそのまま認知結果としている.異なる場合においては,より誤差の小さいほうや前回の認知結果,車両のパラメータを考慮にいれ,より最適なものを採用している.図4の左下の四角で囲われたものは,側溝の検出を示している.側溝は,白線と比較して道路とのコントラストが少なく,単純な加工(2値化のみなど)やハフ変換のみでは検出しにくい.そこで,単純な白線検出方法も行うと共に,その信頼性向上のためにもう一つの別の方法で側溝の検出を行っている.まず,現在の自車位置と前回に検出した側溝の場所から画面上のある程度の位置を推定する.得られたおおよその検出目標位置から,図4のように四角形の検出範囲を作成する.その小さい検出範囲内において,範囲内での2値化のための閾値の決定,ホール埋め,ラプラシアンガウスによるエッジ検出など全体で行うには比較的時間を有するも様々な加工やマッチングを行い,その側溝の場所を検出する.次に,今回の四角形では検出していない部分において(図4では,左下の四角形の右上)新しい四角形の検出範囲を作成し,同様に側溝の検出を行う.これらの検出を側溝の検出範囲全体で行い,その検出結果を統合し,側溝検出画面全体においての側溝の検出精度を向上させている.

 

図3 画像処理例(画像処理前)

図4 画像処理例(画像処理後)

 

3つ目の,画像処理を想定した自動運転評価シミュレーションプログラムの作成について説明する.現在完成しているキャンパス内自動運転シミュレーションプログラムに画像処理情報を組み合わせるための評価用シミュレーションプログラムを作成した.現在までに自動運転プログラムは,キーボードで目標位置を選択するとギヤの変更から目標コースに沿って目的地まで完全自動運転走行するものが完成していた.図5がその実行画面である.図の上側半分が新川崎タウンキャンパスのマップであり赤く塗りつぶした丸が目標コース,赤い矢印が現在の車両の位置と向きを表している.また,黄緑の線は目標コースとなっており,これらはすべて絶対位置情報を元にプロットした点の集合体である.今回の変更点は,物体の位置情報データベースを組み込み,画像処理プログラムによる画像処理情報を得ることで,自動運転の高度化を目指すための評価を容易にすることである.具体的には,現在の車両の位置,向きを元にしてデータベースと比較し,データベースに存在する物体の中でカメラに映りそうなものをピックアップする.例えば図5では,車両は図の右上を左向きに走行中である.この場合,自車から向かって前方左に存在する外灯,右下に存在する白線,左下に存在する側溝がピックアップされる.当然,白線は連続なものでありかつ数多く存在するためあらかじめ,部分部分に分けた白線においてその最適なものをピックアップしている.また,外灯と白線も同様にしてピックアップしている.図5では,黄色の四角で囲まれているところが,現在ピックアップしているものを表している.図中では”groove =149 light =102 white=121”とあり,左から側溝,外灯,白線の順になっておりその数字には,定められた番号とその部分番号が表してある.例えば,”groove“の場合側溝NO9の4番目の部分を表している.一方,何もピックアップされない場合は,”0”を表示する.また,本シミュレーションプログラムはこれらのピックップすべき物体と物体に関する情報を別の画像処理プログラムに送信,画像処理プログラムから画像処理の結果を受信することも可能である.シミュレーションプログラムの完成により,カメラによる画像情報との接続方法,高信頼高速化を目指した画像認識評価や本研究の最終目的である自車位置計測の向上手法検討について比較的容易に行うことができる.

 

5 自動運転システムシミュレーション実行画面

 

今年度の評価及び今後の計画

今年度は,自動運転システムの高度化を目指して,

l        慶應義塾新川崎タウンキャンパスに存在する物体位置データベースの構築

l        画像処理を利用した物体認識アルゴリズムの構築

l        画像処理を想定した自動運転評価シミュレーションプログラムの作成

の3つの成果を収めることができた.次年度は,今年度の成果を利用して,画像処理による環境認識性能向上のシステム構築(図6),センサフュージョンによる自車位置高信頼化方法の検討(図7),実車実験による評価を行っていきたいと考えている.

今年度計画通りに成果を収めることができたのは,森泰吉郎基金のおかげであり,ここに感謝の意を表する.

6 画像処理による環境認識性能向上のシステム構築

 

7 センサフュージョンによる自車位置高信頼化方法の検討