2004年度 森基金成果報告書
研究題目
「自車位置とビジョン情報を用いた物体詳細位置データベースの構築手法に関する検討」
政策・メディア研究科研究科 博士課程
学籍番号 80266219
氏名 橋本尚久
１．はじめに
1.1研究の背景
自動車交通の諸問題を解決することを目的として，ITS(Intelligent Transport Systems)の名のもとで様々な研究が推進されている．その技術分野の一つである自動運転においては，運転支援システムが実用化され，高速道路上での車間距離維持や車線逸脱防止等が実現されている．
本研究は，限定された空間（キャンパス内）で運用できる完全自動運転システムを構築し，実際に運用することを目指している．現段階においては，高精度GPSと，高精度な地図情報を利用して，慶應義塾新川崎タウンキャンパス内で発進，走行，駐車のプロセスを自動で行う，完全自動運転を行うシステムが完成している．しかし，高精度ＧＰＳのみでは，運用する際の信頼性が十分ではない．自車位置推定の信頼性を向上するため，筆者らは，キャンパス内における物体の詳細位置をデータベース化し，そのデータベースと車両に搭載したカメラによるビジョン情報を用いて，高精度ＧＰＳと同等の自車位置を推定するアルゴリズムを提案し，その有効性を確認した．（図１，図３，図４参照）
図１ 今までの成果研究
図２ 本年度の計画
図３ データベースにより仮想空間を構築
1.2 研究の目的
本研究では，カメラによるビジョン情報と自車位置より，周りの物体の詳細位置をデータベース化するアルゴリズムを構築することを目的としている．筆者らが昨年まで行ってきた自車位置推定には，走行する区間における物体の詳細位置データベースを持っている必要があった．そのため，今までは，走行区間に存在する物体一つ一つを計測してデータベース化を行っていた．これには，非常に時間がかかるのに加え，物体の位置が変わってしまった場合，再び同様な手間がかかってしまう．すなわち，走行区間が広くなるに従い，物体データベース構築が非常に困難になる．
そこで，本研究では，車両の自車位置を高精度ＧＰＳを利用して推定しながら走行し，カメラのビジョン情報で得られる物体を検出し，それらの詳細位置をデータ化していくアルゴリズムを構築する．具体的には，自動及び手動走行時にデータベースになりえる物体の検出を行う画像処理アルゴリズムの構築，自車位置と画像処理の結果より物体の詳細位置を推定するアルゴリズムの構築，実験システムの構築を行う．そして，実車実験により評価を行う．
図４ 成果1:物体データとビジョン情報から得られた自車位置推定誤差
図5 成果2: 中：自動運転目標コース
図６ 成果３：物体データとビジョン情報を利用した自動運転軌跡）
1.3 研究の特色
現在の自動車社会において，カーナビゲーションの普及率が年々増加している．カーナビに利用されている地図データは，道路や建物等の物体の情報とその大まかな位置情報である．現在，詳細な物体
の位置を測定するのに，ＧＩＳによる衛星写真やレーザーによる物体の測量が行われている．しかし，衛星からの死角になるところや，白線等の細かい情報は困難であるという点、またその高いコストに問題がある．本研究の実現により，高精度ＧＰＳとビジョンシステムを搭載した車両が走行することによって，物体の詳
細データを収集することが可能となる．また，物体データベースを構築した区間を走行中において，データベースに存在しない物を検出することによって，障害物，落下物等の情報を提供することも可能となる．
2 研究の成果報告
本研究では，完全自動運転システムにおいて，走行区間における物体の詳細データベースを利用することにより，自動車の自車位置推定を行い，自動運転における自車位置計測の信頼性向上を目的としている．本研究では，そのデータベースの構築手法について説明する．これまで利用してきたデータベースは，非常に高い精度及び多くの情報量を必要としている．利用したデータベースは，測位状況を把握しながら，直接物体にすぐ近くまでアンテナを持って行き物体の測位を測定していた．従来の手法では，一つ一つの物体の部分ずつをそれぞれ一つずつ計測するため多くの時間が必要であった．また，物体に直接アンテナを近づけるため，電波の届きにくい状況が発生するという問題も発生した．
物体のデータベースについての現状を説明する．現在，カーナビゲーションに利用している地図情報は非常に細かく，その更新頻度も高くなってきている．近年では，道路形状や車線数，信号の名前など地図情報の域に止まらない情報もデータ化されている．ナビゲーションにおいて，３Ｄ表示ができる機能が標準的に搭載されるようになった今，建物の高さや形状などの車内から見える風景という情報も非常に充実してきている．しかし，カーナビゲーションの目的は，目的地までの道案内にすぎず，詳細な地図データといえども，道路の車線単位の精度があれば十分である．そのため，おおよその物体の位置や道路形状に関するデータはデータベース化されているものの，自動車の自動運転システムに利用するには，困難となっている．
また，3Dの街並みをシミュレーションにて走行するための3Dの街なみをデータベースかする研究が行われている．これは，実際の車両が，自車の位置，向き，複数カメラからの映像，左右に向けられたレーザーレーダを利用することで，走行しながら3Dの街並みをデータ化していくものである．これは，3Dマッピングを行い，構築された物体のデータに，カメラからの画像をテクスチャとして貼り付けるものである．そのため，いろんな角度からにおいて，その街並みを見ることが可能である．しかし，本来の目的が異なり，本研究においては，物体との位置関係から自車位置を推定や障害物の検出を行うため，建物のような車両から離れている物体ではなく，より車両に近い白線や側溝などの道路形状の詳細位置データを必要としている．
地球上における地図情報に関して，GIS(Geographic
Information System)を利用した研究が，非常に盛んに行われている． GISとは，地理的位置を手がかりに、位置に関する情報を持ったデータ（空間データ）を総合的に管理・加工し、視覚的に表示し、高度な分析や迅速な判断を可能にする技術である．現在，地球上のほぼ全域に関して，その情報を閲覧することが可能となっている．
そこで，本研究では，実際に自動車を走行することで，現在の自車位置と効率的な画像処理を利用して，撮像された物体のデータベースを構築する手法を提案する．具体的には，CCDカメラを利用した，画像入力装置，画像処理装置を制作する．自車位置の推定を行うことができるシステムを構築する．あらかじめ大まかな物体データを構築し，参照することで，画像処理の高速化・効率化を行うことが可能となり，中速度まで対応できる周期でデータベースの構築を行うことが可能となる．また本システムにより，構内を繰り返し走行することにより，物体詳細データベースを構築していくと同時にそれにより自車位置推定・障害物検出を行うことが可能となる．実車実験による評価を行いその有効性を評価する．
以下では，データベース構築方法，構築手法評価実験，本研究のまとめについて述べる．
図７ に本研究の流れを示す．
図７ 本研究の流れ
2.1 手法
本節では，物体詳細位置データベースを利用して，物体位置情報を参照し，効率的な画像処理を行い，同時に新しく物体詳細位置データベースの構築・及び更新を行う方法について説明する．以下では，概要，物体位置データ，物体位置データ参照方法，画像処理について，物体詳細データベースの構築手法について説明する．
2.1.1 概要
提案する手法の概要は以下の通りである．あらかじめ大まかな構内の物体位置の情報を登録する．車両の位置情報と，物体位置情報により，周囲に存在する物体が既知となるため，車両からCCDカメラで撮像した周囲物体の効率的な検出が可能となる．そして，現在の自車位置と画像における周囲物体の位置，物体の判別結果から，物体の詳細位置データベースを構築し，ファイルに格納する．
提案する手法では，走行区間における物体の大まかな情報をあらかじめもっている必要がある．この情報は，カーナビゲーションに搭載されている精度の情報である．例えば，ｘ座標30，ｙ座標20の南向きの区間には，１車線の道路が存在するという精度の情報である．何も無いところから，物体詳細位置データベースを構築するのは，カメラから得られる画像情報からの物体の判別に時間がかかってしまい，短い周期での物体データ構築が行えなくなってしまうことになり，データが分散，欠落する可能性が高くなるという問題がある．また，おおまかな形状もわからないため，画像処理を行う際の後検出，誤認識の確率が多くなり，データベースのデータにおける信頼性が非常に低くなってしまう可能性がある．本手法で利用する大まかな情報は，走行区間を大きく８つに分け，分けられた部分において，存在する物体のみをデータとして保存してある．
本研究では，走行することによって，構内における道路白線，標識などの位置を計測し，データベース化を行っていく．車両にはCCDカメラを前方に搭載して画像情報の取得を行っている．本研究においては，実験車両を利用した．前方カメラの情報により道路白線を検出し，白線との位置関係を導出する．得られた結果と推定された自車位置を組み合わせて，白線の絶対位置に関する位置データを算出する．
本手法では，推定された自車位置から，おおよその場所におけるビジョン情報として利用できるものをあらかじめ得ている大まかな情報データから参照する．これにより，あらかじめ対象物に特化した処理が行えるのに加えて，処理を行う範囲を絞り込む事ができるため，信頼性の高い高速な画像処理が可能となっている．物体データベースの構築手法のフローを図８に示す．
図８データベース構築手法のフロー
2.1.2 構築するデータベース
本研究においては，構内の走路周辺の物体とその位置をデータ化する手法を提案することで，自動車の自動運転における環境認識の信頼性向上を可能とする．具体的には，走行を行うことで，信頼性の向上に必要なデータを収集し，それをデータベースとして構築しなければならない．本研究においては，収集するデータを白線，側溝と設定した．下記で述べるデータベース構築により，物体のデータを得た場合，その物体名，x,y 座標をデータベースに保存していく（図９参照）．本手法では，すべての物体について点データ離散的に保存している．
図9 データベースの一例
2.1.3 物体位置データ参照方法
大まかな物体データの参照方法について説明する．本研究では，物体の詳細なデータは参照せず，走行区間において存在する物体情報のみを参照する．本研究においては，物体の存在する場所を考え，走行区間であるキャンパスを７つの領域に分類した（図１０参照）．それぞれにおいて，存在する物体名がデータとして記録されている．現在の自車位置から，現在どの領域を走行しているのかを判別し，データベースに保存するデータを参照する．
図１０ 走行区間における領域
2.1.4 画像処理について
提案する手法では，前方の画像情報を利用する（図１１参照）．前方の画像処理から，側溝，白線を認識する（図１２参照）．あらかじめ実験車両に設置したカメラから撮像される画像を数枚保存し，HALCONにて画像処理用のコードを作成し，プログラムの一部として取り込んでいる．前方画像においては，推定された自車位置から，領域別の物体データが記載されている大まかな物体情報データから自分の周りに存在する物体を判断する．これにより，対象範囲を絞り，対象物に特化した画像処理を行うことができ，高速かつ信頼性の高い画像処理を行うことができる．本手法においては，車両の速度を多少遅めに設定しているため，画像処理演算に時間を割くことがことか可能となっている．
白線については、物体詳細データにより予想される画面領域を，あらかじめ作成しておいたグリッドによって細分化する．そのグリッド間の横方向での差分計算を行い，ある一定の閾値を超えるグリッドを抽出する（エッジが存在する領域）．抽出されたグリッド内において，同様なピクセル毎の詳細な差分値計算を行い、全体画面に対するピクセル単位の詳細な座標を持ったエッジを抽出する。次に、エッジの色情報を参照し、白線の色にほど遠いものは省く。これを上下の領域のそれぞれ末端まで行う．領域全体のエッジを抽出した後に、抽出されたエッジにおいてハフ変換を行い，直線近似を行い，直線上にないものは除外する。さらに、１周期前の検出位置と車両のヨーレートを参照し，予測される検出位置と明らかに異なる場合は除外する．
側溝については、白線よりエッジの検出が困難なため、フィルタリング処理やエッジ強調によって検出精度の向上を行っている。また，白線とは異なった色情報を参照している。他は，白線の検出と同様にグリッドの利用，エッジ検出，ハフ変換，予想される位置との比較を行っている．
図１１ 前方カメラのキャプチャー画面
図１２ 白線・側溝を検出している様子
2.1.5 物体詳細位置データベース構築手法
ここでは，画像処理の結果と現在の自車位置から得られた結果を利用して，物体の詳細位置データベースの構築方法について説明する．以下では，前方画像からの物体位置データ化，デッドレコニングによる遅れの補償について説明する．
① 前方画像からの物体位置データ化
前方画像において，検出した白線及び側溝の絶対位置データ化を行う手法について説明する．図１３に計算に用いる諸量の図を示す．現在の車両の位置V(Xv,Yv)から，画像処理の結果を用いてW1(Xw1,Yw1)を求めることにより，白線及び側溝の絶対位置のデータ化を行うことが可能となる．画像処理により，画面上における中心から白線までの距離Ds1及びDs2が得られる．VからW1，VからW2の求め方は，ほぼ同じなのでここでは．VからW1について述べる．
まず初めに，車両前方Dc[m]先における白線と，車両の向きに伸ばした直線との距離を推定する．上述した画像処理により画面上の白線を検出し，Ds1を求め，実際の長さDr1に変換する．この際，あらかじめキャリブレーションを行い，画面上の位置と実際の位置との関係を得ている必要がある．図9.1.8より
が得られる．ただし，白線と車両のなす角をαとする．
今回の実験車ではカメラの位置と車両の重心位置が同じでないため，制御に使用する際には，カメラ位置から車両の重心位置への変換を行っている．
図１３ 前方カメラからのデータベース構築
② デッドレコニングによる遅れの調整
本手法では，処理に計算時間のかかる画像処理の周期Tdを物体データの書き込み周期Tcwよりも遅くしている．こうすることで，データの書き込み周期をほぼ一定に保つことができ，構築された物体位置データの不連続性を防ぐことができる．画像処理の周期と，データ書き込み周期を等しくすることも試みたが，複雑な画像処理の演算を行う際に，一定の制御周期を保てなくなった．画像の処理を簡素化することで，画像処理による検出精度を落とすことは，構築するデータの精度を大きく下げる要因となるため，現在の設定とした．加えて，画像の取り込み時間と処理時間も無視することができない．これらの要因により，画像処理により算出する物体位置データに遅れが生じる．この問題を克服するため，デッドレコニングを用いて遅れの補間を行った．時刻kにおいて画像処理により物体位置データが得られた場合，サンプル周期あたりの車両変位ベクトルを
，推定されたベクトルを
，補間後のベクトルを
とする．ただし，車両変位ベクトルは，車両のヨー角，車速により拘束される．情報の遅れへの対応は，車両の微少変位量を加えることで以下のように補正できる．
2.2 実車実験による評価
ここでは，提案した物体データベース構築手法の有効性を評価するための実験について説明する．本実験では，提案する手法による得られる物体データベースと手動で構築を行ったデータベースと比較し，その有効性を評価する．以下では，実験システム，実験の方法，物体位置データ構築手法評価実験について述べる．
2.2.1 実験システム
実験車両として，ホンダドマーニ（排気量1500cc）を使用している．また，画像処理用の機器としては，プログレッシブCCDカメラを前方用のみにセットし，横方向用のカメラは，周期の安定化及びノイズ対策として，画像処理ボードの横方向カメラポートを閉じる用に設定した．また，実験のフローを図１４に示す．
図１４ 実験システムのフロー
2.2.2 実験の方法
実験は，慶應義塾大学新川崎タウンキャンパス構内の駐車場にて行った．図１５にテストコースを示す．実験では，Ａをスタート地点，Ｂをゴール地点とし，矢印の方向に実験車両を走行させた．図１５に，示したとおり，領域を７つに分けて，存在する物体の情報をデータとしてあらかじめ制御PCに保存した．実験は，ステアリングとアクセルをドライバが，手動で操作し，車両を走行させた．その際に，物体の位置データを算出し制御PCにデータベースとして格納を行い，あらかじめ手動にて測定しておいた位置データと比較することにより，提案する手法の評価を行った．車両の速度は，物体のデータベース構築が走行を行う目的であるため，他の実験よりも遅く，直線路では約4[m/s]，旋回半径5[m]程度のコーナーは極低速，旋回半径200[m]程度のカーブは，約2[m/s]で行った．
図１５ 走行コース
2.2.3 実験結果
ここでは，行った実験の結果について述べる．
ＡからＢまで走行し，得られた物体データの中から，明らかにはずれているものを取り除いて．プロットしたものを図１６に示す．また，手動のプロット図を図１７に示す．図１６より，物体データは，短い間隔でプロットされており，構築された物体データの連続性が実現されている．また，あらかじめ手動にて測定しておいたデータとの比較プロット図を図１８に示す．１度走行を行うだけで，図１８の結果が得られた．本手法を利用せず，今まで行っていた計測方法では，図１７のようなデータベースを構築するのに１日以上の時間を費やした．プロット図では，多少のずれはあるものの，大まかに手作業でデータベースを作成しておき，本手法を利用して組み合わせることが有効であると考えられる．
これら実験結果により，本研究で提案する手法を活用することで，物体位置データベースの構築が容易化に貢献できることを明らかにした．
図１６ 実験結果
図１７ 実験結果
図１８ 実験結果
3. 本研究のまとめ
本研究では，自動運転の信頼性向上のために利用する物体詳細位置データベースの構築手法を提案し，その有効性を実車実験により確認した．提案した手法に関する説明として，物体位置データ構築，物体データ参照方法について，物体データ構築方法について，実車実験による評価についてそれぞれ説明した．この手法は，自動車の自動運転の信頼性の向上をめざし，自動運転における重要な環境認識である自車位置推定と障害物検出に利用する物体詳細位置データベースの構築を目指したものである．実車実験によって，提案する手法の有効性をあきらかにした．本研究で述べたことをまとめると以下のようになる．
l
自動車の自動運転システムにおける物体詳細位置データベース構築手法の必要性，現在の地図データに関する状況及び問題点を明らかにした
l
カメラによる画像情報と走路内におけるおおまかな物体情報を利用することにより，物体の詳細位置データベースを構築する手法を提案した
l
実車実験によって，提案する物体詳細位置データベース構築手法の有効性を明らかにした
本研究で提案された物体詳細位置データベース構築手法により，自動車の自動運転における環境認識の信頼性向上に利用するデータベースの構築を手動で構築するのではなく，走行しながら行うことが可能となる．また，提案した手法は，現在利用されている地図データベースのさらなるデータの詳細化に貢献することができ，これらを組み合わせることで，自動車交通における道路環境に関するほぼすべての物体を細かくデータ化することが可能となる．また，レーザーレーダやテクスチャマッピングを利用する，3Dの町並みを構築する手法及び結果と組み合わせることで，より詳細な現実性の高い町並みを再現できるようになるのに加えて，本研究で提案したデータベースをGISにデータを組み合わせることによって，交通領域における物体情報の充実化を行うことができる．
しかし，本手法によって側溝及び白線の詳細位置データを算出することが可能となったが，横方向に存在する電灯に関する物体詳細位置データの構築は実現できていない．あらかじめ，電灯の大きさもしくは，それに変わる位置推定に必要な情報を得ている場合を想定する必要があったため，本研究では，電灯の位置推定を行わなかった．今後は，電灯の情報をあらかじめ得ている状況で本手法を適応するのか，レーザーレーダセンサによる距離推定結果と本手法のフュージョンによって，電灯の詳細位置データを構築するのかを考えていきたい．
参考文献
Naohisa Hashimoto,
Manabu Omae, Kazutaka Shimoda, Hiroshi Shimizu, ｢Automated Guiding Control
System for Software Controlled Multi-purpose Small
Electric Vehicle｣，EVS20, Long Beach, 2003/11/19.
橋本尚久，大前学，下田和貴，清水浩, 「超小型多目的電気自動車の自動運転ソフトウェア開発」，ＪＡＲＩ次世代自動車フォーラム,
国連大学, 2004/1/15.
橋本尚久，大前学，清水浩，｢構内の物体位置情報とビジョン情報およびＧＰＳ測位情報を利用した自動車の自動運転のための自車位置推定の高信頼化に関する研究｣，自動車技術会春期大会，パシフィコ横浜，2004/5/19