研究テーマ
車載画像処理

○車載カメラ映像からの沿道パノラマ画像生成と更新領域の検出
本研究は更新が頻繁に行える実世界地図の構築を目的とし, 実環境に変化があれば変化情報を検出することを目指しました． カーナビ等の地図には店舗情報や建物のグラフィクスが付与されていますが， 建築や店舗の交替など実世界における更新への対応は従来手動で行われていました． その作業を自動化できると大幅なコストダウンが期待できます． そのために本研究では左図のようにビデオカメラを車両の横向け（日本においては左向け）に取り付けて 走行しながら沿道の映像を記録し， 直進区間を走行中のフレーム画像を接続して沿道パノラマ画像を作成します． この生成されたパノラマ画像を用いて過去のパノラマ画像と比較して，環境変化情報を検出します． ここで問題になるのが，駐車車両や歩行者，信号など背景となる建物の前にある障害物です． パノラマ画像中に障害物が含まれてしまうと，上記の更新判定に支障をきたします． 本研究では障害物をできるだけ排除した形でのパノラマ画像生成を目指します．


上図は障害物を含む撮影画像の例です． 2台のトラックが駐車しており，建物を遮蔽しています． ビデオカメラ映像は秒間30フレームの画像でできていますが， あるフレーム画像の大部分の画素に対応する画素が時間的に近接するフレーム画像にあります． これらの対応する「点」はカメラからの距離に応じた「速度」で移動します， すなわちカメラに近い「点」は遠い「点」に比較すると高速で移動します． この特性を利用して背景領域と障害物領域を分離します．

本研究ではSIFT特徴量と特徴点移動方向の制約を用いてフレーム画像間で対応する特徴点を決定します． 左図は得られた対応点の例です．


このように対応付けられた各特徴点ペアに対して， その移動量と近接特徴点の所属クラスタを基準にクラスタリングを行い， 背景領域と障害物領域を分離します． 左図は背景と判定された領域のパノラマ画像です． トラックの荷台部分に誤判定がありますが概ね良好に分離されています． 障害物で完全に遮蔽された領域は当然ながら再現できません．


左図は前景（障害物）と判定された領域のパノラマ画像です． 共に境界部を中心に誤判定がありますが，概ね良好に分離されています．


この図は特徴点移動量から換算したカメラから前景及び背景への距離の比を反映させたものです．


実画像データベースとして以前に蓄積された沿道パノラマ画像と 新たに取得されたパノラマ画像を比較して更新情報を検出します． 比較する手法はフレーム画像間で対応する特徴点の抽出で使用したSIFT特徴量を用いた対応付け処理を行います． 対応付けが行われた点は前の環境から変化がないので対応付けが行われます． しかし，GPS 位置は同位置であるのに対応線が現れなかった箇所は，前の環境から変化しているために対応付けられません． この対応線が現れなかった箇所を更新点の候補として検出します． 検出された変化点候補が水色で囲まれた領域になります．

○参考文献
▲Research Top