研究背景・目的

　3次元復元は、撮影された被写体の形状や距離等の3次元情報を復元することを目的としたコンピュータビジョンの研究分野です。例えば、自動運転車が周囲の環境を理解して安全に走行するためには、建物や他の車までの距離の情報が不可欠です。あるいは3Dプリンターで出力するために被写体の形状をスキャンするといった用途も考えられます。人間がさまざまな手掛かりを利用して奥行きを知覚するのと同様に、復元する対象やアプローチは多岐にわたり、それぞれが独自の研究分野を形成しています。私はこの分野で、陰影の変化を利用して被写体の法線画像を復元する「フォトメトリックステレオ法」および「建築物内部の3次元復元」をテーマに取り組んできました。

研究内容

• フォトメトリックステレオ法
  フォトメトリックステレオ法は様々な方向から被写体に光を当てて、陰影の変化から3次元復元を行うアプローチです。数理的には光が被写体に反射してカメラに到達する過程をモデル化し、その逆問題を最適化する過程で被写体の法線画像を復元します。しかし、相互反射のような複雑な物理現象をモデル化することは困難で、既存研究では単純な光学系のみが扱われてきました。そこで私たちは、困難なモデル化をCGデータを用いた機械学習によって代替し、より汎用的な対象に対してこの手法を適用することを実現しました（図1）。

• 建築物内部の3次元復元
  建築物は人間が住みやすいように注意深くデザインされており、「壁は平面で地面に対して垂直である」等の共通ルールが幾つも存在します。そのようなルールを上手く利用することで、高度な3次元情報を復元することが可能になります。これまでに、復元された3次元モデルに対して「部屋」、「壁」、「天井」等の構成要素への階層的構造化手法を実現し、間取り図の生成、ナビゲーションシステム、CAD編集等に応用してきました（図2）。

産業応用の可能性

　3次元復元技術は今後以下のような応用が期待されています。

• 重要文化財の形状保存
• 屋内ナビゲーションや家具配置のシミュレーション
• タンパク質の形状復元、人工関節や臓器の生成のための人体測定
• 自動運転技術やロボットの制御VR、ARコンテンツの生成