News & Views

角を回った向こうを影で見る

角を回った先のような、直接見通せない所(死角)を見ることは難しいが、不可能ではない。視野から隠れた対象で光が散乱されると、散乱された光は対象に関する情報を運ぶので、コンピューター計算で対象の像を復元することができる。この撮像方法は、「非見通し線(non-line-of-sight)イメージング」と呼ばれ、通常は高価で特別な装置を必要とする。しかし、ボストン大学(米国マサチューセッツ州)のCharles Saundersらは、標準的なデジタルカメラで撮影した1枚の写真しか必要としない方法を開発し、Nature 2019年1月24日号472ページで報告した1。この方法は、撮像を補助する不透明な物体と、その後ろにあり、撮像対象となる光景の両方が直接の視野の外にある場合に、物体の位置と光景を復元できる。

反射という現象には2種類ある。鏡面反射(正反射)と拡散反射(乱反射)だ。鏡面反射では、入射した光は特定の角度で向きが変わる。一方、拡散反射では、入射光は多数の方向に散乱される。従来の潜望鏡(海中の潜水艦が海面を調べるため、かつて広く使われていたものなど)では、鏡の表面での鏡面反射を使い、観察者の視線外にある領域からの光の方向を変えていた。

この数年の計算機科学の進歩により、拡散反射する表面から集めた情報を使って、角を回った所を見ることや、直接の視野の外にある光景を見ることができる光学撮像システムが実現した。こうした場合、光の経路は、鏡によって単純に向きを変えられるわけではなく、撮像情報の全てが拡散反射で破壊される。撮像情報は、コンピューター断層撮影と呼ばれるX線撮像方法で使われるものと同様の方法で、一連の測定からコンピューターによって復元する必要がある。

先駆的な実験によって、直接の視野から隠れた対象の表面形状を復元できることが示された2,3。これらの実験では、超短レーザーパルスを拡散反射する中継面に照射し、その反射光が隠蔽構造の陰にある対象を照らす。光は、対象の表面で反射されて中継面に戻り、中継面でもう一度反射した光を特別な光センサーで検出する。

「過渡的イメージング」や「時間分解イメージング」と呼ばれるある種の撮像方法では、そうした光センサーによって光子の到着時間を非常に高精度で測定できる。このタイミング情報を、光子がセンサーに当たった角度と、中継面に関する詳細と併せて用いることで、反射した表面の位置をコンピューターを使って推定できる。例えば、非見通し線過渡的イメージングの原理を使って、動く対象がリアルタイムで追跡され4、また、対象の形状と表面の様子が復元された5

さらに難しい課題は、通常のカメラを使った非見通し線イメージングだ。この場合、光子到着時間は記録されず、対象の空間的性質を推定するために使うことはできない。その結果、ずっと多くの計算が必要になる。連続的な光源を備えた通常のカメラを使って、直接の視野から隠れた対象の位置と回転が追跡された6。しかし、この方法では、対象の形状と大きさが事前に分かっている必要があった。

撮像情報のもう1つの源が、影、より正確に言えば半影を含む領域に存在し得る。半影とは、影のうち、大きさのある光源の一部分だけが隠される領域だ。非見通し線イメージングでは、隠蔽構造が光の特定の経路を遮り、中継面に影を落とす場合がある(図1)。だから、視野から隠れた光景に関する情報は、検出器に到着した光子だけではなく、遮られた光子によっても表される。

図1 非見通し線イメージング
Saundersらは、カメラの直接の視野の外にある対象を撮影する技術を報告した1。彼らの方法では、隠れた対象(20インチの液晶ディスプレイ)から放出された光の一部が、位置が分かっていない隠蔽構造(7.7cm×7.5cmの黒い長方形)によって遮られる。遮られた光は中継面(対象から約1m離れている)に影を作り、一方、残りの光は中継面を照らす。最後に、1台のデジタルカメラ(約400万画素)が中継面の写真を撮り、この情報をコンピューターアルゴリズム(図には示されていない)に送る。アルゴリズムは隠れた対象の画像を復元し、隠蔽構造の位置を推定する。 Credit: Ref.1

非見通し線イメージングで影を利用するというアイデアは、出入り口の縁や壁の端の角が落とす影を分析し、通常のカメラを「角を利用したカメラ」に変えるという研究で初めて実証された7。半影の強度と色の小さな変化が検出され、それを使って、角を回った所に隠れている人々の動きが観察された。しかし、隠蔽構造のサイズが大きかったために、空間情報の一部しか復元できなかった。このアイデアは後に、植物の葉など、比較的小さな構造が落とした半影の強度変化から隠れた光景を復元する、より一般的な方法で使われた8。しかし、光子の伝播方向を決定するため、光景の詳細な校正が必要だった。

今回、Saundersらは1つの撮像方法を報告した。この方法では、隠れた対象から出た光が、位置が分かっていない隠蔽構造によって部分的に遮られ、中継面の上に光の照射と影のパターンを作る(図1)。標準的なデジタルカメラでこのパターンの写真を撮影し、画像はコンピューターアルゴリズムに送られる。このアルゴリズムは、影を含む領域の分析に関し、従来のアルゴリズムと比べて大きく改善されている。

Saundersらの非見通し線イメージングで復元された画像
aは液晶ディスプレイに表示された元画像
bはデジタルカメラで得られた画像
cdは復元された画像(cとdは分析方法が一部異なる)
eは隠蔽構造の位置が分かっている場合の復元結果

このアルゴリズムは、隠蔽構造の位置を推定し、隠れた対象の画像を作ることができる。さらに、1枚の写真から、対象の明るさと色の変化を前例のない分解能で復元する。一続きの写真を分析すれば、対象の動きを観察し、モニター上に表示することも可能だろう。

Saundersらの方法は、通常のカメラの視覚範囲を広げることができ、カメラの感知能力を高める。この技術の今後改善すべき点は、隠蔽構造の形状を決定できるようにし、また、隠れた光景の3次元的復元を可能にすることだろう。私たちが対象を見るとき、これまでは直接の視野でしか見ることができなかった。今回のような非見通し線イメージングは、環境の知覚に関する私たちの見方に革命を起こすかもしれない。

Saundersらの研究は、顕微鏡を用いた観察や、内視鏡などの医療用撮像装置の改善につながる可能性がある。また、彼らの方法は、化学工場や原子力発電所などの危険な、あるいは容易に近づけない領域の監視や、例えばタービンや閉鎖区域の点検などで産業界でも応用されるかもしれない。さらにこの技術は、乗り物が衝突を避けるためや、消防士や初期対応者(救急隊など)が火災が発生した建物や崩壊した建物の中を調べるために使われる可能性もある。そうした可能性を踏まえると、今回の研究結果は、拡大された視覚範囲を持つ撮像装置の開発に大きな影響力を持つだろう。

翻訳:新庄直樹

Nature ダイジェスト Vol. 16 No. 4

DOI: 10.1038/ndigest.2019.190435

原文

Shadows used to peer around corners
  • Nature (2019-01-24) | DOI: 10.1038/d41586-019-00174-1
  • Martin Laurenzis
  • Martin Laurenzisは、フランス-ドイツサンルイ研究所(フランス・サンルイ)に所属。

参考文献

  1. Saunders, C., Murray-Bruce, J. & Goyal, V. K. Nature 565, 472–475 (2019).
  2. Kirmani, A., Hutchison, T., Davis, J. & Raskar, R. Proc. 2009 IEEE 12th Int. Conf. Computer Vision 159–166 (2009).
  3. Velten, A. et al. Nature Commun. 3, 745 (2012).
  4. Gariepy, G., Tonolini, F., Henderson, R., Leach, J. & Faccio, D. Nature Photon. 10, 23–26 (2016).
  5. O’Toole, M., Lindell, D. B. & Wetzstein, G. Nature 555, 338–341 (2018).
  6. Klein, J., Peters, C., Martín, J., Laurenzis, M. & Hullin, M. B. Sci. Rep. 6, 32491 (2016).
  7. Bouman, K. L. et al. Proc. 23rd IEEE Int. Conf. Computer Vision 2289–2297 (2017).
  8. Baradad, M. et al. Proc. IEEE/CVF Conf. Computer Vision and Pattern Recognition 6267–6275 (2018).