計算科学：ディープニューラルネットワークによるフォトリアリスティックな実時間3Dホログラフィーに向けて
Nature 591, 7849 doi: 10.1038/s41586-020-03152-0
連続的な奥行き感のある三次元（3D）シーンを表示する能力は、仮想現実や拡張現実、ヒューマン・コンピューター・インタラクション、教育、訓練に多大な影響を及ぼす。計算機合成ホログラフィー（CGH）は、回折と干渉の数値シミュレーションを通して高い空間角度解像度の3D投影を可能にする。しかし、物理学に基づく既存の方法では、ピクセルごとの焦点制御と正確なオクルージョンを両立させてホログラムを生成することができない。さらに、計算的負荷が大きいフレネル回折シミュレーションでは、画質と実行時間との間に明確なトレードオフがあるため、動的ホログラフィーが実用的でなくなる。本論文では、1枚のRGB深度画像から実時間でフォトリアリスティックなカラー3Dホログラムを合成できる、ディープラーニングに基づくCGHパイプラインを実証する。今回用いた畳み込みニューラルネットワーク（CNN）は、メモリー効率が極めて高く（620キロバイト未満）、民生品グレードの1個のグラフィック処理ユニット上で、1920 × 1080ピクセルの解像度を60 Hzで実行できる。また、我々のCNNは、低電力オンデバイス人工知能アクセラレーションチップを利用することで、モバイルデバイスやエッジデバイス上でインタラクティブに実行でき（iPhone 11 Proでは1.1 Hz、Google Edge TPUでは2.0 Hz）、将来世代の仮想現実や拡張現実用のモバイルヘッドセットにおいて実時間での実行が期待される。このパイプラインは、RGB深度画像と対応する3Dホログラムの4000対からなる大規模CGHデータセット（MIT-CGH-4K）を導入することで可能になった。今回のCNNは、微分可能な波動ベースの損失関数を用いて訓練されており、フレネル回折を物理的に近似する。我々は、アンチエイリアスによる位相のみのエンコーディング法によって、スペックルのない自然な高解像度3Dホログラムを実験的に実証した。今回の学習に基づく手法とフレネルホログラムデータセットは、ホログラフィーの可能性を最大限に引き出すのに役立ち、メタ表面設計、光ピンセットや音響ピンセットに基づく顕微鏡操作、ホログラフィック顕微鏡法、単回露光ボリューメトリック3D印刷での応用を可能にすると思われる。
