Article
AIハードウエア：オープンワールドのセンシング用の相補的経路を用いたビジョンチップ
Nature 629, 8014 doi: 10.1038/s41586-024-07358-4
画像センサーは、オープンワールドでの応用において動的で多様かつ予測不可能な場面を扱う場合に、大きな課題に直面する。しかし、高速、高解像度、広いダイナミックレンジ、高精度を目指した画像センサーの開発は、消費電力と帯域幅によって制限されている。今回我々は、ヒトの視覚系に着想を得た相補的なセンシングパラダイムを提示する。これは、視覚情報を解析してプリミティブに基づく表現にし、それらのプリミティブを組み立てて2つの相補的な視覚経路、つまり正確な認知のための認知指向型経路と、速やかな応答のための動作指向型経路を形成する。このパラダイムを実現するため、我々は、ハイブリッド画素配列と並列異種読み出しアーキテクチャーを組み込んだビジョンチップ「Tianmouc（天眸）」を開発した。Tianmoucは、相補的な視覚経路の特性を活用して、最高1万fpsの高速センシングと130 dBのダイナミックレンジ、そして、空間分解能、速度、ダイナミックレンジの点で先進的な性能指数を達成した。さらにこのチップは、帯域幅を適応的に90％削減する。我々は、Tianmoucチップの自律走行システムへの組み込みを実証し、公道上の困難なコーナーでさえ、正確で高速かつロバストな知覚を可能にするその能力を例示した。プリミティブに基づくこの相補的なセンシングパラダイムは、オープンワールドの多様な用途向けのビジョンシステム開発における基本的な限界を克服するのに役立つ。
