Article
AIハードウエア：イベントカメラによる低レイテンシー車載ビジョン
Nature 629, 8014 doi: 10.1038/s41586-024-07409-w
先進運転支援システムで現在使用されているコンピュータービジョンのアルゴリズムは、画像ベースのRGBカメラに依存しており、安全な運転体験を提供するには、帯域幅とレイテンシーのトレードオフが深刻になってきている。この問題に対処するため、代替のビジョンセンサーとしてイベントカメラが登場している。イベントカメラは強度変化を非同期的に測定し、これによって高い時間分解能と疎性が得られ、帯域幅とレイテンシーの要求が大幅に低減される。しかし、こうした利点にもかかわらず、イベントカメラベースのアルゴリズムは、効率は高いが精度の点で画像ベースのアルゴリズムに後れを取っていたり、同等の結果を得るためにイベントの疎性と効率を犠牲にしたりしている。今回我々はこれを克服するために、各モダリティーの利点を保持し、ひいてはこのトレードオフの問題から解放される、イベントベースとフレームベースのハイブリッド物体検出器を提案する。我々の方法は、イベントの高い時間分解能と疎性、そして標準的画像の豊富だが時間分解能の低い情報を利用して、効率的で高速の物体検出結果を生成しており、これによって知覚的なレイテンシーと計算のレイテンシーが低減される。我々は、毎秒20フレーム（fps）のRGBカメラとイベントカメラを併用することで、精度を損なうことなく、45 fpsのカメラの帯域幅で5000 fpsのカメラと同じレイテンシーを実現できることを示す。今回の手法は、イベントカメラの潜在的能力を明らかにすることによって、エッジケースのシナリオにおける効率的でロバストな知覚への道を開く。
