工学：自律走行車の安全性検証のための高密度強化学習
Nature 615, 7953 doi: 10.1038/s41586-023-05732-2
自律走行車の開発と展開を妨げる重要なボトルネックの1つは、安全性が最優先される事象がまれにしか生じないために、実運転環境における安全性の検証に極めて高い経済コストと時間コストを要することである。今回我々は、人工知能に基づくバックグラウンドエージェントを訓練して、不偏性を失わずに、加速モードにおいて自律走行車の安全性能を検証するインテリジェントな試験環境を開発したことについて報告する。バックグラウンドエージェントは、実運転データから、高密度深層強化学習（dense deep-reinforcement-learning, D2RL）アプローチを通して、どの敵対的操縦を実行すべきか学習する。このアプローチでは、安全性が最優先ではない状態を除去し、安全性が最優先される状態を再連結することによってマルコフ決定過程が編集され、訓練データの情報が高密度化されている。D2RLは、ニューラルネットワークが、安全性が最優先される事象を用いて高密度化された情報から学習するのを可能にし、従来の深層強化学習アプローチでは手に負えないタスクを実現する。我々は、シミュレートされたバックグラウンド車両、物理的な道路インフラ、実際の自律試験車両を組み合わせ、拡張現実環境を用いて幹線道路の試験走路と都市の試験走路の両方において高度に自動化された車両を試験することによって、今回のアプローチの有効性を実証した。今回の結果は、D2RLによって訓練されたエージェントが、評価過程を数桁加速（103～105倍速く）できることを示している。さらに、D2RLによって、安全性が最優先される他の自律システムを用いた試験および訓練の加速が可能になる。
