機械学習：200言語まで拡張されたニューラル機械翻訳
Nature 630, 8018 doi: 10.1038/s41586-024-07335-x
ニューラル技術の開発により、機械翻訳の研究に新たな道が開かれている。現在、ニューラル機械翻訳（NMT）システムは、非常に多数の言語にわたる能力を活用できる上、ゼロショット翻訳さえ実行でき、言語の対象範囲と品質の点で有望な結果をもたらしている。しかし、高品質のNMTを拡張するには大量の対訳データが必要であり、こうしたデータは、世界の7000以上の言語に対して平等に利用できるわけではない。比較的少数のグループの高リソース言語の翻訳品質を向上させることに重点を置くと、低リソース言語の研究に向けられる関心を犠牲にすることになり、長期的にはデジタル不平等を悪化させることになる。今回我々は、このパターンを打ち破るために、言語をまたいだ転移学習を活用する単一の大規模多言語モデル「No Language Left Behind（いかなる言語も置き去りにしない）」を提示する。我々は、Sparsely Gated Mixture of Experts（疎なゲーティングによる混合エキスパート）アーキテクチャーに基づく条件付き計算モデルを開発し、これを、低リソース言語用に調整された新しいマイニング技術で得られたデータで訓練した。さらに、アーキテクチャーの改良と訓練の改良を複数考案して、何千ものタスクで訓練しつつ過学習を抑えた。我々は、この目的のために特別に生成されたツール類、すなわち、自動ベンチマーク（FLORES-200）、人間による評価の指標（XSTS）、そして今回のモデルであらゆる言語を対象範囲とする有害度検出器を使用して、4万通りの翻訳方向で今回のモデル性能を評価した。その結果、今回のモデルは以前の最先端モデルと比較して、BLEUスコアで測定される翻訳品質において平均44％の改善を達成した。我々の成果は、NMTを200言語に拡張する方法を実証し、この取り組みにおける全ての寄与物を非商用目的で自由に使用可能にすることによって、万能翻訳システムの開発に向けた重要な基礎となる。
