学習アルゴリズム：ニューラルネットワークを動的外部メモリーとともに用いたハイブリッドコンピューティング

人工ニューラルネットワークは感覚処理、逐次学習や強化学習を非常に得意としているが、変数やデータ構造を表現したり、データを長期間にわたって蓄えたりする能力には限界があり、これは外部メモリーを欠くためである。今回、我々はディファレンシャブル・ニューラル・コンピューター（DNC）と名付けた機械学習モデルについて報告する。これは従来のコンピューターにおけるランダムアクセスメモリーに類似した外部メモリーマトリックスに対して読み書きができるニューラルネットワークから構成されている。DNCは、従来のコンピューターのように複雑なデータ構造を表現したり操作したりするのにメモリーを使うことができるが、ニューラルネットワークのようにデータから学習してそれらを行うこともできる。DNCを教師あり学習により訓練すると、推論や推測問題をエミュレートするように設計された人工の質問に自然言語でうまく答えられることが実証された。DNCは、特定の地点間の最短経路を見つけたり、ランダムに生成されたグラフで欠けている部分を推論するようなタスクを学習できたり、さらにこれらのタスクを交通ネットワークや家系図のような特定のグラフへと一般化できることも示す。また強化学習で訓練することにより、DNCは邪魔なブロックを動かすパズルを解くことができた。このパズルでは、ゴールは一定でなく記号の並びとして設定されている。まとめると我々の結果は、DNCが、読み書き共に可能な外部メモリーなしのニューラルネットワークには扱えないような複雑で構造化されたタスクを解く能力を有していることを実証している。

目次へ戻る