カリフォルニア大学バークレー校（米国）の神経科学者Jack Gallantは研究室で、椅子から身を乗り出して食い入るようにコンピューター画面を見つめていた。そのコンピューターは、被験者の思考を解読した結果を表示しようとしていた。

コンピューター画面の左側には、Gallantが脳スキャン中の学生被験者に見せた映像の一場面が表示されている。画面の右側には、コンピューターの解読プログラムが被験者が見ていたものを推測した結果が表示されている。被験者の脳スキャン像の詳細データのみを使って、被験者が何を見ていたかを当てようというのだ。

画面の左側には、映画『ブライダル・ウォーズ』のあるシーンが映し出されていて、アン・ハサウェイの顔があり、ケイト・ハドソンと熱のこもった会話を交わしている。それに対し、コンピューターの解読アルゴリズムは自信たっぷりに、画面の右側に大きくはっきりした文字で、「woman（女性）」や「talk（話す）」などの言葉のラベルを着々と表示していく。終わると、左側の画面が別の映像に変わった。今度は、野生生物のドキュメンタリーからの水中シーンだ。この解読に四苦八苦したプログラムは、最終的に、自信のなさそうな小さく色の薄い文字で、「whale（クジラ）」や「swim（泳ぐ）」などのラベル付けをした。

「この動物はマナティーですが、解読プログラムはそれが何であるかを知らないのです」と、まるで出来の悪い学生を擁護するかのようにGallantはプログラムについて説明を始めた。彼らは、被験者にさまざまな画像や映像クリップを見せ、その際に生じた脳活動パターンをプログラムに取り込ませることで、このプログラムを「訓練」したという。この解読プログラムにはいくつかの大型の水棲哺乳類に関するデータはあったが、マナティーのデータはまだなかった。

この技術は「脳情報デコーディング（brain decoding）」と呼ばれ、現在、世界各国の研究グループがこれに取り組んでいる。この技術を使って、脳スキャンデータから、人が何を見たり聞いたり感じたりしているのか、何を思い出しているのか、どんな夢を見ているのかを読み取ろうというのだ。

マスメディアは、この技術によって「読心術が空想から現実に」とか「我々の社会生活のあらゆる面に影響を及ぼす」などと報道している。例えばThe Economist（英国ロンドン）は読者に「恐れるべき」だと警告し、科学者が脳スキャンによるテレパシーを実現するのが何年後かを推測した。

対照的に企業は、脳情報デコーディングを市場調査や嘘発見法などに応用しようと、科学者に接触を図り始めている。しかし科学者の関心は、この技術を使って、脳そのものを知ることにある。Gallantのグループやその他のチームは現在、さまざまな脳活動パターンの基盤に何があるかを明らかにしようと取り組んでおり、脳が自身を取り巻く世界を理解するために使っている符号（コード）やアルゴリズムの解明を目指している。この技術を使えば、脳の働きを支配する基本原理や、脳が記憶や行動、情動を符号化する仕組みを知ることができると考えているのだ（「初心者のためのデコーディング入門」を参照）。

Gallantらの技術を、写真や動画などの視覚情報の符号化を超えた領域にまで適用するには、複雑さの点で極めて大きな飛躍が必要になるだろう。Gallantは、「私が脳の研究で視覚を扱うのは、それに最も興味があるからではありません。最も研究しやすい部分だからです。視覚は、私が死ぬまでに解明できそうだという期待が持てる領域なのです」と説明する。ただし、理論上は「この技術を使えば、どの脳領域も基本的に解明できるはず」と彼は言う。

「斑点」解析を超えて

脳情報デコーディング技術の黎明は10年ほど前にさかのぼる¹。機能的磁気共鳴画像法（fMRI）を使って得られた脳スキャンデータの中に手つかずの情報が大量に埋もれていることに、神経科学者たちは当時から気が付いていた。fMRIは、酸素を多く含む血液が流れる脳領域を特定することで脳の活動度を測る技術で、活動度が高い領域は、スキャン像の中で色の付いた斑点として明るく浮かび上がる仕組みだ。活動パターンを解析するため、脳は小さい多数のボックス（「ボクセル」と呼ばれる、二次元画像の「ピクセル（画素）」に相当する三次元画像の単位）に分割される。例えば、fMRIを用いて顔の情報を処理している領域を絞り込む際には、誰かの顔を見るなどの1つの刺激に対して最も強く応答するボクセルを探し、応答の微弱なボクセルからのデータは捨てる。

デコーディング技術は、脳スキャン像に含まれる情報を、これまでの「斑点」解析よりも多く取り出すことができる。つまり、顔に対してどの脳領域が最も強く応答するかを調べるのではなく、強い応答と弱い応答の両方を使って、もっと微妙な活動パターンを捉えるのである。この技術を使った研究の初期には、例えば、対象物の符号化の際に活動するのは、fMRI上で非常に活動的と表示されるただ１つの狭い領域だけではなく、広く分布する一連の領域であることが明らかになった。

デコーディング技術は、「パターン判別器（pattern classifier）」と呼ばれる計算アルゴリズムに支えられており、パターン判別器に脳スキャンの記録を取り込ませることで、プログラムにそれぞれの画像や概念と関連する脳活動パターンを「学習」させる。このプログラムに十分な量のサンプルを取り込ませれば、被験者が見ているものや考えていることを推測できるわけだ。これは脳内の斑点マッピングをはるかに凌駕する技術である。脳活動パターンをさらに細かく見ることで、単に「脳内のどの場所」かを問う段階から、心理過程の本質に関わる仮説を検証する段階にまで進むことができるのだ。例えば、何年もの間論争となっている、記憶の強度や活動分布に関する疑問を検証することもできるだろう。fMRIに詳しいテキサス大学オースティン校（米国）のRussell Poldrackは、脳情報デコーディングによって、ヒトの脳が課題をどのように遂行するかを予測する心理学の既存理論について、検証が可能になるだろうと言う。「単なる斑点の解析を超えた先には、多くの道が開けているのです」と彼は話す。

初期のデコーディング研究^1,2では、脳活動パターンから、被験者が見ている対象物のカテゴリー（ハサミか、瓶か、靴かなど）を判別できる程度の情報が得られることが明らかになった。「我々は、この技術がちゃんと機能したことに驚き、この技術を使って分かったことにも驚きました」と、ダートマス大学（米国ニューハンプシャー州）のJim Haxbyは話す。彼は、2001年に発表された最初の脳情報デコーディング研究を率いた研究者である。

2005年には、ATR脳情報研究所（京都）の神谷之康とFrank Tong（現所属はバンダービルト大学；米国テネシー州ナッシュビル）のチームが、機械学習を用いた脳情報デコーディング法を開発し、微細な脳構造の基本原則をヒトで確認することに成功した。当時すでに、視覚野の多くは、物体の境界の傾き（エッジの方位）に強く応答し、それらの情報を組み合わせて外界の全体像を構築していることが、サルやネコの脳に電極を埋め込んで調べた研究から分かっていた。ただしヒトの脳では、こうしたエッジに好選性のある脳領域があまりにも小さく、従来のfMRI技術では捉えることができていなかった。神谷ら、および当時ロンドン大学ユニバーシティカレッジ（英国）で同技術を研究していたJohn-Dylan HaynesとGeraint Reesの2つのチームはそれぞれ、fMRIデータにデコーディング技術を適用することで、エッジのある画像が、ヒトでも非常に特異な脳活動パターンを引き起こすことを明らかにした^3,4。実験で被験者にさまざまな傾きの線を見せたところ、活動パターンを示すボクセル・モザイクが線ごとに異なる状態になったため、チームは被験者がどの傾きの線を見ているか知ることができた。

2008年になると、被験者に見せる画像は、エッジから複雑な絵になった。当時Gallantのチームは、被験者が120種類ある絵のどれを見ているかを特定できる解読アルゴリズム（デコーダー）を開発した。この解読は、被験者が見ている画像が属する大ざっぱなカテゴリーを推測したり、エッジを読み取ったりするよりもずっと難しい。同年、神谷らは、脳活動をもとに、被験者が見ているものを大ざっぱではあるが画像化することに成功した⁵。（2013年7月号「脳の画像から、夢と心を読む」参照）Gallantらはその後、動画を再現できるデコーダーを開発した⁶。

2006年頃になると、さまざまな課題に対応するデコーダーが開発されるようになった。課題には、例えば、被験者があるシーンを想像する「視覚心像」や、ある事実や数字を心に留めておく「短期記憶」、それから、2つの数字を足すべきか引くべきかを決定するときの「志向」などを調べるものがある。中でも「志向」は視覚系を解読するよりも難しいと、現在ベルンシュタイン計算論的神経科学センター（ドイツ・ベルリン）に所属するHaynesは話す。彼は、「志向は多種多様過ぎて、カテゴリー分けが可能かどうかすら見当もつきません」と嘆く。絵であれば、色彩や内容によってカテゴリー分けができるが、志向を支配する原理は、それに比べると確立するのが容易ではないのだ。

Gallantの研究室でも、志向の研究がいかに難しいかをすでに感じている。彼のチームは『カウンターストライク』という名の一人称視点の対戦型ビデオゲームを使って、プレーヤーが左右どちらに行こうとしているのかや、敵の追跡／銃の発砲のどちらをしようとしているのかについて、志向の読み取りを試みた。その結果、あちこち動き回るときの志向の読み取りはほぼできた。しかし、それ以外のfMRIデータ内の情報は全て、被験者がゲーム内で銃を撃ったり死んだりした際の情動で生じた信号に圧倒されてしまい、読み取れなかった。つまり、情動で生じた信号が、志向に関する繊細な情報を全てかき消してしまうのだ。特に強力な信号が生じるのはゲーム内で死んだときだとGallantは説明する。

夢についても同じことが言える。神谷のチームは2013年4月に、夢の内容のデコーディングを試みた研究結果をScienceに発表した⁷（Nature ダイジェスト 2013年7月号20〜21ページ『脳の画像から、夢と心を読む』参照）。被験者にスキャナー装置の中で眠ってもらい、夢を見ていると思われるタイミングで被験者を起こしては、どんな夢を見たか思い出してもらうことを繰り返した。チームは最初、夢の中の視覚情報を再構築しようとしたが、最終的には言葉によるカテゴリーで分類することにした。彼らの解読プログラムは、被験者の夢に出てきたもののカテゴリー（自動車、文章、男性、女性など）を60％の精度で推測することができた。

夢の内容は主観的なものであるため、情報をさらに抽出することが困難なのだと神谷は話す。「私は自分が見た夢の内容を考えるとき、実際に何かを見ているように感じます」と彼は言う。しかし、夢には脳の視覚領域だけでなく他の領域も関わっていると考えられており、そのため、信頼できるモデルを構築することはさらに困難になる。

リバースエンジニアリングの難しさ

脳情報デコーディングは、脳活動と外界との相関性を確立できるという事実の上に成り立っている。そして、例えば脳からの信号を使ってロボットハンドに指令を出したいだけなら、そうした相関性を見いだすだけで十分である（Nature 2013年5月9日号 176〜178ページ参照）。しかし、Gallantをはじめとする研究者たちは、脳が使っている複雑なコードを解読したいと考えており、そのためには、相関性を見いだすだけでは不十分である。まず何よりも、脳内の構造がどうやって作られ、情報をどのように蓄積するかを解明する必要がある。

だがそれは容易ではないだろう、とGallantは言う。それぞれの脳領域は、他の複数領域のネットワークから情報を得て組み合わせる際、おそらく情報の表し方を変化させていると思われる。そのときにどんな種類の変換が起こっているかを、神経科学者は、事後の状態から明らかにしなければならない。脳は、他のエンジニアリング対象と違って、ヒトの頭脳や数理モデルで必ず理解できるような原理で組み立てられたものではない。「我々が脳を設計した訳ではないのです。脳はあくまで我々に与えられたものであり、我々は脳が働く仕組みを解き明かさねばならない立場なのです。この種のシステムをモデル化するための数理学がある訳でもありません」とGallantは説明する。脳の各領域の内容について入手可能なデータが十分な量あったとしても、それらの領域自体や、領域どうしの関係性、領域の時間につれた変化の仕方などを1組の方程式で記述することは、おそらく不可能だろう。

医学研究会議（MRC）認知脳科学ユニット（英国ケンブリッジ）の計算論的神経科学者Nikolaus Kriegeskorteによれば、視覚情報が符号化される仕組みを解明するだけでも相当難しく、厄介だという。視覚系は脳の中で最も解明が進んでいる部分であるにもかかわらず、そう捉えられているのだ（Nature 2013年10月10日号156〜158ページ参照）。「視覚は、人工知能を構築する際の難題の1つです。我々はかつてこれを、チェスをしたり定理を証明したりすることよりも容易だろうと考えていました」と彼は話す。しかし実際には、多くの問題に直面することになった。例えば、多数のニューロンは顔のような対象物をどのように表現するのか、対象物の情報は視覚系の複数領域間をどのように伝わるのか、そして、顔に対応する神経の符号が顔を表現する際にどう変化するのかなど、問題は山のようにある。個々のニューロンのレベルからモデルを構築するのはあまりに複雑な作業であり、「資源も時間も不十分」とKriegeskorteは言う。そこで彼のチームは現在、既存の複数の視覚モデルを脳データと比較して、何がぴったり合うかを見極めようとしている。

現実世界への波紋

多数の脳に広く適用でき、また、同一の脳では時間を超えても一般化できるようなデコーディングのモデルが求められているが、この開発は一筋縄ではいかない。デコーダーは普通、二者択一（例えばAとBどちらの絵を見ているか）などの比較的単純な脳活動の解読以外は、個々の脳について構築する必要がある。それに対し、いくつかの研究グループが現在、万能な「フリーサイズ」のモデルを構築しようと画策中である。Haxbyもそうした1人で、「脳はどれも、ほんの少しずつ違っています。活動パターンの個人差については今のところまだ十分に情報が集まっていないのですが……」と話す。

ニュースなどで話題になった脳情報デコーディングのアプリケーションの多くは、「誰か」の隠された思考や無意識下の思考を読み取ることを想定しておらず、そのためには標準化が必要になるだろう。そうした被験者を選ばないアプリケーションはまだ実現していないが、企業はすでに関心を示している。Haynesによれば、彼は最近、自動車メーカーのダイムラー社の代理人から、市場調査のため、被験者から消費者の隠れた好みを読み取れないかと尋ねられたという。原理的には可能だろうが、現在の手法では、30種類の製品のうちでどれがいちばん好きかを判定することはできない、とHaynesは話す。また彼は、「マーケティング担当者は現在分かっている情報を大事にすべきです。従来の市場調査手法を使って調査したほうが、ずっと確実だと思います」と語った。

脳情報デコーディングには、捜査に関わるサービスを提供したいと考えている企業も関心を寄せている。例えば、ノーライMRI社（米国カリフォルニア州サンディエゴ）は、デコーディングに近い技術を使って、脳スキャン像で嘘と真実を見分けることが可能だと言っている。スタンフォード大学（米国カリフォルニア州）の法学者Hank Greelyは、『オックスフォード版 脳神経倫理学ハンドブック』（Oxford University Press、2011）の中で、嘘を検出でき、記憶の信頼度をチェックでき、陪審員や裁判官の先入観を明らかにできるより優れた方法が登場すれば、司法に恩恵がもたらされるだろう、と記している。一部の倫理学者は、個人の心の中の思考や欲望はプライバシーであり、プライバシー保護法によって守られるべきだと主張している。一方、オックスフォード大学（英国）の脳神経倫理学者Julian Savulescuは、デコーディング技術を採用しても基本的には問題ないと見ており、「人々はこの技術を恐れていますが、正しく使えば大いなる自由がもたらされるでしょう」と話す。彼によれば、脳のデータも、他の証拠類と何も違わないという。「人々の発する言葉を証拠とするのは構わないのに思考はダメだと特別扱いする理由が、私には分かりません」とSavulescu。

Haynesが現在行っている研究では、被験者に「仮想の家」をいくつか見て回ってもらい、その後、被験者に別の組み合わせの「仮想の家」群を見せながら脳をスキャンする実験がある。予備実験の結果から、被験者が脳スキャンの前にどの「仮想の家」を訪れたかを特定できることが示唆された。つまり、この種の技術を使うことで、容疑者が以前に犯行現場を訪れたことがあるかどうかを明らかにできる可能性があるということだ。この研究結果はまだ発表されておらず、Haynesはこの話をするのと同時に、法執行機関でそうした技術を使うことの限界を指摘した。もし、ある人物が、そのビルの中にいたことがあるにもかかわらず覚えていない場合はどうなるのか。また、容疑者が、犯行の起こった日時の1週間前にそこを訪れていた場合はどうだろうか。それに、容疑者が脳スキャナーをうまく欺く可能性だってあるだろう。「人々がどんな対抗手段で応じてくるか分からないですよね」と彼は話す。

デコーディング技術によって、埋もれている記憶が確実に表出するという推測に対し、否定的で取り合わない研究者もいる。そういったことを別にしても、デコーティングには重さ15tで300万ドル（約3億円）もするfMRI装置が必要である上、被験者にはじっとしていてもらわねばならず、なおかつ能動的にひそかに何かを考えてもらうことになる。そこまでして得た情報でも、「人の頭の中にあるからといって、それが正しいとは限らないのです」とGallant。目下のところ、心理学者たちには、現状のデコーディング技術よりも高い信頼度と安い費用で人々の思考を捉える方法がある。「現時点で、誰かが何をやろうとしているかを知る最善の方法は、その当人に尋ねることですよ」とHaynesはきっぱり言った。

翻訳：船田晶子、編集：編集部