ERATO 池谷脳AI融合プロジェクト

脳AI融合テクノロジーのELSIに関する議論（共同ステイトメント）

2. 脳AI融合テクノロジーがもたらす課題

　脳AI融合テクノロジーには、大きく分けて3つの技術が関係します。脳の活動を読み取る技術、脳と機械 (AI) を接続する技術、脳とAIを融合することによって人間の能力を高める技術の3つです。そして、はじめの2つについては脳神経倫理学で、最後のものについては遺伝子倫理学 (genethics) と脳神経倫理学で、これまでにさまざまな議論が展開されてきました。以下では、それらの議論のなかから、脳AI融合プロジェクトに関連する論点を検討しましょう。

2.1 デコーディング技術に関する課題

　脳は外界から刺激を受け、そこに情報処理を加え、身体を動かす命令を発します。したがって、脳の活動には、知覚経験や身体運動などに関するさまざまな情報が含まれているはずです。近年、MRIをはじめとして、生きている人の脳の活動をリアルタイムで計測し、その内容をコンピュータで処理し、画像化するイメージング技術が発展したことで、脳の活動からそこに含まれるさまざまな情報を読み取ることが可能になっています。脳の活動を計測し、そこから心の内容を読み取る技術は、デコーディングと呼ばれます。

　デコーディング研究としては、たとえば、視覚皮質の神経活動から、ある人が何を見ているかを読み取る研究や、身体を動かそうとする運動皮質の神経活動を読み取り、それを利用してロボットアームやコンピュータ画面上のカーソルを動かすといった研究がすでに行われています。また、ある人が質問に対して正直に回答しているのか、嘘をついているのかを脳活動から判定するといった研究も行われています。さらに、脳活動からある人がどのような知的活動を行っているかを判定したり、どのような個性をもっているかを判定したりするといった、脳の活動からより複雑な心の働きを読み取る研究も進められています。脳の活動は非常に複雑ですが、今日の高性能なコンピュータを用いた機械学習を活用することで、このような高度な内容の読み取りも十分に可能性のあるものとなっています。

　しかし、脳活動から心のあり方が読み取れるようになれば、さまざまな課題が生じることが予想されます。

2.1.1 利用範囲

　デコーディング技術を利用する際にまず問題となるのは、どのような場面ならばこの技術の利用を認めてよいかということです。具体的な利用の場面としてまず考えられるのは、刑事司法や安全保障、すなわち、犯罪の取り調べにおいて容疑者が嘘をついていないかどうかを確かめたり、入国審査の際に入国者がテロリストではないかどうかを確かめたりするといった利用法でしょう。これらは、社会に大きな利益をもたらす用途ですが、そのような場合ならばデコーディング技術の利用は認められるでしょうか。また、取り調べにおいてポリグラフ（いわゆる嘘発見器）を利用することと、デコーディング技術を利用することには、どのような違いがあるでしょうか。

　もう一つの予想される用途はマーケティングです。魅力的な商品開発のために、消費者の脳の活動を読み取り、商品に対する消費者の反応を調べることは許されるでしょうか。同意のうえであれば、そしてモニターに謝礼を払って行うのであれば、許されるでしょうか。マーケティングにおける利用を認めれば、デコーディング技術を利用できる大企業が市場においてより有利になる、無駄な消費や依存を引き起こす商品が開発されてしまうといった問題が生じるかもしれません。マーケティングにおける利用の是非を考える上では、アンケートや行動解析、生理指標や視線計測等を用いた既存のマーケティングと、デコーディング技術を利用したマーケティングとの間にどのような違いがあるかも検討する必要があるでしょう。

　あるいは、人事採用のような場面での利用も考えられるかもしれません。デコーディングによって人の個性や才能などが判定できるようになれば、企業はそれらの情報を採用の判断材料に利用したいと思うかもしれません。応募者の同意を条件とするとしても、一部の人が利用を受け入れれば、採用上不利になることを恐れて、他の人々も受け入れざるを得なくなり、事実上の強制となってしまうでしょう。他方で、われわれは、現在でも適性検査などに基づいて採用を決定しています。このこととデコーディングによって得られた情報にもとづいて採用を決定することには、何か重要な違いがあるのかどうかを明らかにする必要もあるでしょう。

2.1.2 情報の解釈

　デコーディング技術に関しては、誤解や誤った情報の流布にも注意が必要です。一つの問題は、デコーディング技術の信頼性を過大評価することです。現在行われているデコーディング研究は、実験室における人工的な条件下で行われているものなので、そこでできることが実生活の場面でも同じようにできるとはかぎりません。たとえば、実験のなかで嘘をつくことと、日常生活の重要な場面で嘘をつくことには大きな違いがあり、前者で成功する虚偽検出が後者でも成功するとはかぎらないでしょう。また、デコーディング技術が商業化されれば、デコーディング装置を販売する企業は、その信頼性を誇張して宣伝するかもしれません。デコーディング技術を利用する際には、その信頼性や限界を正しく理解することが不可欠です。

　デコーディングの結果がわれわれの考え方やあり方に影響を与えることにも注意が必要でしょう。たとえば、デコーディングによって悲観的な性格だと判定された人は、そのことが原因で悲観的な考え方を強めるかもしれません。また、デコーディングによって無意識的に画家になりたいと思っていると判定された人は、それを信じて画家を目指すようになるかもしれません。このような、予言の自己成就と呼ばれる現象が生じる可能性にも注意が必要です。

　デコーディングに機械学習を用いる場合には、機械学習は統計的な手法であるため、ある程度の誤差は不可避であるという点にも注意が必要です。たとえば、嘘をついていないにも関わらず、機械学習が嘘だと判定してしまう確率はゼロではありませんから、冤罪を生み出してしまうかもしれません。さらに、機械学習を用いる際にはいわゆるアルゴリズム・バイアスにも注意が必要です。たとえば、虚偽検出システムの学習にYes/Noクエスチョンのデータばかりを用いてしまうと、作り話のような嘘を入力としたときに正しい判定が行えないかもしれません。このように学習データに偏りがある場合には、とくに注意が必要です。

　デコーディングに機械学習を用いる場合には、説明可能性も問題となります。ある人の脳活動からその人は嘘をついていると深層ニューラルネットワークを用いたAIが判定したとしても、なぜそう判定したのか、具体的に脳のどのような活動がその判定に関係しているのかということは、人間には理解が困難かもしれません。そのような場合、われわれはこの判定をそのまま信頼すべきでしょうか、あるいは、人間に理解できる説明をAIが提示できるようにすべきでしょうか。後者だとすれば、AIによる説明がAIが実際に行っている情報処理過程とかけ離れたものになっていないかどうかにも注意が必要です。

2.1.3 プライバシーと認知的自由

　デコーディング技術には、さらに根本的な課題があるという指摘もあります。それは、この技術がプライバシーの侵害を引き起こし、認知的自由 (cognitive liberty) と呼ばれるものを脅かすということです。

　プライバシーは、自分に関する情報をコントロールする権利などと説明される概念です。現在の社会で問題になるのは、属性や言動に関するプライバシーの問題です。たとえば私がどこに住んでいて、どのような趣味をもっているかといったことを、私は他の人に知って欲しくないかもしれません。私の知人が私の意に反してこれらの情報を広めることは、私のプライバシーの侵害です。これに対して、頭の中のこと、私が何を考えているかということに関しては、プライバシーの侵害は起こりえないとこれまで考えられてきました。私が何を考えているかは、発言や行動を通じて明らかにされないかぎり、他人には知ることができないからです。この意味で、心の中は究極のプライバシーが保証される領域だと考えられてきました。しかし、正確なデコーディングが可能になれば、この領域に関してもプライバシーの侵害が起こりうることになります。

　将来的に正確なデコーディング装置が開発され、取り調べや採用などの場面でそのような装置が利用されたり、本人が気づかないうちにデコーディングを行うことが可能になったりすれば、われわれは、何を考えているかを他人に知られるかもしれないということを警戒して、自分が考えたいことを自由に考えられなくなるかもしれません。そしてその結果、自分にとって重要な選択や決定をする際にも、自由に考えをめぐらせることができなくなるかもしれません。このような問題は、認知的自由の侵害と呼ばれます。このような問題は、現時点では空想的なものかもしれませんが、デコーディング技術の是非を考える際には、このような長期的な影響についても考えておく必要があるでしょう。

2.1.4 新たな課題：心に関する知識のあり方

　われわれはこれまで、ある人の心のあり方についてもっともよく知っているのは当人だと考えてきました。そして、われわれは自分自身の心のあり方について、誤り得ないわけではないにせよ、かなり正確な知識をもっていると考えてきました。しかし、デコーディング技術の進展によって、本人がまったく気づいていない無意識の欲求や願望の具体的な内容が明らかになるかもしれません。私の心をもっともよく知る人は、私ではなく、デコーディング技術を利用する科学者だということになるかもしれません。

　また、これまで、他人の心のあり方を知るには、発話を含めた行動を通して知るしかありませんでした。しかし、デコーディング技術を用いれば、ある人が行動に一切表していない心のあり方についても知ることができるようになるため、次のような微妙な問題も生じる恐れがあります。ある人の脳活動はその人には人種差別的な傾向があることを示しているが、その人の言動には差別的な要素が一切見られない場合、われわれはそれでもその人を人種差別的だと見なすべきなのでしょうか。

　このように、デコーディング技術は、私の心についてもっともよく知っている人は誰なのか、私が何を考えているのかはどのようにしてわかるのかといったことに関して、われわれの考え方を大きく変化させるかもしれません。

2.2 BMI、BCIに関する課題

　脳と機械を接続する技術は、ブレイン・マシン・インターフェース (BMI) と呼ばれます。そのなかでもとくに、脳とコンピュータを接続する技術は、ブレイン・コンピュータ・インターフェース (BCI) と呼ばれます。BMIには、大きく分けて感覚型と運動型という2種類があります。機械から脳に信号を送って感覚などを生じさせるのが感覚型、脳の信号を機械に送ってロボットアームなどを動かすのが運動型です。感覚型BMIとしては、小型カメラに映った映像の信号を目が見えない人の脳内に埋め込んだ微小電極に伝達し、視覚経験を生じさせる研究が1980年代から行われており、運動型BMIとしては、脳に埋め込んだ電極で運動野の活動を読み取り、それを用いて四肢麻痺患者がコンピュータ上のカーソルを操作するといった研究が2000年代から行われています。

　また、脳内に埋め込んだ電極で脳の特定の部位を電気的に刺激する脳深部刺激 (deep brain stimulation: DBS) は、難治性パーキンソン病の治療法としてはすでに一般的になっており、難治性うつ病などへの応用も研究が進められています。さらに、たんに一定の刺激を与え続けるのではなく、脳の活動に応じて脳にあたる刺激を調整することで脳の活動を適正化する、クローズドループBMIと呼ばれる技術についても研究が進められています。

2.2.1 制御可能性と責任

　BMIやBCIでは、装置が適切に作動せず、害が生じた場合の責任を誰が負うのかということが問題となります。たとえば、運動野の信号によって動くロボットアームが適切に作動せず、周囲の人に危害を加えた場合、その責任は利用者にあるのでしょうか、装置を製造した企業にあるのでしょうか、その原理を考えた研究者にあるのでしょうか。

　機械学習を用いたクローズドループBMIでは、このような問題がより深刻なものとなります。このようなシステムでは、ある利用者の脳活動をコンピュータが学習し、脳への刺激をその人に最適なものへと調節します。しかし、このようなシステムでは、システムの働きがどのように変化していくかを事前に予想することは困難です。パーキンソン病の症状抑制やてんかんの発作予防にこのようなシステムを利用する場合、システムが不適切な学習を行えば、症状を悪化させたり発作を生じさせたりする刺激を脳に与えてしまう可能性があるかもしれません。学習機能を持つシステムは、柔軟性がある反面その挙動を予測することは困難であり、どのような場面であれば利用を認めてよいかについては、慎重な検討が必要でしょう。

　BMIやBCIでは、ハッキングの可能性にも注意が必要です。悪意をもった第三者がある人の脳活動をロボットアームに伝達する過程に介入すれば、ロボットアームに意に反した動作をさせることが可能かもしれません。BMIやBCIの技術開発を進める上では、このような介入を防ぐための技術を発展させることが不可欠です。

2.2.2 能力低下

　BMIに対しては、このような技術の利用は人間の能力低下をもたらすのでは、という懸念が示されることがあります。ロボットアームを用いて力仕事をしていれば筋力は低下し、脳に接続したコンピュータで計算をしていれば計算能力は低下するといった懸念です。

　これらの例からもわかるように、これは道具使用一般に関して成り立つ問題です。この問題を考える上で重要なのは、生身の人間の能力が重要なのか、人間と道具をあわせたシステム全体の能力が重要なのかということです。能力低下を懸念する人々は前者を問題にしますが、システム全体で考えれば、道具の使用によって能力はむしろ向上すると考えることもできます。実際のところ、現代を生きるわれわれにとっては、スマートフォンやパソコンは文字通り自分の一部であって、われわれが考えるときには、それらの道具もわれわれの一部だと言ってよいように思われます。このように、道具や環境を人間の認知活動を構成する要素の一つと考える見方は、認知科学では拡張された認知 (extended cognition) と呼ばれます。この見方が適切だとすれば、能力低下は杞憂なのかもしれません。

　とはいえ、BMIやBCIを普段利用している人も、機械やコンピュータが故障すれば、生身の身体や脳でさまざまな状況に対処しなければなりません。そのような状況では、生身の身体や脳の能力低下が深刻な問題となります。このような状況に対しては、2つの対処方針が考えられます。一つは、装置の信頼性を高めることによって、なるべくそのような問題が生じないようにすることで、もう一つは、装置が働かない状況でも深刻な問題が生じないように、機械やコンピュータとの過度の一体化を避け、生身の身体や脳の能力低下が生じないようにすることです。BMIやBCIの個々の事例ごとに、どちらの方針をとることが適切なのかを検討する必要があるでしょう。

2.2.3 アイデンティティの変容

　DBSに関しては、パーキンソン病や強迫性障害の治療のためにDBSを用いている患者に性格の変容が見られることがあるということも指摘されています。たとえば、DBSによるパーキンソン病の治療では、身体運動の制御に関連する脳部位を電気的に刺激しますが、その副作用として患者の衝動性が高まり、周囲の人々には患者が以前とは別人になってしまったように感じられることがあると言われています。また、難治性うつ病のDBSによる治療によって抑うつ感情が改善される反面、家族が亡くなったときなどにわれわれが通常感じる悲しみを感じることもできなくなり、患者本人が戸惑いを感じるといった報告もあります。さらに、DBSによってパーキンソン病患者の運動能力が急速に改善された結果、それまで介護者に強く依存していた患者が介護者に依存しないようになり、介護者との人間関係がうまく行かなくなってしまうというような事例も報告されています。

　このような問題に関しては、これまでの報告はエピソード的なものにすぎず、現時点では十分な統計的データがないという指摘があります。また、てんかんの投薬治療などにおいても、同様の性格変化が生じることがあることが知られています。他方で、DBS装置による性格変化の場合には、装置を停止すればその影響は見られなくなることも知られています。DBS装置の影響が可逆的なものだとすれば、DBSは投薬治療と比較しても副作用を制御しやすい手法だと言えるかもしれません。同様に、患者と介護者の関係の変化は、DBSだけではなく、医療全般において問題になることでしょう。もちろん、脳は複雑な器官であり、その働きに介入することが予想外の結果をもたらす可能性があるということには、つねに注意が必要です。また、直接的な副作用を超えた間接的な影響についても、注意を払う必要があるでしょう。

2.2.4 新たな課題：自律概念の見直し

　BCIが広く実用化されれば、われわれはコンピュータの助けを借りてみずからの意思決定を行うようになるかもしれません。たとえば何かを買う際、条件に合う商品をコンピュータに検索させ、さらにさまざまな長所短所を比較させ、自分自身の要求にもっともよく合致する商品を提案させて、それを購入するようになるかもしれません。しかし、このようなあり方は、自分の購買行動を自分自身で決定しているとは言い難いように思われます。言い換えれば、BCIを利用することは、われわれが自分自身のことを自分自身で決定するあり方、すなわちわれわれの自律を損なうように見えます。

　もちろん、現在何らかの意思決定をする際にも、われわれは、メディア上の情報、広告など、さまざまな要因の影響の下で意思決定をしています。それらの影響一切なしに意思決定することは不可能かもしれません。また、現在われわれがしている意思決定は、われわれ自身の目から見て最適なものでもありません。日常的な意思決定の際に、目先の利益にとらわれたり、不適切な情報に惑わされたりすることは珍しくありません。このような状況では、家族や友人、上司や部下などの意見に耳を傾けることで、よりよい意思決定が可能になることも多くあります。同様に、BCIをうまく活用すれば、われわれの意思決定は改善され、われわれの自律はむしろ高められるかもしれません。

　他方で、BCIが目に見えない形で意思決定に働きかけ、かつ、その影響が強力だとすれば、それは利用者の自律を損なうものになるかもしれません。たとえば商品購入の際に、どのような経緯でBCIが特定の商品を選択したのかが利用者に明らかではなく、また、特定の商品を購入する意思をBCIが直接生じさせるとすれば、利用者には選択の余地は残されなくなってしまうように思われます。

　われわれが自律的であるためには、われわれはつねに自分自身で意思決定しなければならないのでしょうか。あるいは、他者やテクノロジーの助けを借りて意思決定することが自律を損なう場面と、そうでない場面が存在するのでしょうか。このように、BCIは、われわれにとって理想的な自律とはどのようなあり方なのかという問題をあらためて考えるきっかけになるように思われます。

2.3 能力増強に関する課題

　人類は、さまざまな方法でみずからの能力を高めようとしてきましたが、20世紀後半になって、科学技術を用いた能力増強が可能になりました。スポーツにおけるアナボリック・ステロイドを用いた筋力強化は、その典型例です。しかし、スポーツにおいては、一定の手法を用いた競技能力の向上はドーピングとされ、規則で禁止されています。美容整形も能力増強の一種と見なすことができますが、これについても賛否両論が存在します。

　1970年代に遺伝子組み換え技術が開発されると、遺伝子改良の是非が議論されるようになりました。2000年前後からは、これらの問題は、バイオテクノロジーを用いた能力増強の問題として、より包括的に論じられるようになります。たとえばアメリカでは、大統領によって組織された大統領生命倫理評議会がこの問題を集中的に検討し、2003年に『治療を超えて』という報告書を作成しています。そこでは、バイオテクノロジーを用いてよりよい子供を作ること、能力を増強すること、不老長寿を目指すこと、気分を改善することの是非が賛否両論の立場から検討されています。また、2000年代から、脳神経科学研究やその成果の社会的応用に関する倫理的課題を検討する学問分野として、脳神経倫理学 (neuroethics) が誕生しました。薬物や電気刺激などを用いた能力増強や気分の改善の是非は、脳神経倫理学においても、主要な話題の一つとなっています。

　脳AI融合テクノロジーは、脳とAIを接続することで人間の可能性を拡張することを目指しており、能力増強テクノロジーの側面をもつと考えることができます。

2.3.1 格差の拡大

　能力増強技術に関してしばしば指摘される問題の一つは、この技術は格差の拡大をもたらすということです。最先端の能力増強技術は、他の技術と同様高価なものとなることが予想されます。そうだとすれば、経済的に豊かな人だけがこの技術を利用することができ、それによって能力を向上させ、さらに経済的に豊かになっていき、経済格差はさらに拡大するように思われます。

　これに対して能力増強容認派は、一般的に、新しいテクノロジーは高価だとしても、それが普及するにつれて大量生産などによって安価になり、最終的には多くの人が利用できるようになってきたという事実を指摘します。また、仮に能力増強テクノロジーが高価だとしても、貧しい人に補助をするといった制度による対処が可能だと指摘します。

　どちらの主張が正しいかを評価するには、能力増強テクノロジーがどれだけ高額なものとなるのか、そのテクノロジーを利用することでどれだけ有利になるのかといったことを具体的に検討していく必要があるでしょう。

2.3.2 事実上の強制

　能力増強に対するもう一つの有力な批判は、事実上の強制をもたらすというものです。われわれのなかには、能力増強テクノロジーを利用してみたいという人と、利用したくないという人がいるでしょう。しかし、一部の人がそれを利用して、記憶力や集中力を向上させれば、競争の場面では、能力増強テクノロジーを利用しない人は不利な立場に置かれることになります。そしてそれを避けるために、不本意ながらそれを利用せざるを得ないことになります。そうだとすれば、形の上では能力増強テクノロジーを利用するかどうかは個人の選択に委ねられるとしても、一部の人が利用すれば事実上の強制が生じることになります。

　能力増強容認派も、この指摘自体はもっともだと考えます。しかし、これは能力増強テクノロジーに固有の事態ではないと指摘します。たとえば、一部の親が子供に塾や早期教育などの特別な教育を提供すれば、その子供は受験などで有利な立場に置かれることになります。その結果、子供に特別な教育を与えたくない親もそうせざるを得なくなります。しかし、そのことを理由に特別な教育が禁止されるわけではありません。事実上の強制が生じるだけでは禁止の理由にはならないというのです。他方で、経済的な理由で子供を塾に行かせることができない家庭には何らかの経済的な支援が必要だとすれば、能力増強テクノロジーに関しても、競争上不利な立場に置かれる人々への対応を考えることが必要となるでしょう。

　この問題を考えるうえでも、能力増強テクノロジーと特別な教育には何か重要な違いがあるか、たとえば、能力増強テクノロジーは特別な教育よりも大きな社会的不平等や不利益をもたらすのかどうかといったことの具体的な検討が不可欠でしょう。

2.3.3 真の達成

　能力増強テクノロジーに対しては、より原理的な批判も提出されています。スポーツにおいてドーピングによって達成した記録がその人の真の達成とは言い難いのと同様に、能力増強による達成はその人の真の達成とは言い難いのではないか、という批判です。

　これに対して容認派は、真の達成とそうでないものの線引きは明確でないと指摘します。たとえば、短距離走においてステロイド使用による記録は真の達成ではないとしても、高性能シューズや高反発トラックを使用して得た記録はどうでしょうか。あるいは、一部の人しか利用できない先進国の最新トレーニング施設でのトレーニングの結果はどうでしょうか。遺伝的な優れた速筋の影響はどうでしょうか。どこかに明確な線を引くことは困難であるように思われます。

　また、能力増強テクノロジーの利用が達成の価値を損なうかどうかは、活動次第、目的次第であるようにも思われます。たとえば、通常、登山の目的は自力で山頂までたどり着くことなので、ヘリコプターを利用することはその達成の価値を大きく損ないます。しかし、出勤の際に最寄り駅まで歩くことの目的はたんなる移動なので、バスの利用はその達成の価値を損ないません。能力増強テクノロジーを用いた達成が真の達成と言いうるものかどうかを考えるうえでは、このテクノロジーはどちらに似ているのかという点についても、さらなる検討が必要でしょう。

2.3.4 新しい課題：能力とウェルビーイング

　これまで、われわれの能力にはもって生まれた限界がありました。よい環境や努力によってもって生まれた能力を最大限に引き出すことは可能だとしても、そこには一定の限界が存在します。しかし、遺伝子操作や薬理学的な能力増強、脳AI融合テクノロジーによる能力増強などが可能になれば、われわれはもって生まれた限界を超えて、みずからの能力を高めることが可能になります。

　一見したところ、これは素晴らしいことのように思われます。しかし、うえで見たように、このことは経済格差の拡大をもたらす新たな要因となる可能性があり、また、社会におけるさまざまな競争をさらに激化させるかもしれません。

　われわれは、さまざまな能力が高ければ高いほどよい生を送ることができると考えています。しかし、そこで想定されているのは、自分の能力だけが高くなるという状況だと思われます。すべての人の能力が同じように高くなれば、競争上のメリットは失われてしまいます。このように考えると、記憶力の増強のようなものは、必ずしもわれわれの生をよりよいものにするわけではないかもしれません。他方で、想像力が豊かになることは、他人との競争とは無関係に、私の生を豊かなものにしてくれるかもしれません。能力増強テクノロジーは、高い能力にどのような価値があるのかということをあらためて考えるきっかけを与えてくれるかもしれません。