2021.07.16

特別鼎談「AI時代の意思決定のゆくえ 医療と法の現場から」

Category

これまでの社会は、政治選挙から規約の同意に至るまで「個人自らの意志で決断している」という前提が基本にありました。しかし、民主主義の基本概念でもあるこの原則は、AIの社会実装が進むに連れて揺らぎつつあります。本鼎談では、法哲学を研究する宇佐美誠氏、医師でありインフォームド・コンセントを専門とする尾藤誠司氏、弁護士の水野祐氏の3名で、医療現場における意思決定の課題や、法の観点から見る「同意」の再定義、データとプライバシーの問題などについて深い議論が交わされました。

特別鼎談「AI時代の意思決定のゆくえ 医療と法の現場から」

尾藤誠司(医師)
独立行政法人国立病院機構 東京医療センター 臨床研究センター 政策医療企画研究部臨床疫学研究室
HITE「『内省と対話によって変容し続ける自己』に関するヘルスケアからの提案」

宇佐美誠(法哲学者)
京都大学大学院 地球環境学堂
HITE「自律機械と市民をつなぐ責任概念の策定」

水野祐(弁護士)
弁護士/シティライツ法律事務所
HITE「日本的 Wellbeing を促進する情報技術のためのガイドラインの策定と普及」

聞き手:塚田有那(編集者/キュレーター)
HITE「人文社会科学の知を活用した、技術と社会の対話プラットフォームとメディアの構築」

Writer:高橋未玲/Photo:牧口英樹

「自己」は変容し続ける

─まずは皆さんのご活動について教えてください。

水野祐(以下、水野):私は弁護士として、新しい技術やサービスをどう社会に実装していくかを法的な面からサポートをする業務に携わっています。クライアントは大企業からスタートアップ、クリエイターまで様々です。

尾藤誠司(以下、尾藤):東京医療センターで内科医をしている尾藤と申します。学問的な専門領域はインフォームド・コンセント(医師と患者間において充分な情報を伝えられた上での合意)や倫理的価値判断などです。ここ10年くらいは、高齢化とコミュニティの都市化によって健康の問題が非常に複雑になっており、その中で最も明確にうまくいかないのが、手術をするのかしないのか、薬を飲むのか飲まないのかといった意思決定に関わる問題です。なぜなら専門家が考えている良いことと、当事者が求めることは常にズレがあるからです。同じ事実を見ても、個々人がそれをどう認識するかはまったく違う。そのなかで、がんを手術するの? これからどんな検査をする? と尋ねていくと、インフォームド・コンセントという考えはまったくの幻想だと思えてきます。もちろん事前の伝達は大事ですが、現場のほとんどは医師という専門家が患者の意思を絡め取っていると感じています。

宇佐美誠(以下、宇佐美):私の専門は法哲学です。法一般について考えることは、社会について考えることにつながります。そのなかで私なりに注力してきたのは「正義」という概念について。正義は、主にものの分け方に関する理念として、今日では研究されています。ものを分ける場面は我々の社会のいたるところにありますが、例えば会社のなかで誰を昇進させるか、誰を昇給するかもそのひとつです。あるいは、国レベルでは、税制は負担を分けることですし、社会保障は便益を分けることです。さらに、国を超えても、ものを分ける場面が出てきます。最近では気候変動の問題。温室効果ガスの排出量を比較したとき、国民一人あたりの排出量が特に大きいのはアメリカやカナダや日本などですが、気候変動が危険な水準まで進まないために、排出量ないし削減量をグローバルにどう分けるかも正義の問題です。このように、現実の問題の中で正義にかなったものの分け方は何かということをテーマのひとつとして研究しています。

photo

─それぞれHITEではどのような研究をされているのでしょうか。

水野:私は「日本的Wellbeingを促進する情報技術のためのガイドラインの策定と普及」という研究チームに所属していて、その中でウェルビーイングを促進する情報技術のため法制度設計のあるべき姿を研究しています。それ以外にも、JST/RISTEXの主宰するゲノム倫理委員会「Genomethica」のメンバーとしても参加させていただいています。

宇佐美:HITEでは「自律機械と市民をつなぐ責任概念の策定」のチームに参加しています。私自身の関心について言えば、AIの社会実装に伴い、トータルで雇用が減ると所得格差の拡大が問題になります。特に技能と収入面で中間クラスの労働者が徐々に職を失い、収入が低下していく傾向がすでにデータで示されています。この傾向は大きな格差拡大につながると予想されています。その場面で「分配」の問題をどう考えるかに私自身は最近関心がありまして、2019年度からは新たに文科省の科研費プロジェクト「人工知能社会における正義と自由」も始めました。

尾藤:HITEで採択されたテーマは「「内省と対話によって変容し続ける自己」に関するヘルスケアからの提案」です。このプロジェクトでは大きく2つのテーマがあり、ひとつは病院における情報環境について。現在の病院では、患者さんは知らぬ間にデータを取られ、生体情報に関する情報について専門家の方が圧倒的に優位な状況で医療行為を受けます。それまで全く知らなかった自分の身体のことを専門家から突然開示されるというわけです。こうした状況に改善点はないかと考えています。
 もうひとつは、ヘルスケア診断などでAIが使われるようになったとき、人間の決断にどうコミットしていくかを探求しています。なんらかの医療行為を受けることになったとき、患者さんには家族や友人など周囲の人々と相談し、専門家から情報を聞いて理解した上で同意または拒否をするというプロセスが発生します。そのとき、感情の揺らぎやささいなコミュニケーションが決断に大きな影響を与えることを臨床の現場では常に感じるわけですが、システム上の決断は非常にシンプルな答えしか残されていないのです。
 50年前のインフォームド・コンセントは、一人の個人が完全に合理的な決断ができるという前提が基本にありました。つまり家族との関係もふくめ、自分に関わるすべてのことは自分が知っている。そこに専門的知識が医療者から与えられれば、自分の中にすべての決断の根拠があるということになります。しかし、その前提は破綻しています。最も分かりやすい例は延命治療に関する判断するで、人工呼吸器をつけたらどれほど苦しいかを体験した本人は語れませんし、事前に想像ができるものでもありません。
 これは、まさに研究タイトルにもある「変容する自己」に関わる話です。延命治療を決断したときの自分と、実際に治療を何回か経験をした自分はもはや別人です。その過程に遭遇した体験や感情の動きから、人の意思はコロコロ変わってしまうものなのです。人間とはそういうものであるという前提で、さらにAIなどが客観的な分析を提案するようになるとどうなるか。AIは個人の文脈や感情はお構いなしに、正論だけを突きつけてきます。それがどれだけ医学的に正しくても、本人にとってベストかどうかはわかりません。

photo

変わりゆく責任の概念と民主主義における意思決定

─今の時代は責任という概念が大きな変貌を遂げつつあるように思います。今後の責任概念についてはどうお考えですか。

宇佐美:責任という概念は大きくふたつに分けられます。ひとつは役割責任。例えばある人が犯罪を犯したかどうかを事実認定して、それに対して刑罰を与えることについては、裁判官が責任を負っています。これは医師や弁護士が職務について負っている責任と同種のものです。
 もうひとつは結果責任。これはある結果が生じた際に、その当該の結果とある個人が関係している場合に生じる責任です。犯罪者が刑罰を受けるのは、その典型です。先ほど出てきたインフォームド・コンセントは結果責任に関わります。ちゃんとリスクを説明された上でOKだとあなたが言った以上は、リスクが現実化しても、それはあなたが引き受けなければならないという考え方ですね。このように役割責任と結果責任を分けた上で、情報化が非常に進んでいる今の社会状況を考えてみると、結果責任について研究が進んでいます。典型的なのは自動運転車で、設計されて製造された後に学習してゆく自動運転車が事故を起こしてしまったら、誰が責任を取るのかという問題です。ただ、自動運転車が実用化されたら急速に安全になってゆくだろうとも言われています。私自身にとってもっと悩ましいのは、役割責任の方です。たくさんのデータに基づいた判断が求められる専門的な役割の中で、AIと人間はどのように協働できるのか。例えばAI裁判官という可能性が語られていますが、AIに判決の原案を書かせ、それを人間の裁判官がチェックするのかどうか、そういう判決は裁判の当事者にとって、あるいは社会全体として受け入れられるのか。
 これは民主主義での意思決定にも関わってきます。民主主義には、みんなが望んでいることを政府が実現するという側面と、国会議員や内閣に任せてみて、うまくいかなければ次の選挙で落選させるという側面があります。より良い政治的な決定をするのが民主主義の要だとしたら、当然ながら賢い決定をできるものが評価されます。そうなると、ある政策領域では人間以上に賢いAIが仮に登場したら、AIによる立法があり得るのかという議論も生まれます。その時は説明責任の問題も出てくるでしょう。

水野:人間中心主義から脱却することに可能性を感じる人も多いと思いますが、AIに任せてしまうことによって想定されるデメリットについてはどうお考えですか。

宇佐美:それは非常に大きな論点だと思います。ジョン・スチュアート・ミルやアレクシ・ド・トクヴィルのような、民主主義について考えてきた思想家たちは、民主主義には教育的な効果があると考えました。自分が投票する根拠となりうる、社会についての知識を得たいという欲求が、学ぶことへの大きな動機になるだろうというわけです。ところが、20世紀以降のアメリカの政治学者たちが明らかにしてきたのは、有権者の多くが政治的問題について実はあまりよく知らないまま選挙に行っているということでした。そうなると、なぜ選挙で決めるべきか、むしろAIに任せてしまえばよいではないかということになりかねません。これは一種のディストピアでしょう。

水野:そのディストピアとは、意思決定というものが容易にハックされうるということでしょうか。

宇佐美:そうです。例えば、あたかも選挙で選ばれた人たちが法案をつくっているように見せかけて、実はAIが出した結論を議員たちが受け入れる方が、民主主義のあり方として良いのだという意見が、出てこないとも限りません。
 私たちは確かに民主的に決定しているのですが、一方で「すでに決まっている」と言われると安心して従ってしまう感覚も市民の中にはあります。例えば、ドイツはアメリカと並んでマスメディアの研究が盛んな国ですが、「沈黙の螺旋」という有名な理論があります。周りの人の意見を知って、自分の意見が少数派だと分かると、だんだんと自分の意見を言わなくなるという傾向が発見されています。これはバンドワゴン効果にも通じます。例えば、アメリカの大統領選挙で、開票結果が早く出た州について報道があると、他の州の有権者に「勝ち馬に乗る」という心理が働くことがあります。そこにAIが入ってくるとどうなるでしょうか。市民が他者の意見に影響されやすく、これまでの慣性で進み続けるという傾向がすでにある社会において、政治過程でのAIの活用がそういった傾向を一層強化することもあり得るように思います。

GDPRから見えるヨーロッパ的な意思決定の前提

─意思決定において、データとプライバシーの問題についても皆さんにお伺いできればと思います。例えば、欧州のGDPRのように個人のデータを扱う権利は個人に委ねるべきだという考えについてはどう思われますか?

photo

水野:まず、GDPRは個人に関するデータの保護を新しい基本的人権として位置づける、21世紀の最初の発明とも言うべきルールだと捉えています。そして、その影響力は現在も様々な領域に広汎に広がりつつあります。
 一方で、GDPRが絶対的なルールかというと、必ずしもそうではない。GDPRは「同意至上主義」的な考えに基づいており、ヨーロッパ的な個人主義と、ある種のエリート主義的な発想に根ざしていると感じるところもあります。つまり、人間は自らがきちんと意思決定できることを信じている人たちのつくったルールだと。ただ、現実世界を見ると、約款やプライバシーポリシーの全文なんて誰も読んでいないですし、認知科学や行動経済学的など意思決定について研究する分野でも、果たして人間は自律的な判断で意思決定ができているのかが疑問視されたり、そもそも責任というのはフィクションではないかという議論が盛んになされたりしています。さらにAIの普及とともに、その疑問がより切実なものとして議論されるようになっているのが現状です。
 個人的には、実務において同意を取るという行為自体のフィクション性は否定できないと日々感じているため、そのフィクション性を前提としたうえで、同意だけでなく、それ以外のアプローチにより補完することが必要だと考えています。例えば、同意中心主義の是正を模索する「APPA(Authorized Public Purpose Access)」という議論が日本では起きています。これは簡単に言えば、同意がない場合でも、公益のために使える個人情報の定義と適用範囲を設定するものです。現行の個人情報保護法でも、緊急性が高いなどの限定された場面に限って、同意なしに第三者提供できる場合が規定されていますが、例えば災害時や本当に有用性が高いのであれば、使える領域をもう少し拡張すべきという考えです。アメリカなどでは、「信認義務(Fiduciary Duty)」という医師などの専門家の義務を拠り所として同意なしで個人データを利用できる場面をもう少し拡張したり、個人データの種別ごとに同意なしでいい場合、簡易な同意でいい場合、普通の同意でいい場合といった、念入りな説明をした上での同意という具合に、情報のレイヤーをもっと細かく分けていくべきだという議論が起きはじめています。このように、個人情報・個人データについては、EUのGDPRに対する一種のカウンターのような主張が生まれ始めています。

宇佐美:今のお話を聞いて思い出したのですが、ヨーロッパ大陸の国々の法律をさかのぼるとすべて古代のローマ法に行き着きます。ローマ法では、判例とか、皇帝の勅令とか、あるいは著名な学者の学説とかが法として扱われたので、かなり無秩序な状態だったと言えます。近代になって、法律の体系を整えないと市場社会がうまく機能しないという状況になったので、ドイツでは、ローマ法を首尾一貫した法律の体系に変えてゆく作業が学者によって進められました。それ以来、ドイツには法学者が法の一部をつくるという伝統があります。その流れを汲んで、今のEUの法整備にはエリート主義的なところがあると感じています。それは「合理的な判断ができる自律した個人」という人間観に関係してきます。学者は人間を合理的な存在者として捉える傾向が非常に強い。例えば、倫理学の世界ですと、人々の幸福を最大にするのがいいと考える功利主義者たちが大勢いる一方で、結果ではなく、その結果を生み出す行為をどのような意図で行ったかを重視するカント倫理学という立場があります。両者はまったく正反対なのですが、どちらも合理的な判断ができるという人間観を持っている点では共通しています。

─では、これからはどんな人間観を前提に考えるべきなのでしょうか。

宇佐美:功利主義の生みの親の一人であるベンサムは、個人それぞれに判断させるべきだと考えました。なぜなら、何が幸福かはその人自身が一番よく知っているから。もし知らないなら教育した上で、あとは本人に判断を任せれば良いという考えです。このように、ヨーロッパでは自律した個人の存在を前提に哲学や倫理を考えてきた伝統があり、これは近代の法学とも密接に結びついています。
 我々はその思想の延長のもとにつくられた制度の中で生きていることを前提に、このAIの時代に、どこまで新しいものが生み出せるのかを考えなければなりません。先ほど水野さんが紹介してくださった、アメリカや日本で行われているGDPRのカウンターとなる提案は、ヨーロッパ的な人間観に基づくルールに対抗するものとして理解できるかもしれません。

水野:まさにGDPRはEUの中でもドイツの議員の提案をきっかけに生まれたルールです。GoogleやFacebookのような巨大テック企業に対抗したり、政治に多大な影響を与えるルールを法律という形で引き戻したりすることができるのかと思えば、これは政治的な武器として大きな発明だと思うのですが、それが近代以降の法制度作りや思想を牽引してきたドイツから生まれていることに強い因果を感じます。

信頼とは一種の酩酊である

水野:僕はいま雑誌『WIRED』日本版で「新しい社会契約」というテーマで連載しているのですが、いま社会契約とはどう捉えることができるのか、そしてこれからの社会契約についてはどう考えられると思いますか。

photo

宇佐美:社会契約というのは、古くて新しい、つまり思想的な歴史が長い一方で、今の社会を深く考える手がかりになると思っています。自由で平等な個人が互いに契約を結ぶことで、政治社会が成立すると考える社会契約に対して、よく対比されるのは社会の慣習や習慣です。近代に社会契約の思想が登場したとき、デイヴィッド・ヒュームはこれを批判しました。それではどうやって社会が成り立つのかと言えば、それは習慣によるものだと。つまり、人は習慣的に他者と同じ行動をすることで社会が成り立っているのだと彼は言いました。社会契約は明示的な合意ですが、暗黙の慣習が社会の仕組みやありかたをどこまで決めているかという点を、現代の状況でもう一度考えてみる必要もあると思います。
 もうひとつの論点は、社会契約の当事者は誰かです。例えば、奴隷制度における主人と奴隷は、支配と服従の関係にあるので、社会契約を結べないわけです。社会契約はあくまで対等な存在者の間でだけ成立します。それを前提として現在のAIの発展を考えた時、AIが人間とある文脈では対等な存在に仮になるとすれば、社会契約の当事者に入れるのかという問いもあり得ます。AIが人間の持っている意思決定をするという意味での主体性をもしも備えたら、社会契約の当事者はどのような範囲になるのかという論点が出てくるでしょう。

─市民の意思決定が暗黙の慣習からも生まれるものだとすると、「信用」または「信頼」という概念についてはこれからどう受け止めるべきなのでしょうか。

尾藤:信用と信頼の差についての私の理解は、信用は物事に向かっていき、信頼は人や組織に向かっていく傾向があるというものです。そして私は、信頼とは一種の「酩酊」だと考えています。ネガティブな意味ではなく、人間は何かに軽く酔っ払っていないとなかなか決定ができないと思うからです。ただ、大事なことは泥酔しないことです。泥酔とは、言い換えればある特定の対象への過度な依存のことです。これは他の研究者も言っている有名な言葉ですが、自律とは分散された依存だという考えにはとても同意します。私の言う「酩酊」もそれに近い意味合いで、誰にも頼ることができない孤立状態にあると人は宗教や薬物などに依存する状況が生まれやすい。ですから、例えばこの病気の治療は医者に任せるけれど、このフェーズが終わったら医学の論理という列車から一旦降りて、自分の列車に乗り換えて健康管理をするという形が専門家と当事者の信頼のあり方として良いと思っています。

宇佐美:法哲学の中では、「信頼」というテーマが議論の対象になることは残念ながらあまりありませんでした。他方、政治学では、市民は他の市民とか政府とかマスコミとかをどのくらい信頼しているのかという研究が行われてきました。アメリカでは以前、市民の間の信頼が昔よりも低下している上に、政府への信頼も低いということが分かり、衝撃をもって受け止められました。ところが、日本でも実はアメリカに劣らず低いのですね。専門家への信頼も含めて、人々の信頼がどれくらいなのか、それを高めるにはどうしたらよいかは、今後いっそう大事な論点になると思います。

人間は「感情端末」になる?

─ここまでの議論を踏まえて、ヘルスケアの現場で直面する個人の意思決定の課題についてのお考えを教えてください。

尾藤:医療の現場における同意は、基本的に介入を伴う意思決定につながります。つまり注射や手術という介入に同意するということでもあるので、リスクを伴うわけです。医療行為とは、言ってしまえば人に必ず害を加える行為です。しかし、その結果しばしば益をなすので、害への責任が免除されるという理解で行っています。そうするとその同意が非常に状況依存的になるのです。例えば注射ひとつとっても、研修医と名医とでは信頼感がまるで変わるでしょう。しかし法律上では、医療行為のすべてにおいてインフォームド・コンセントを取得する必要がありますが、逐一確認を取っていたら診察するだけで膨大な時間がかかり、到底不可能だというのが現実です。

水野:同意書を書こうと思ってもとても書ききれませんよね。

尾藤:そうです。そうなると、相手が「医療よ、私にそんなことをするな!」と感じる度合いのレイヤーを考えながら物事を進めていくことになります。プライバシーについても同様で、医療従事者にとって一般的で心理的抵抗のない個人情報と、患者本人とって抵抗のある個人情報には差があります。そのギャップがあり、聞くことで相手が嫌だと感じる場合があるという感覚を医療従事者は常に保つ必要があると思いますし、そういうことを大事にする法律であってほしいとも思います。

水野:そうしたことを法律のようにハードなもので類型化できるかという問題はあるので、必ずしもその枠にはまらない人がオプトアウト(第三者による情報配信を停止すること)できる仕組みがあるかが重要だと思います。それこそ変容する自己に関わる話で、確認した時点ではいいと思った人が後から考えが変わり、また別の例の問題が生じることはあり得ると思います。

宇佐美:診察の場面でAIを活用するという可能性については、どう考えますか? プライバシーに関わるような情報でも、患者さんがパソコンに向かって告げるのと、生身のお医者さんに告げるのとでは当事者の感覚に違いがあるように思います。

photo

尾藤:それは全く同意で、診断に資するインタビュー情報と身体所見情報は、コンピュータなど人間以外の端末から得た方が正確かつ構造化して漏れがない情報を効率的に収集できると思います。例えば、我々なら無駄話をふくめて10分くらいかけて聞いていくことを、AIが得意とするベイズで聞くべき質問を判断しながら質問をしていけば3分くらいで終わると思います。

水野:でも、その人間間の無駄がコミュニケーションにおいては大事だという見方もありますよね。

尾藤:そうです。診断に資する情報であればいわゆる自然言語のやりとりでうまくいくとは思いますが、結局そこに「感情端末」としての専門家の役割が必要になると思います。医療に携わる看護師や医師の必要性は、専門的な文脈を持った上で、当事者が持つ不安や希求、葛藤、あるいは覚悟の形成を支援していく「感情端末」としての部分にあるのではないかと常々感じています。近未来の情報時代において、当事者はさらに情報に揺さぶられるようになるでしょう。そこで、情報を得ることで立ち現れる不安を抑制しようとするのではなく、正しく不安になるためのすべを提供するのが専門家の役割だと考えます。そうした一連のやりとりの中で、自分は何を心配していたのかなどを当事者である患者さん自身が発見していくのは、医療においてとても重要だと思います。
 診察とは関係のない無駄な話を挟んでいくことで、本人が今この病院の診察室で座っている意味について発見し始めるんです。それが私は感情端末の役割だと思っています。もちろん適切な診断もしますけどね。

水野:離婚案件など一般民事と呼ばれる案件を扱う弁護士もまさにそうだと思いますが、私のような企業法務分野の弁護士弁護士でもカウンセラー的役割を担っていると感じることはよくあります。だからこそ将来的に感情端末としての人間とAIがタッグを組むこことで、より良いサービスを提供できるようになるのかもしれません。

尾藤:ここまでインプットの話をしましたが、アウトプットの話に移りますと、我々は患者さんに説明をする時に、ある意味で「嘘」をつくんです。例えば我々は「風邪ですね」と言ったとき、おそらくAIは違う答えを出すでしょう。なぜかというと、風邪とは一種の病気というよりも、極めて曖昧な概念だからです。これが例えば胃がんとなると、胃の粘膜のこの範囲にがん細胞があると明確に構造化できます。その場合は医師とAIの診断に相違はない。ところが風邪の場合だと、風邪と呼ぶこともあれば、気管支炎と呼ぶこともあり、診断の表現が変わってくるのです。重い病名を告げられて精神的にもまいってしまう患者さんもいれば、どれだけ忠告しても体を気にかけない患者さんもいるなかで、個人のパーソナリティに合わせて表現を変えることも時には必要だと思っています。
 画像診断もそうです。まずMRI画像という事実があり、それを放射線科医という専門家が読む。そこでひとつの解釈入りの事実が出て、それを私が電子カルテで読んで「微小脳梗塞がたくさんありますね」と言えば患者さんはものすごく心配しますし「、まあ年齢相応の脳ですね」と言えば「そういうものか」と納得します。そのように覚悟を持って嘘をついています。それこそ社会契約論に近い話なのかもしれません。

水野:同じような意味で、法律の解釈についても我々は依頼者に毎日嘘をついていると言えるのかもしれません。

宇佐美:法学の専門用語を相手にも分かるように翻訳しないといけませんから、どうしても解釈の裁量が入りますよね。同じことは教育の場面でもあると思います。ロボット教師がどこまで有用なのかという話にも関わりますね。教育にも、人間が担わなければならない部分が必ずあり、その範囲を今後確定していかないといけません。そのようにして、社会生活の色々な場面で人間がどこまで必要かの線を引いていく。それ自体が技術の進化によってダイナミックに変わっていくのかもしれません。

※本記事は、「人と情報のエコシステム(HITE)」領域冊子vol.04に収録されています。
そのほかの記事、そのほかの号については以下をご確認ください。
HITE領域冊子