量子科学技術研究開発機構,情報通信研究機構,大阪大学,科学技術振興機構（ＪＳＴ）

※令和５年１２月２１日付けで補足資料を追加掲出しました。

令和５年１１月３０日

量子科学技術研究開発機構
情報通信研究機構
大阪大学
科学技術振興機構（ＪＳＴ）

心に描いた風景を脳信号から復元

～生成系ＡＩと数理的手法を用いた新たな技術を開発～

ポイント

量子科学技術研究開発機構（以下「ＱＳＴ」） 量子生命・医学部門 量子生命科学研究所 量子生命情報科学研究チームの間島 慶 研究員、情報通信研究機構（ＮＩＣＴ） 未来ＩＣＴ研究所の小出（間島） 真子 研究員、大阪大学 大学院生命機能研究科の西本 伸志 教授は、人が心の中で思い描いた任意の風景・物体などの「メンタルイメージ」を脳信号から読み出し、復元することに成功しました。

画像を実際に目で見ている人の脳の活動を機能的磁気共鳴画像法（ｆＭＲＩ）で計測し、その脳信号から見ている画像を復元できることは先行研究で示されています。しかし、メンタルイメージの復元は従来の方法では難しく、例えばアルファベットの文字や単純な幾何学図形など、限られた種類の画像でしか成功していませんでした。

これに対して研究チームは、目で見ている画像の復元に成功した既存の手法をベースにしながら、近年発展の目覚ましい生成系ＡＩとベイズ推定、ランジュバン動力学法を組み合わせた新手法を開発しました。この手法を用いて、画像の種類を限定することなく、人が心の中に思い描いたイメージを復元することに世界で初めて成功しました。

本成果は、他者の心の中にある認知や意識を客観的・定量的に捉える手段を提供するものであり、将来的には「心とは何か」の理解への道を開くものと考えられます。また、メンタルイメージを用いた新たなコミュニケーションツール開発への応用や、本手法を利用したブレイン・マシン・インターフェース技術の開発と医療機器への展開が期待されます。

本研究は、２０２３年１１月２７日に神経科学・深層学習に関する論文が数多く発表されている国際誌「Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ」にオンライン掲載されました。

本研究は、文部科学省 光・量子飛躍フラッグシッププログラム（Ｑ－ＬＥＡＰ）（ＪＰＭＸＳ０１２０３３０６４４）、科学研究費補助金 若手研究（２０Ｋ１６４６５）、科学技術振興機構（ＪＳＴ） さきがけ（ＪＰＭＪＰＲ２１２８）、ＣＲＥＳＴ（ＪＰＭＪＣＲ１８Ａ５およびＪＰＭＪＣＲ２２Ｐ３）、ＥＲＡＴＯ（ＪＰＭＪＥＲ１８０１）の支援を受けて行われました。

＜プレスリリース資料＞

＜論文タイトル＞

“Mental image reconstruction from human brain activity: Neural decoding of mental imagery via deep neural network-based Bayesian estimation”
ＤＯＩ：10.1016/j.neunet.2023.11.024

＜お問い合わせ先＞

前に戻る