成果概要
最終更新日：
生体内サイバネティック・アバターによる時空間体内環境情報の構造化[2] 時空間体内環境情報の構造化と遠隔操作
2025年度までの進捗状況
1. 概要
本研究開発項目では、個人の生体情報と履歴情報（診療、服薬他）が紐づいた、生体内の“時空間体内環境情報”を、わかりやすく提示する技術の研究開発を行いました。また、小型サイバネティック・アバター（小型CA）群を自由自在に操作するために、操作性に優れたインタフェースの技術の研究開発を行い、評価に必要な患者シミュレーション環境を開発し、評価しました。
2. これまでの主な成果
生体内CAで取得される情報を基に、個人と一緒に成長・進化する時空間体内環境情報が構築できる手法の実現を目指しています。特に、日常の健康モニタリングにおいて、自分の体内環境がコンピュータ上の仮想空間内に一種のアバターとして構築され、その環境を日々モニタリングすることを目指しています。
2025年度は、生体内CAが撮影する体内画像情報から大腸の内側の領域（内腔領域）の形状を復元するために必要な深度情報推定手法、生体内CAから得られる複数のセンシング情報と位置情報を時空間体内環境情報上にマッピングする手法、消化管領域に関し3年間程度のスパンにおいて時空間体内環境情報を成長進化させる手法などについて開発を行いました。
内視鏡映像から奥行き（深度）を推定する技術「EndoRDE」を開発し、国際的な評価データセットで最高水準の性能を達成しました。また、最新のAIモデルを活用した精度向上にも取り組んでいます。さらに、推定した奥行き情報を基に、内視鏡動画から大腸の三次元形状を復元する手法も実現しています（図1）。
数年間のスパンで時空間体内環境情報を成長進化させるために、同一被験者の異なる時点で撮影されたCTスキャンデータを集約した時系列データベースを開発しました。生体内CAで取得される情報を基に一緒に成長・進化する時空間体内環境情報の補助情報としています。
さらに、生体内CAの今後の姿として、人体外形像から個人の体内環境を疑似推定し、推定結果上に生体内CAの位置、温度情報等を重畳表示するシステムを実現しました。このシステムは、2025年日本国際博覧会（大阪・関西万博）にて公開展示を行い、好評を博しました（図2）。
また、大腸内視鏡検査において術者の大きな負担となる内視鏡のアングルノブ操作を自動化することを目的としました。単眼深度推定の基盤モデル Depth Anything を用いて、内視鏡画像から大腸管腔の最遠点をリアルタイムに検出し、その方向へ内視鏡先端が自動的に向くようパン・チルト角度を制御するシステムを開発しました。既存の大腸内視鏡にモータとプーリを取り付け、深度推定結果に基づいてアングルノブを自動制御することで、操作者が手動でパン・チルト操作を行わずに挿入できる構成です（図3）。
大腸モデルを用いた検証実験では、操作者が内視鏡操作部を保持せず、挿入部のみを操作しても挿入動作が可能であることを確認しました。本成果は、生体内CAに求められる体内環境情報の取得・構造化と遠隔操作デバイスの操作性向上に資する要素技術であり、内視鏡が取得する生体内画像から進行方向を自律的に認識し、ロボット機構へ反映することで、大腸内視鏡検査時の術者負担低減と将来的な自律・遠隔型医療支援の実現に貢献するものです。
さらに、生体内CAの機能評価技術として、体外において生体内環境に近い条件でCA機能を評価可能とするゲル製生体モデルの機能を拡張しました。例えば、内部溶液として不揮発性溶液を利用することで、従来のハイドロゲルモデルの課題であった乾燥に伴う形状変化や物性変化の抑制に成功しました。社会実装に向けた準備を進めています。
3. 今後の展開
生体内CAを実現するには、システムからの情報を呈示し、小型CAを操作する人を繋ぐためのインタフェースや、評価技術が必要です。今後は、生体内CA実現に向けたシステム統合を促進し、要素技術の研究開発を継続するとともに、社会実装を見据えた研究開発を進めていきます。