成果概要
誰もが自在に活躍できるアバター共生社会の実現[4] CA協調連携の研究開発
2023年度までの進捗状況
1. 概要
本研究開発項目は、複数CAの同時遠隔操作・連携制御技術（自在CA制御）の基盤研究開発を担っています。この研究開発項目の達成により、1人の操作者が同時に複数のCAを操作することが可能となり、プロジェクトの目指すアバター共生社会の実現、ムーンショット目標で目指す空間・時間制約からの解放に貢献します。
この達成に向けてはタスクや環境に応じて操作者の意図を理解しながら働く複数CAを利用する技術開発が課題となります。本研究開発項目ではまず、CAが連携する生活環境や病室環境を再現し、そこで活躍する半自律化CAを、遠隔操作から自律化する自律化CA技術をベースに試作します。そして、複数CAからなる半自律連携制御システムの操作インターフェースをBMIを含め開発します。
2. これまでの主な成果
(1)自律CAを含んだ複数CAによる家庭内タスクを実現しました。具体的には合計4体（対話CAによる言語理解と監視、物理支援CAによる調理と配膳）のCAが連携し、１食分の食事（主食・スープ・主菜・飲み物）を提供することが出来るシステムを構築しました。一人で操作しながら、半分以上を自律化させることが可能になりました。
（右）調理済み食品の配送
(2)生活物理支援タスクをLLM（大規模言語モデル）によって複数CAへ自動的にタスクを割り当てることが可能になりました。LLMが行動リスト生成とその依存関係抽出を行い、線形計画法で複数CAへとタスクを割り当てます。
（右）複数CAへのタスク割り当て
(3)現場環境における場所の名前や物の配置を意味レベルで高速に理解するための自律探索技術を開発しました。基盤モデルを活用し、ロボットが自律的に地図を作成しながら環境理解を進めることができ、CA自律化のためのユーザーの負担を軽減できます。
(4)物理世界検索エンジンを開発しました。生活環境・病院・ショッピングモール・屋外の対象をオープンボキャブラリーな言語を通じて検索することができるようになり飛躍的に自律CAによる支援可能性を向上させました。東京国際フォーラムで実証しました。
（右）東京国際フォーラムのでも環境の様子
(5)近接覚センサを活用した物理支援CAの遠隔操作の実証実験デモを金沢と京都を繋いで行い、遅延等による操作ミスがあっても、初心者のコントロールでも簡単に物を掴めることを示しました。
(6)BMI随意制御とCA自律制御の調和による思い通りのCA操作を達成しました。
3. 今後の展開
今後は、さらに多くのCA同時遠隔操作の実現に挑戦します。これまでに開発してきた要素技術を統合実証システムに組み込み、CAが自律的に連携する仕組みを構築します。また物理支援CAの自律化を推進し、一人の操作者が自律、半自律、共有自律、遠隔操作を多様に活用し、多くのCAを活用できるシステムを構築します。また統合システムを一般向けにデモできるオープンラボを立ち上げ、要素技術の統合を推進します。