この研究開発課題では、ユーザの意図通りに動くサイバネティックアバター（CA）の半自律機能実現のために、高度な認識能力、CA間での知識共有、操作者の意図理解に必要となる人間の知識や概念の獲得についての研究開発に取り組んでいます（図１）。
この知識と概念の獲得には、視覚情報に人間レベルの知識や概念を組み合わせ、さらに自然言語も含めた多様なモダリティの情報を組み合わせる必要があります。また、視覚情報や自然言語などの様々なモダリティの融合と、多様な実環境における知識共有や獲得を目的とした対話の実現によって、CAが人間と共有できる知識や概念を獲得することを目指します。さらに、得られた知識や概念を基盤とした観測や対話をおこなうことで、操作者や利用者の意図理解につなげていきます。CA、操作者、利用者間でのやり取りは、得られるデータ量も多くはないため、少ないデータでも学習可能な新たな学習手法等を開発します。

CAが人と知識を共有し対話を実現するには、実世界の意味的のみならず、その下地となる幾何学的理解が必須となります。特に幾何学的理解では、時間経過とともに形が変わる非剛体物体を含めた時空間モデリングが重要となります。非剛体物体の場合、対象物体が時々刻々と変形するため、同じ対象物体であっても、観測される見た目や深度を表す点群情報も大きく異なります。この問題を解決するために、大変形を伴う部分観測の点群間のマッチングとレジストレーション問題、輝度場の自由形状変形手法の開発に取り組みました。

剛体・変形シーンにおける部分点群マッチングのために、学習型アプローチを採用した手法を提案しました。部分点群マッチングとは、一つの対象物を異なる視点から観測した点群間で、どの点同士が物体の同じ部位に対応するかを発見する問題です。これは複数視点から観測した点群から物体を再構築する際の根本技術であり、我々の提案手法は非剛体間点群マッチングの困難なデータセットにおいて、従来研究と比較してダブルスコアの特徴マッチング再現率を達成しました。図２Source＆Graph、Targetは異なる視点から観測した姿勢の異なる対象物体の点群をそれぞれ黄色と青色で表しています。図２Initial alignはSource＆Graphの点群をTargetに位置合わせする初期状態です。図２Ours+N-ICPは我々の手法により発見した対応点(左側)を利用して非剛体の対象物体を再構成した結果（右側）です。

また、部分点群マッチングに加えて階層的な運動分解によって非剛体点群間の各点の変形量を求めるレジストレーション手法を開発しました。図３左は異なる視点から観測した姿勢の異なる対象物体の点群をそれぞれピンクと緑色で表しています。図３右は我々のレジストレーション手法により非剛体物体を再構成した結果です。既存のニューラルネットワークベースのアプローチ（図３中央）と比較して、図３右のように高い精度を得られるだけではなく、解法が50倍高速化されました。

さらに、本テーマでは、新しい輝度場の変形方法である自由形状の輝度場変形を提案しました。本手法は、ケージと呼ばれる前景オブジェクトを囲む三角メッシュをインタフェースとして用い、ケージの頂点を操作することで、輝度場の自由形状変形を可能としました（図４左から右）。