（１）マルチモーダル／クロスモーダル遠隔操作者認証

CAの操作は、通常のATMや入退室管理と異なり、一定時間連続して行われます。そのため、ログイン時に厳重な本人認証を行なっても、CA操作途中での乗っ取りの危険があります。そこで、操作途中の見守り技術としての時系列生体データによる継続認証技術の研究を行っています。操作中の認証では、利便性から操作者に新たな負担をかけない認証が求められます。ここでは、操作時に通常操作目的で観察している顔映像、脳波に着目した技術を研究します。
顔継続認証：図１に示す継続認証用データ計測装置を用いて収集した遠隔対話データベースを用い、観測ノイズ、姿勢、低解像度といった変動要因に対しても頑健な顔継続認証を考案しました。最先端技術との比較で、同程度の精度でありながら、約2.5倍高速な1ms認証を可能にしました。
脳波継続認証：音読時の脳波を使用したシナリオでは、1 位認証率（Rank-1）98.0%、等価誤り率（EER）1.0%を達成しました。発話内容や無言などで脳波は異なる波形になります。より難易度の高い、異なるシナリオでの脳波の実験においても、Rank-1 86.5%、EER4.4%と良好な結果が得られました。このことは、異なる発話または無言であっても、脳波には個人固有の特徴が一定程度保持されており、顔は映し出さず脳波を利用してアバター操作をするケースなど、応用可能性が高いことが示されました。

（２）マルチモーダルバイオメトリクスデータベース構築

継続認証研究を実施するために、世界最大のマルチモーダルデータベース（11モダリティ）及び継続認証用データベース （8モダリティ）を新たに整備しました（1000名規模）。図２はデータ収集実験の様子です。今後、2200名規模に発展させ、認証性能の向上をはかります。

（３）マルチモーダル／クロスモーダルCA認証

顔映像の流出は、プライバシー・肖像権の侵害、乗っ取りやなりすましの要因となりかねません。顔継続認証は、遠隔操作者やユーザの顔と登録者の顔で本人確認を行う手段で、何らかの理由でCA自体の乗っ取りなどが起きた場合には、防ぐことができません。CA認証は、CAが表出する顔表情に基づく認証です。本年度は、CA認証モデルを考案し、従来研究との比較において18%性能を向上し、認証精度約98%の実時間CA認証ができました。他人の顔やアニメキャラクターで登場したCAに対しても、顔表情から認証が可能となり、乗っ取り等への対抗策となります。

（４）非識別化顔合成技術

多くのCAサービスでは「遠隔操作者-CA-ユーザ」の一連の流れの中で、顔映像がネットワークを介して伝送されます。ネットワークの安全対策に加えて、顔映像の流出を困難にする顔データそのものの保護が重要です。ここでは、非識別化CA顔合成技術と呼ぶ、見た目はそっくりだが、AIによる認証が困難な実時間顔CG合成技術を研究します。顔画像を静的パラメータ（テクスチャや形状）と動的パラメータ（表情、姿勢）に分解、静的パラメータに対して非識別化処理を適用し、動的パラメータはそのまま反映することで、時間的に一貫した顔合成ができます。評価実験においても、非識別化しつつも、人の見た目には本人と感じる顔合成、また、人の知覚による認証ができました。

図左端の入力画像に対して、真ん中３列は従来、右端が提案手法です。従来手法は違和感があるのに対し、提案手法は入力画像と似たCAを合成できています（なお、黄色字は入力との類似度で低い値を示す）。

（５）CA安全・安心確保基盤の社会実装

CA基盤上に、継続顔認証、CA認証、非識別化顔合成を組み込んだ、実時間CA認証技術API-ver.αを開発しました。