成果概要
人と融和して知の創造・越境をするAIロボット[2] 主張&解析AI
2023年度までの進捗状況
1. 概要
この研究プロジェクトでは、研究におけるループを主張→実験→解析→記述&対話→主張…というループでモデル化しています。その中でも仮説の生成と検証を含む主張と解析のステップでは、マルチモーダルな科学データを理解し、言語などの根拠を伴って回答するようなAIが必要となります。
そこで主張&解析AIとして「マルチモーダルXAI基盤モデル」に取り組み、論文単体に記述されている主張や解析に相当するパートの関係性の理解や複数論文における要約や類似性の理解を実現するAIを開発します。
2. これまでの主な成果
本研究開発項目で開発するマルチモーダルXAI基盤モデルの端緒として、論文を相互理解するマルチモーダルXAIの初期開発を進めています。プロジェクトとしての2023年度のマイルストーンである「AIロボットが、文献を用いた知識探求を通じて既存論文に記載されている研究を相互理解できる」状態を目指して、その大元となる基盤モデルを論文の図表とテキストを合わせたマルチモーダルデータから学習するためのパイプラインを構築しました。
プロジェクト全体の2023マイルストーンである「論文の内部的な一貫性理解についての検証」、「論文間の相互理解についての検証」、「論文間の相互的な理解を含めたサーベイ生成についての検証」および「論文間の類似性理解についての検証」を実施しました。これらの検証は基盤モデルの後続タスクとして、ファインチューニングを経て行われました。
マルチモーダルXAI基盤モデル
この研究では、マイルストーンの評価項目に基づき、技術目標の達成に取り組みました。論文理解に関連するデータセットを手作業で作成するコストを削減するため、一般的なデータと論文の知識を利用するフレームワークを構築しました。生成AIによる仮説生成や法則性の発見に関する研究も実施しました。
論文の一貫性理解では、図1に示すように、BERTやGPT-4を用いて論文の主張と実験結果の一貫性を検出し、説明するモデルを構築しました。これにより、論文の事前学習データセットを用いた一貫性検出の精度が向上しました。ユーザースタディでは、研究者による評価で高い満足度を得ました。

論文間の相互理解では、論文の類似性を学習し、新しい論文間の類似部分を推定するモデルを開発しました。情報分野と化学分野で高い精度の類似性評価結果を得ました。
さらに、論文間の相互理解を含めたサーベイ生成を自動化しました。図2に示すようなパイプラインに基づいて、指定されたトピックに基づき、リトリーバルモデルを用いて関連論文を選定し、図表を含むサーベイを作成しました。ユーザースタディでは、研究者から高い評価を得ました。

最後に、論文間の類似性理解では、類似する論文ペアを作成し、その類似性を説明するテキストを自動生成しました。これもユーザースタディで高い評価を受けました。
3. 今後の展開
引き続き文献からの研究理解を進めるとともに、仮説生成の実現を目指します。科学技術論文の知識を大規模言語モデルやマルチモーダル基盤モデルを使って連続的な空間に埋め込み、その空間内で知識の探索と推論を行い、新規性と妥当性のバランスを考慮した科学的仮説を生成します。
科学技術知識はニッチで誤情報生成(ハルシネーション)が生じやすいため、創造性を維持しつつ誤情報を抑制するリトリーバル拡張や段階的推論が必要です。また、説明性を持つXAIをマルチモーダルな論文理解モデル上に実現することも重要です。
さらに、AIが科学技術の分野で新しい知識や仮説を作り出し、それを人間の研究者が利用できるようにするための基盤モデルの研究と開発が目標です。マルチモーダルな入出力と説明性を持つAIを用いて研究の相互関係理解を実現し、他の研究開発課題と連携してマルチモーダルな仮説生成を実現します。