自己回帰生成モデルの熱力学を構築

東京大学 大学院工学系研究科 物理工学専攻の沙川 貴大 教授は、過去の出力の履歴に基づいて次の出力を生成する「自己回帰生成モデル」（Autoregressive Generative Model）の熱力学理論を構築しました。大規模言語モデル（Large Language Model、LLM）の基盤であるトランスフォーマー（Transformer）から、信号処理に用いられるカルマンフィルターまでを統一的に扱い、生成過程の不可逆性を表す「エントロピー生成」を効率的に推定する方法を示しました。さらに、情報理論的な観点から、エントロピー生成を各時刻に対応するゼロ以上の寄与の和として表せることを示しました。大規模言語モデルを用いた実験では、文章に表れた出来事の順序関係がモデルに反映されていることを示唆する結果が得られました。

本成果は、生成AIの内部に形成されると考えられる現実世界の表現、いわゆる「世界モデル」（World model）の定量的な理解につながることが期待されます。

本研究成果は、2026年11月5日（米国東部標準時間）に、科学雑誌「PRX Intelligence」のオンライン版に掲載されました。