AIが心の理論を獲得する仕組みを発達的に分析

最近、AIが「心の理論」っていう能力をどうやって獲得するのかっていう研究が進んでるんですよね。心の理論っていうのは、他の人の信念や感情を理解する能力のことなんです。これができると、AIは人間のようにコミュニケーションができるようになるってわけです。

この研究では、特に大規模言語モデル（LLM）に注目していて、これらのモデルがどのようにして人の信念状態を読み取る能力を発展させるのかを発達的に分析してるんです。具体的には、Olmo2やPythiaっていう言語モデルを使って、いくつかのトレーニング段階を通じてメンタルステート推論行動のパターンを追跡したんですよ。

メンタルステート推論っていうのは、他の人が何を考えているかを推測する行動のことなんですけど、これがどうやって進化していくのかを見ていくのがこの研究の目的なんですね。研究者たちは、モデルのサイズやトレーニングのボリュームがこの能力にどう影響するかを調べた結果、偶然以上のパフォーマンスがモデルのサイズに依存していることがわかったんです。

さらに、プレトレーニングの段階でこの能力が現れることが多いっていうのも興味深いところです。特に、誤信念課題っていう特定の条件でのパフォーマンスが、ポストトレーニング介入によって改善されることがわかったんですよ。これがどういうことかっていうと、AIが他の人の誤った信念を理解する能力が、特定のトレーニングを受けることで向上するってことなんです。

ただ、ここで注意が必要なのは、FBT（誤信念課題）のパフォーマンスが脆弱だってことです。つまり、AIがこの課題をクリアするのは簡単じゃないってことですね。過去の研究でも、非事実動詞、例えば「考える」っていう言葉の使い方が、誤信念の帰属を増加させることがわかっているんですよ。これは、AIが他の人の信念を理解する際に、言葉の使い方が重要だってことを示しています。

この研究では、状況モデル化っていう概念も重要なんです。状況モデル化っていうのは、記述されたシーンの基本的な事実特性を報告する能力のことなんですけど、これがAIの心の理論にどう影響するのかを追跡しているんですよ。

状況モデル化の精度は、一般的にFBTの精度を上回ることが多いんですけど、驚くほど一貫性がない場合もあるんですよね。例えば、Olmo2 13bっていうモデルが、他のエージェントの知識状態について尋ねられたとき、ターゲットエージェントの知識状態と非事実動詞の存在に一貫して影響を受けるっていう結果が出てるんです。

これらの結果から、より大きくて十分にトレーニングされたモデルが、発達に適した順序で部分的に一貫した状況モデルを構築することができるってことが示唆されてるんですよ。ただし、驚くべき脆弱性も見えてきて、これがLLMの能力を評価するための発達的およびストレステストアプローチの価値を強調しているんです。

要するに、AIが心の理論を獲得する過程は複雑で、まだまだ研究が必要ってことですね。これからの進展が楽しみです。