大規模言語モデルの文脈内学習、パターンと構造の両方を活用か？

大規模言語モデルは文脈内でどのように学習するのか、パターンマッチングなのか、潜在構造を推測するのかを探る研究です。実験では、二つの異なるグラフ構造を用いて、モデルが全体のトポロジーを追跡しているのか、局所的な遷移をコピーしているのかを検証しました。その結果、両方の要素が同時に存在することが示され、単独では説明できないことが明らかになりました。