Thinking to recall: How reasoning unlocks parametric knowledge in LLMs

想起のための思考：推論はどのようにLLMのパラメトリック知識を解放するのか Google Research リサーチサイエンティスト、Zorik Gekhman、Jonathan Herzig 複雑な段階的解法を必要としない単純な事実を想起する際にも、推論（思考）が言語モデルの想起を助けるという、直感に反する現象について研究しました。この現象が2つのメカニズム、すなわち (1) 生成された推論トークンを利用して潜在的な計算を行うこと、および (2) 関連する事実を生成して正しい回答の想起を誘発（プライミング）すること、によって引き起こされていることを示します。

大規模言語モデル（LLM）に「Chain-of-Thought（CoT：思考の連鎖）」として一般に知られる段階的な推論の軌跡を生成させることが、複雑なタスクにおける性能を向上させることはすでに広く定着しています。モデルが難解な数式を解いたり、ソフトウェアを記述したり、複数ステップの事実に関する質問に答えたりする際、問題を扱いやすい論理的なステップに分解することは極めて効果的です。

しかし、このアプローチの有用性は、単純なシングルホップの（1つのステップで完結する）事実に関する質問においては不明なままでした。例えば、次のような質問を考えてみましょう。 「メアリー・エングル・ペニントンが全米発明家殿堂入りを果たしたのは何年ですか？」 LLMはその事実をパラメトリックメモリ（重みに直接エンコードされた知識）に記憶しているか、あるいは記憶していないかのどちらかであり、複雑な算術や論理的演繹は必要ありません。では、なぜ推論の軌跡が役に立つのでしょうか？

私たちの研究「Thinking to Recall: How Reasoning Unlocks Parametric Knowledge in LLMs（想起のための思考：推論はどのようにLLMのパラメトリック知識を解放するのか）」では、この現象を調査しています。モデルに推論の軌跡を生成させることで、推論を行わない場合には事実上到達不可能な正しい回答を引き出せることを実証します。実行すべき複雑な推論ステップが存在しないにもかかわらず、なぜ推論がパラメトリック知識の想起を助けるのかを理解するため、私たちは一連の仮説駆動型の対照実験を行いました。その結果、これを推進する2つの補完的なメカニズムとして、「計算バッファ効果」と「ファクチュアル・プライミング（事実の呼び水効果）」が明らかになりました。

まず、pass@kを用いてパラメトリック想起の指標を測定します。pass@kは、モデルが生成した1つの回答だけをチェックするのではなく、複数回の生成試行の中に正しい事実が含まれているかどうかを検証します。出力の正確な順位に左右されることなく、モデルの出力分布内にうまく推論できたパスが存在するかどうかを評価することにより、pass@kはモデルの現在の「top-1（最有力候補）」の挙動を見るだけでなく、事実想起における推論の潜在能力を見積もるのに役立ちます。パラメトリック知識の影響を制御しつつ推論の影響を評価するため、推論機能を有効（ON）または無効（OFF）に切り替えられる推論型LLM（R-LLM）に着目し、これら2つのモード間でpass@kを比較します。本実験では、2つの難度の高いクローズドブック（外部検索なしの）QAデータセットを用いて、Gemini-2.5（FlashおよびPro）モデルを評価対象としました。

第1の仮説は、テキスト生成のメカニズムに着目したものです。「余分なトークンを生成することは、追加の順伝播（フォワードパス）を提供することによって計算時間を延長する役割を果たす」という、長年議論されてきた仮説を採用し、これをR-LLMにおけるパラメトリック知識想起という新たな設定でテストします。具体的には、モデルが生成される実際の意味内容とは無関係に、これらの推論トークンを潜在的な処理（内部計算）を実行するための「計算バッファ」として暗黙的に利用しているという仮説を立てました。

これをテストするため、私たちは推論の軌跡からすべての意味ある内容を排除する実験を設計しました。モデルの推論プロセスに介入し、生成された軌跡を無意味なダミー文字列に置き換え、元の推論軌跡の長さと一致するまでそれを何度も繰り返します。その後、モデルにこのダミーテキストを条件として与え、最終的な回答を予測させました。

驚くべきことに、この無意味な軌跡をモデルに条件付けすると、推論を完全にオフにしたベースラインと比較して、正しい回答を想起する能力が大幅に向上しました。これは、単にモデルに多くの計算処理の「滑走路（猶予）」を与えるだけで、内部状態が洗練され、思い出しにくい事実をフェッチしやすくなるという強力な証拠を示しています。しかし、この計算バッファ効果には限界があります。ダミーテキストの長さをさらに伸ばしても、最終的には収穫逓減（効果が頭打ちに）となり、モデルの自然な推論軌跡による性能には決して完全には及びません。つまり、追加の計算は役立つものの、思考の「実際のコンテンツ（内容）」も依然として重要であることを意味しています。

単純な事実に関する質問に対して生成された自然な推論の軌跡を分析すると、共通のパターンが見えてきます。モデルは論理的な証明を書いているのではなく、関連する事実を浮かび上がらせているのです。人間の認知には「意味的プライミング（semantic priming）」と呼ばれる概念があり、特定の概念を処理することが、セマンティックメモリ（意味記憶）内の関連する概念の活性化（プライミング）を促し、それらを思い出しやすくします。私たちは、言語モデルもこれに類似した、自己生成による自己検索メカニズムを備えているという仮説を立て、これを「ファクチュアル・プライミング（事実の呼び水効果）」と呼んでいます。質問にトピック的に関連する事実を生成することで、モデルは正しい回答の検索を容易にする文脈上の架け橋を構築します。

この仮説を検証するため、推論軌跡から具体的な事実のみを抽出し、つなぎのテキストや検索プラン、最終的な回答への明示的な言及を厳しくフィルタリングして排除しました。そして、想起された事実のみの効果を分離した結果、想起された事実の短いリストを条件として与えるだけで、推論によって得られる向上の大部分が回復し、推論機能が「OFF」の場合でも効果を発揮することが示されました。例えば、ネパールの「第10代国王」の名前を尋ねられた場合、推論モデルはまず先代の9人の国王をリストアップすることがあります。最初の9人を思い出すことがセマンティックな準備運動（ウォームアップ）として機能し、ネットワークを刺激して第10代国王を正常に想起させるプライミングを行います。事実そのものが、目的の回答へ導く「踏み石」となるのです。

自己生成による自己検索は強力なメカニズムである一方、根本的なリスクをもたらします。モデル自身がこれらの中間事実を生成するため、それらが「ハルシネーション（事実とは異なるでっち上げ）」である可能性があるからです。そこで、私たちはこれらの推論段階でのエラーが最終的な回答にどのような影響を与えるかを調査しました。そのために、検索機能を備えた検証器（verifier）を使用し、何十万もの推論軌跡で生成されたすべての中間事実の正確性を個別にチェックする、大規模な監査パイプラインを構築しました。

監査の結果、明確なパターンが明らかになりました。推論の軌跡にハルシネーションを含む中間事実が1つでも存在すると、モデルが正しい最終回答に到達する確率は著しく低下します。これは、ファクチュアル・プライミングのメカニズムが効果的である反面、脆弱である可能性を示唆しています。

これらのメカニズムを理解することは、モデルの信頼性を向上させるための実用的なアプローチを提供します。ファクチュアル・プライミングが効果的であり、かつ中間事実に含まれるハルシネーションが性能を低下させるという両方の知見を活かすことで、モデルの精度を高めることができます。これらの知見の可能性を評価するため、私たちは「テスト時選択（test-time selection）」戦略を使用しました。これは、1つの質問に対して複数の推論経路（軌跡）を生成し、検証可能でハルシネーションのない事実のみを含む経路だけを残す方法です。これらの経路を優先することで、精度が大幅に向上します。実際には、この優先順位付けは、事実に基づいた中間ステップを推奨する「プロセス報酬（process rewards）」を通じて、トレーニング中に実装することも可能です。