計算機科学：GPT-3は類推によって推論できる

大規模言語モデルGPT-3は、直接的な訓練なしに、複雑な推論課題を遂行して、人間の参加者と同等かそれ以上のレベルで問題に対する妥当な解を見つけられることを報告する論文が、Nature Human Behaviourに掲載される。

人間の知性の特徴の1つは、以前に遭遇したことのない新たな問題を解決できる能力である。認知科学者たちは、こうした問題解決は、「類推」として知られる重要なメンタルツールによると考えている。類推とは、なじみのない問題と過去に遭遇したことのある問題との間の類似性を見分けて妥当な解を見つける能力である。

今回、Taylor Webbらは、大規模言語モデルGPT-3の類推課題に関する成績の評価を行い、得られた結果を人間の成績と比較した。評価対象の課題は、文章に基づく行列推理問題、文字列の類推、話し言葉の類推、ストーリーの類推で、いずれも、パターンが特定された後に新たな状況に適用される必要があるものだった。例えば、提示された1つの問題は「love：hate :: rich：［　］」のパターンを完成させよというもので、［　］に入る正しい答えは「poor」となる（「love（愛）」の反対語は「hate（憎しみ）」で、「rich（裕福な）」の反対語は「poor（貧しい）」であるから）。課題の多くは、GPT-3が過去に受けた訓練セットの回答を繰り返さないように設計された。その結果、GPT-3が抽象的なパターンの誘導に関して、大半の試験において人間の参加者と同等か、あるいはそれを上回る強い能力を示すことが明らかとなった。

Webbらは、GPT-3による類推には限界があると述べており、その理由は、GPT-3が長期記憶を備えておらず、類推課題を遂行できるのは関連する材料が全て提供された場合のみだからである。また、GPT-3がこうした問題を人間と同じように解決しているかは不明であると結論している。

doi: 10.1038/s41562-023-01659-w

「注目の論文」一覧へ戻る