GPT-3 可以像大學生一樣進行推理 是在模仿人類的推理還是產生新的認知過程？
人工智慧語言模型 GPT-3 在解決某些邏輯問題上的表現與大學生一樣出色，這些問題與標準化測試中出現的問題相似。在進行實驗的研究人員寫道，這些結果引發了一個問題，即這項技術是在模仿人類的推理還是使用了一種新的認知過程?
來源: ScienceDaily
人們可以通過將新問題與熟悉的問題進行比較，並將解決方案擴展到新問題上，輕鬆解決新問題。這個過程被稱為類比推理，長期以來一直被認為是人類獨有的能力。
但現在，人們可能需要為新來者留出一個位置。
加州大學洛杉磯分校的心理學家的研究表明，令人驚訝的是，人工智慧語言模型 GPT-3 在解決那些通常出現在智力測試和標準化測試（如SAT）中的推理問題時，表現與大學生相當。該研究發表在《自然·人類行為》上。
但論文的作者們寫道，這項研究提出了一個問題：GPT-3是在模仿人類的推理，作為其大量語言訓練數據集的副產品，還是在使用一種基本上新的認知過程？
由於無法獲得 GPT-3 的內部運作方式（該運作方式由創造它的OpenAI公司保護），加州大學洛杉磯分校的科學家們無法確定它的推理能力是如何工作的。他們還寫道，盡管 GPT-3 在某些推理任務上的表現遠遠超出了他們的預期，但這一受歡迎的人工智慧工具在其他方面仍然表現出色。
該研究的第一作者、加州大學洛杉磯分校的心理學博士後研究員泰勒·韋伯表示：“無論我們的結果有多令人印象深刻，重要的是強調這個系統有很大的局限性。它可以進行類比推理，但它無法像人類那樣輕鬆地使用工具來解決物理任務。當我們給它這些問題時，其中一些問題甚至孩子都能迅速解決，它提出的解決方案是荒謬的。”
韋伯和他的同事們測試了GPT-3解決一組受到稱為雷文進步矩陣測試啟發的問題的能力，該測試要求被試者預測一個由形狀複雜排列組成的圖像中的下一個圖像。為了讓GPT-3“看到”這些形狀，韋伯將圖像轉換為GPT-3可以處理的文本格式；這種方法還確保了人工智慧在此之前從未遇到過這些問題。
研究人員要求40名加州大學洛杉磯分校的本科生解決相同的問題。
該研究的資深作者、加州大學洛杉磯分校的心理學教授洪靜表示：“令人驚訝的是，GPT-3不僅表現與人類相當，而且犯的錯誤也相似。”
GPT-3正確解決了80%的問題，遠高於人類受試者的平均分數，後者略低於60%，但在最高人類分數的範圍內。
研究人員還要求 GPT-3 解決一組他們認為從未在網上發布的SAT類比問題，這意味著這些問題很可能不會成為 GPT-3 的訓練數據的一部分。這些問題要求用戶選擇具有相同類型關係的詞對。（例如，在問題“‘愛’對‘恨’，‘富有’對應哪個詞？”中，解答應該是“貧窮”。）
他們將GPT-3的分數與大學申請者的SAT分數的發表結果進行了比較，發現人工智慧的表現優於人類的平均分數。
研究人員還要求GPT-3和學生志願者解決基於短篇故事的類比問題，提示他們閱讀一段文字，然後識別一個傳達相同含義的不同故事。在這些問題上，技術的表現不如學生，盡管OpenAI的最新版本GPT-4的表現優於GPT-3。
加州大學洛杉磯分校的研究人員已經開發了一個受人類認知啟發的計算機模型，並一直在將其能力與商業人工智慧進行比較。
該研究的合著者、加州大學洛杉磯分校的心理學教授基思·霍利奧克表示：“人工智慧越來越好，但我們的心理學人工智慧模型在類比問題上仍然是最好的，直到去年12月泰勒獲得了GPT-3的最新升級，它的表現與人類相當，甚至更好。”
研究人員表示，到目前為止，GPT-3 還無法解決需要理解物理空間的問題。例如，如果提供一組工具的描述，例如紙板管、剪刀和膠帶，用於將口香糖從一個碗轉移到另一個碗中，GPT-3提出了奇怪的解決方案。
「語言學習模型只是試圖進行詞語預測，所以我們對它們能夠進行推理感到驚訝」盧說。「在過去的兩年中，這項技術從以前的版本中取得了很大的飛躍。」
加州大學洛杉磯分校的科學家們希望探索語言學習模型是否真的開始像人類一樣「思考」，還是僅僅模仿人類思維的一種完全不同的方式。
「GPT-3可能有點像人類思考」霍利奧克說。「但另一方面，人們並不是通過吸收整個網路來學習的，所以訓練方法完全不同。我們想知道它是否真的像人類一樣做到了這一點，還是它是全新的東西——一種真正的人工智慧——這本身就是令人驚奇的。」
為了找出答案，他們需要確定AI模型正在使用的基本認知過程，這需要訪問程式和用於訓練程式的數據，然後進行他們確定程式尚未接受過的測試。他們表示，這將是決定AI應該成為什麼的下一步。
「對於AI和認知研究人員來說，擁有GPT模型的後端將非常有用」韋伯說。「我們只是提供輸入並獲得輸出，這並不像我們希望的那樣明確。」
封面圖片: Unsplash
※版權所有，歡迎媒體聯絡我們轉載；登錄本網按讚、留言、分享，皆可獲得 OCTOVERSE 點數（8-Coin），累積後可兌換獎品，相關辦法以官網公布為準※
