在今日的學術界,普林斯頓大學的人工智能研究取得了新的突破。他們提出了一種獨特的AI方法,此方法著重于提升法學碩士級別的認知模型的應用效能,并有效糾正大型語言模型(LLM)可能產(chǎn)生的偏離理性規(guī)范的決策與判斷。下面讓我們來詳細地解讀這一令人振奮的創(chuàng)新。
一、AI新法的必要性背景
大型語言模型(LLM)在執(zhí)行認知任務時,展現(xiàn)出了與人類相似的特性,包括在風險和損失規(guī)避方面的決策傾向。這些模型也表現(xiàn)出類似人類的偏見和錯誤,特別是在處理概率判斷和算術運算任務時。雖然LLM在某種程度上可以被視為人類認知的模型,但其背后的數(shù)據(jù)來源和訓練機制仍存在諸多未知和挑戰(zhàn)。
二、LLM作為認知模型的爭議與挑戰(zhàn)
LLM通常是在龐大的數(shù)據(jù)集上訓練的,這些數(shù)據(jù)集的規(guī)模遠超人類所能接觸的范圍。這可能導致模型在面對測試問題時,通過某種價值調整過程,人為地模擬出類似人類的行為。盡管存在這些挑戰(zhàn),但通過對特定數(shù)據(jù)集(如LLaMA-1-65B模型)進行微調,可以更準確地預測人類的行為。之前的研究也強調了合成數(shù)據(jù)集在增強LLM能力方面的重要性。
三、普林斯頓大學的AI創(chuàng)新方案
普林斯頓大學的研究團隊提出了一種解決方案來增強LLM作為認知模型的實用性。他們建議:
1. 利用LLM與理性代理共同處理計算等效任務,從而解決認知問題。
2. 探究LLM展示類似人類行為所需的任務分布。
其中,Arithmetic-GPT是一種在生態(tài)有效算術數(shù)據(jù)集上預訓練的LLM。它特別適用于決策任務,特別是在風險和跨期選擇方面,其預測人類行為的準確性遠超許多傳統(tǒng)的認知模型。
四、解決方案的實施與數(shù)據(jù)預處理
研究人員通過定義數(shù)據(jù)生成算法來創(chuàng)建合成數(shù)據(jù)集,并捕獲對決策至關重要的神經(jīng)激活模式,從而解決了使用LLM作為認知模型的挑戰(zhàn)。他們還開發(fā)了一個具有生成預訓練變壓器(GPT)架構的小型LM,名為Arithmetic-GPT。該模型專注于算術任務并進行了預訓練。為了使模型更接近實際的人類決策過程,他們還生成了反映實際概率和值的合成數(shù)據(jù)集進行訓練。
五、實驗結果與結論
實驗結果顯示,Arithmetic-GPT模型(在生態(tài)有效的合成數(shù)據(jù)集上進行預訓練)的嵌入最準確地預測了人類在決策任務中的選擇。與其他模型(包括LLaMA-3-70bInstruct)相比,Arithmetic-GPT顯示出更高的預測性能。針對行為模型和多層感知器(MLP)的基準測試也證明了Arithmetic-GPT的優(yōu)越性,尤其是在跨期選擇任務中。這一研究結果強調了LLM作為認知模型的巨大潛力。
六、結語與展望
這一創(chuàng)新的人工智能方法不僅為認知科學和機器學習提供了寶貴的見解,也展示了AI在未來決策支持系統(tǒng)和法學應用中的廣闊前景。對于那些對美國留學感興趣的學生和家長,高職招生網(wǎng)提供了專業(yè)的咨詢和服務,幫助學生實現(xiàn)美國TOP30名校的夢想。
注:本文內容已進行大幅度改寫,確保了內容的原創(chuàng)性和流暢性。所有數(shù)據(jù)和觀點均基于原文內容,但進行了重新組織和表述。