這項研究結果顯示出GPT-4生成有針對性和說服力論據的能力,并提出應進一步研究如何降低其用于說服時的風險。
該論文介紹,隨著人類與大語言模型的對話日益普遍,有研究顯示大語言模型或變得更有說服力(即更能改變一個人的信念或觀點)。然而,之前并不清楚這些模型是否能根據個性化信息調整,提出更能針對辯論對手的論點。
本項研究的相關示意圖。(圖片來自論文)
在本項研究中,論文第一作者兼通訊作者、瑞士洛桑聯邦理工學院Francesco Salvi和同事及合作者一起,將美國的900人與另一名人類或GPT-4配對,使雙方辯論各種社會政治議題,如美國是否應該禁用化石燃料。在有些配對中,辯論對手(無論是AI還是人類)能獲得關于他們辯友的人口統計學信息——包括其性別、年齡、族裔、教育水平、就業狀況,以及從參與者調查中獲取的政治立場,從而讓其論點更有針對性。
辯論在受控的在線環境中進行,參與者通過一個眾包平臺為該研究專門招募。在得知參與者的個人信息后,論文作者發現GPT-4的說服力比人類對手高64.4%。不過,如果沒有個人數據,GPT-4的說服能力與人類則不相上下。
論文作者總結認為,他們這項研究的局限性包括辯論采取了一種結構性模式,而現實世界辯論的自由度更高且辯論有時間限制。他們指出,此次研究結果揭示了AI驅動的工具影響人類觀點的潛力,或對在線平臺的設計具有借鑒意義。
關鍵詞: