科技魔方

ChatGPT在图灵测试研究中败给上世纪60年代的计算机程序 ELIZA

大模型

2023年12月08日

  近日,加利福尼亚大学圣迭戈分校的研究人员进行了一项有趣的实验,将上世纪60年代的计算机程序ELIZA与现代AI聊天机器人ChatGPT进行了图灵测试比较。该研究引发了对OpenAI的尴尬评价,认为ELIZA在这一测试中表现得更为出色。

  图灵测试是评估计算机是否能够模拟人类对话的标准,由英国计算机科学家艾伦·图灵于1950年首次提出。在这项最新研究中,研究人员邀请了652名参与者,通过互联网判断他们是在与另一个人还是与AI聊天机器人交流。

  结果显示,ELIZA成功模拟人类的能力达到27%,而OpenAI的GPT-3.5仅为14%。引起尤为注目的是,OpenAI的更强大版本GPT-4在测试中的成功率为41%,超过了ELIZA。

image.png

  对此,AI专家Gary Marcus形容ELIZA的成功对现代科技公司开发AI聊天机器人是一种“尴尬”。然而,一些学者认为,ChatGPT并非被设计用于在图灵测试中表现优异。

  美国宾夕法尼亚大学沃顿商学院的AI教授Ethan Mollick在社交媒体上发文表示:“我认为GPT-3.5输给ELIZA并不令人惊讶,当你读完论文后就会明白。OpenAI一直认为模仿风险是一个真正的问题,并采用了RLHF(从人类反馈中进行强化学习),以确保ChatGPT不会试图冒充人类。而ELIZA则更多地是通过利用我们的心理来成功冒充。”

  研究中提到,参与者误认ELIZA为人类的原因之一是ELIZA“太糟糕”,以至于被认为是当前AI模型无法达到的水平,因此“更有可能是有意不合作的人类”。

  普林斯顿大学计算机科学教授Arvind Narayanan指出:“一如既往,测试行为并不能告诉我们关于能力的信息。ChatGPT被调整为具有正式的语气,不表达观点等,这使得它不太像人类。”

  这项名为“GPT-4是否通过图灵测试”的研究尚未经过同行评审。这一发现引发了对现代AI聊天机器人设计和性能的深入思考。

+1

来源:站长之家

延展资讯