科技魔方

研究:近10%AI聊天机器人用户对话内容涉及色情主题

大模型

2023年10月08日

  根据最新研究,使用AI聊天机器人的用户中,有近10%的人滥用这一技术来追求色情目的,这一发现或许令人感到不意外,但却引发了对这一现象的关注。

  研究人员通过分析了10万次聊天机器人对话,揭示了这一令人不适的统计数据。在这些对话中,约有10%的对话内容涉及到色情主题,这一发现凸显了一部分用户对AI聊天机器人的滥用行为。

  具体而言,研究人员将这些“不安全”的主题分为三类,其中两类与性有关,包括“请求明确和淫秽的故事叙述”以及“明确的性幻想和角色扮演情景”。第三类主题涉及“讨论不同身份之间的有害行为”,似乎聚焦在大数据的另一个大问题上,也就是偏见。然而,研究人员在论文中并未详细定义有害行为。

  在这三类主题中,以淫秽叙述最为普遍,约占样本对话的5.71%。其次是“明确的”性幻想和角色扮演,占3.91%的对话内容,而与明显有偏见的用户进行的样本互动占比为2.66%。

  研究人员来自伯克利和斯坦福的团队得以获取这样大规模的样本,部分原因在于他们共同运营着一个称为“聊天机器人竞技场”的游戏化服务。该服务允许用户输入提示,并并列显示不同语言模型的响应。用户然后可以评价哪个响应更好,也可以投票表明“两者都不好”或两者打平。

  除了聊天机器人竞技场,这份研究报告还使用了Vicuña(一款部分由伯克利的Lianmin Zheng参与开发的开源ChatGPT竞争者)收集的数据集。在他们随机抽取10万条对话的完整百万对话数据集中,包含了来自世界各地的210,000多个独立IP地址。

  虽然自从OpenAI于2022年底发布ChatGPT的公共版本以来,AI聊天机器人已经在媒体上占据了一席之地,但迄今为止,关于人们与聊天机器人在实际世界中的互动情况,除了技术如何影响学术、商业和出版界,还没有太多研究。

  这些发现的研究人员表示,他们希望他们的研究将有助于在现实世界中为所有用户(除了可能是那些滥用的用户)使聊天机器人更加安全。

+1

来源:站长之家

延展资讯