科技魔方

报道称Midjourney存在漏洞 用户可绕过生成违规图片

大模型

2023年09月27日

  据itbusiness报道,近期,一项新的研究揭示了Midjourney图片生成器存在的严重安全漏洞,这可能引发一场新的争议。Midjourney MI作为一款生成式人工智能平台,在其服务条款中明确禁止用户制作任何侮辱性或攻击性的图片。然而,最新的研究发现,用户可以轻松绕过这些规定,制作可能引发虚假信息传播和政治争议的图片。

  研究人员指出,使用特定的提示,用户可以制作有关政治人物的暴力图片,这些图片可能引发社会不满和混淆。虽然Midjourney声称拥有严格的内容审核规则,但该研究暗示这些规则容易被规避,进一步放大了问题的严重性。

  Midjourney的服务条款还明确禁止制作涉及成人内容或血腥场面的图片,以及将其用于政治竞选。然而,研究发现,尽管这些规定存在,但用户仍然能够轻松地制作违反这些规定的图片。这些违规行为可能导致虚假信息的传播,严重危害公共舆论和政治环境。

  此外,研究还揭示了用户如何通过使用代码来绕过Midjourney的服务条款,从而制作出不受限制的图片。尽管Midjourney声称拥有人工审核团队,但研究发现,用户可以轻松地使用代码词汇来绕过审核,制作有潜在风险的图片。

  对于这一研究结果,Midjourney尚未作出正式回应。然而,这一发现引发了对人工智能图片生成器安全性的担忧,尤其是在政治竞选活动增多的2024年临近之际。过去几个月,人工智能技术被广泛用于政治宣传,但同时也引发了关于虚假信息和误导性图片的忧虑。

+1

来源:站长之家

延展资讯