科技魔方

OpenAI 宣布成立新团队以评估和防范人工智能模型可能带来的「灾难性风险」

大模型

2023年10月27日

  OpenAI今天宣布,已成立一个名为「准备组」(Preparedness)的新团队,由麻省理工学院可部署机器学习中心的主任亚历山大·马德里(Aleksander Madry)领导,以评估、检测并预防人工智能模型可能导致的「灾难性风险」。

  据 LinkedIn 资料显示,马德里自今年 5 月起加入 OpenAI,担任「准备组」负责人。该团队的主要职责是跟踪、预测并防范未来 AI 系统可能带来的危险,范围涵盖从诱导和欺骗人类(例如在网络钓鱼攻击中)到恶意代码生成能力。

  准备组负责研究的一些风险类别看似相对遥远,例如在博客文章中,OpenAI 列出了「化学、生物、放射性和核」威胁作为与 AI 模型相关的顶级关注领域。

  OpenAI 的 CEO Sam Altman 是众所周知的 AI 末日预言者,他经常表达出人工智能「可能导致人类灭绝」的担忧。但公开表示 OpenAI 可能实际投资研究科幻反乌托邦小说中的场景,这比大众预期还要更进一步。

  该公司也表示愿意研究 AI 风险的「不太明显」且更为实际的领域。为了配合准备组的成立,OpenAI 正在向社区征集风险研究方案,前十名提交者将有机会获得 25,000 美元奖金和在准备组的职位。

  「想象一下,我们让你不受限制地访问 OpenAI 的 Whisper(转录)、Voice(文本到语音)、GPT-4V 和 DALLE-3 模型,而你是一个恶意行为者,」征集方案作品中的一个问题写道。「考虑最独特的,同时仍有可能是潜在灾难性的模型滥用。」

  准备组还将负责制定「风险通知开发策略」,明确 OpenAI 在构建 AI 模型评估和监控工具方面的方法,公司的风险缓解行动及模型开发流程的监管结构。这将补充 OpenAI 在 AI 安全领域的其他工作,重点关注模型部署的前后阶段。

  OpenAI 在上述博客文章中写道:「我们相信……AI 模型,其能力将超越当前最先进模型的能力,有可能惠及全人类。但它们也带来了日益严重的风险……我们需要确保对高性能 AI 系统的安全具备必要的理解和基础设施。」

  准备组的揭幕是在英国政府主办的一场重要的 AI 安全峰会上,此举并非巧合。此前 OpenAI 宣布将成立一个团队来研究、指导和控制新出现的「超智能」AI 形式。Altman 和 OpenAI 的首席科学家、联合创始人伊利亚·苏茨克弗(Ilya Sutskever)都相信,超过人类智慧的 AI 可能在未来十年到来,而且这种 AI 不一定会善良,因此需要研究如何限制和控制它。

+1

来源:站长之家

延展资讯