OpenAI解散了其存在性人工智能风险团队

2024年05月20日 由 samoyed 发表 106 0

OpenAI 的前首席科学家表示,他难以获得资源来研究存在性 AI 风险,因为该公司据报道已经解散了他的团队。


OpenAI负责控制未来超越人类智能系统带来的存在性危险的Superalignment 团队已经被解散。这一消息传出仅几天前,该团队的创始人 Ilya Sutskever 和 Jan Leike 同时离开了公司。


73a3edac6b943112a8abc7dd566e3e17


OpenAI 的 Superalignment 团队自 2023 年 7 月成立以来,一直致力于防止未来的超越人类智能系统失控,但现在该团队已经不复存在。报道称,该团队的工作将被纳入 OpenAI 的其他研究工作中。根据报道,对更强大的 AI 模型相关风险的研究现在将由 OpenAI 的联合创始人 John Schulman 牵头。


Sutskever 和 Leike 曾是 OpenAI 中专注于 AI 风险的一流科学家。Leike 在 X 周五发布了一篇长文,模糊地解释了他离开 OpenAI 的原因。他表示,他与 OpenAI 的领导层在核心价值观上一直存在分歧,但本周达到了一个临界点。Leike 指出,Superalignment 团队一直在“逆风而行”,努力为关键研究争取足够的计算能力。他认为 OpenAI 需要更加关注安全性、安全性和对齐性。


当被问及 Superalignment 团队是否解散时,OpenAI 的新闻团队引导我们关注 Sam Altman 的推特。Altman 表示他将在接下来的几天内发布一篇更长的帖子,并指出 OpenAI “还有很多事情要做”。


后来,OpenAI 的发言人澄清说:“Superalignment 现在将更深入地融入研究工作之中,这将有助于我们更好地实现 Superalignment 的目标。”该公司表示,这种整合“几周前”就开始了,最终 Superalignment 的团队成员和项目将被转移到其他团队。


Superalignment 团队在 7 月发布的一篇 OpenAI 博客文章中写道:“目前,我们还没有解决方案来指导或控制潜在的超级智能 AI,并防止它失控。”“但是,人类将无法可靠地监督比我们聪明得多的 AI 系统,因此我们当前的对齐技术无法适应超级智能。我们需要新的科学和技术突破。”


现在还不清楚是否还会将同样的注意力放在这些技术突破上。毫无疑问,OpenAI 还有其他团队专注于安全性。据报道,负责吸收 Superalignment 职责的 Schulman 团队目前负责训练后的 AI 模型微调。


今年早些时候,该团队发布了一篇关于使用较小的 AI 模型控制大型 AI 模型的显著研究论文——这被认为是控制超级智能 AI 系统的第一步。目前还不清楚在 OpenAI 中谁将负责这些项目的下一步工作。

文章来源:https://gizmodo.com/openai-reportedly-dissolves-its-existential-ai-risk-tea-1851484827
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消