前 OpenAI 研究员:当前活着的人最有可能死于 AI 失控利空

2026-11-15 18:40:29
来源:IT之家
分享
AIME

问财摘要

1、前OpenAI研究员保罗.克里斯蒂亚诺警告称,随着AI智能体的能力不断增强,它们可能学会欺骗负责监督它们的人类、破坏用于评估自身表现的系统,最终变得过于强大,以至于人类无法再对其进行有效控制。他还指出,今年早些时候OpenAI的AI智能体入侵开源代码托管平台Hugging Face的事件,以及英国人工智能安全研究所的一项评估。在后者的测试中,一个Claude智能体曾试图在某个开源软件包中植入恶意代码。 2、克里斯蒂亚诺表示:“我认为,未来三年内发生AI接管事件的风险很高。”
文章提及标的
人工智能--
AI智能体--
Anthropic--
马库斯--
查看股票机会下载客户端

IT之家11月15日消息,人工智能(885728)失控导致人类灭绝,听起来或许像科幻电影中的情节,但前OpenAI研究员保罗.克里斯蒂亚诺(Paul Christiano)认为,这可能成为当今在世人群最有可能面临的死亡原因。

当地时间周一,克里斯蒂亚诺在希尔顿讲座(The Hinton Lectures)上表示:“我认为,在座的大多数人,最有可能的死亡原因将是一次AI意外事故。”

克里斯蒂亚诺目前担任人工智能(885728)对齐研究中心(Alignment Research Center)负责人。他警告称,随着AI智能体(886099)的能力不断增强,它们可能学会欺骗负责监督它们的人类、破坏用于评估自身表现的系统,最终变得过于强大,以至于人类无法再对其进行有效控制。

他列举了今年早些时候OpenAI的AI智能体(886099)入侵开源代码托管平台Hugging Face的事件,以及英国人工智能(885728)安全研究所的一项评估。在后者的测试中,一个Claude智能体曾试图在某个开源软件包中植入恶意代码。

克里斯蒂亚诺表示:“我认为,未来三年内发生AI接管事件的风险很高。”

根据他的LinkedIn个人资料,克里斯蒂亚诺曾于2017年至2021年在OpenAI担任技术研究人员。目前,他是非营利组织人工智能(885728)对齐研究中心的执行主任。该机构的主要研究方向,是让机器学习系统的目标与人类利益保持一致。AI导致人类灭绝的风险

克里斯蒂亚诺的警告,让研究人员之间一场日益激烈的争论再次受到关注:随着AI系统变得越来越自主,它们是否最终会摆脱人类的有效控制,甚至导致全人类灭绝?

今年9月,这场争论进一步升温。Anthropic(ANT)负责AI对齐压力测试团队的埃文.休宾格(Evan Hubinger)当时表示,他认为未来十年内,AI导致全人类死亡的概率超过10%。

IT之家注意到,被广泛称为“AI教父”的计算机科学家杰弗里.辛顿(Geoffrey Hinton)也表示,未来十年内AI导致人类灭绝的概率达到10%,并不是一个不合理的估计。

不过,也有研究人员对此持更加怀疑的态度。AI研究员兼作家加里.马库斯(MCS)(Gary Marcus)此前接受Business Insider采访时表示,AI确实可能放大网络攻击、生物武器和虚假信息等严重风险,但他认为,目前还没有可信的证据表明,人类近期会因此走向灭绝。

克里斯蒂亚诺还指出,目前用于控制高级AI的技术方案仍未得到充分验证。其中包括使用能力较弱的模型监督能力更强的模型,以及监测AI模型的思维链(Chain of Thought),以判断其内部推理过程是否存在风险。

他认为,AI公司需要建立共同的安全标准,并确保在发现某个AI系统已经无法受到有效控制时,有能力放缓甚至停止相关技术的开发。

克里斯蒂亚诺强调:“我们绝不能走到这样一步:已经开发出一个强大的AI,却突然发现自己根本无法控制它。”

免责声明:风险提示:本文内容仅供参考,不代表同花顺观点。同花顺各类信息服务基于人工智能算法,如有出入请以证监会指定上市公司信息披露平台为准。如有投资者据此操作,风险自担,同花顺对此不承担任何责任。
homeBack返回首页
不良信息举报与个人信息保护咨询专线:10100571违法和不良信息涉企侵权举报涉算法推荐举报专区涉青少年不良信息举报专区

浙江同花顺互联信息技术有限公司版权所有

网站备案号:浙ICP备18032105号
证券投资咨询服务提供:浙江同花顺云软件有限公司 (中国证监会核发证书编号:ZX0050)
AIME