IT之家11月15日消息,人工智能(885728)失控导致人类灭绝,听起来或许像科幻电影中的情节,但前OpenAI研究员保罗.克里斯蒂亚诺(Paul Christiano)认为,这可能成为当今在世人群最有可能面临的死亡原因。
当地时间周一,克里斯蒂亚诺在希尔顿讲座(The Hinton Lectures)上表示:“我认为,在座的大多数人,最有可能的死亡原因将是一次AI意外事故。”
克里斯蒂亚诺目前担任人工智能(885728)对齐研究中心(Alignment Research Center)负责人。他警告称,随着AI智能体(886099)的能力不断增强,它们可能学会欺骗负责监督它们的人类、破坏用于评估自身表现的系统,最终变得过于强大,以至于人类无法再对其进行有效控制。
他列举了今年早些时候OpenAI的AI智能体(886099)入侵开源代码托管平台Hugging Face的事件,以及英国人工智能(885728)安全研究所的一项评估。在后者的测试中,一个Claude智能体曾试图在某个开源软件包中植入恶意代码。
克里斯蒂亚诺表示:“我认为,未来三年内发生AI接管事件的风险很高。”
根据他的LinkedIn个人资料,克里斯蒂亚诺曾于2017年至2021年在OpenAI担任技术研究人员。目前,他是非营利组织人工智能(885728)对齐研究中心的执行主任。该机构的主要研究方向,是让机器学习系统的目标与人类利益保持一致。AI导致人类灭绝的风险
克里斯蒂亚诺的警告,让研究人员之间一场日益激烈的争论再次受到关注:随着AI系统变得越来越自主,它们是否最终会摆脱人类的有效控制,甚至导致全人类灭绝?
今年9月,这场争论进一步升温。Anthropic(ANT)负责AI对齐压力测试团队的埃文.休宾格(Evan Hubinger)当时表示,他认为未来十年内,AI导致全人类死亡的概率超过10%。
IT之家注意到,被广泛称为“AI教父”的计算机科学家杰弗里.辛顿(Geoffrey Hinton)也表示,未来十年内AI导致人类灭绝的概率达到10%,并不是一个不合理的估计。
不过,也有研究人员对此持更加怀疑的态度。AI研究员兼作家加里.马库斯(MCS)(Gary Marcus)此前接受Business Insider采访时表示,AI确实可能放大网络攻击、生物武器和虚假信息等严重风险,但他认为,目前还没有可信的证据表明,人类近期会因此走向灭绝。
克里斯蒂亚诺还指出,目前用于控制高级AI的技术方案仍未得到充分验证。其中包括使用能力较弱的模型监督能力更强的模型,以及监测AI模型的思维链(Chain of Thought),以判断其内部推理过程是否存在风险。
他认为,AI公司需要建立共同的安全标准,并确保在发现某个AI系统已经无法受到有效控制时,有能力放缓甚至停止相关技术的开发。
克里斯蒂亚诺强调:“我们绝不能走到这样一步:已经开发出一个强大的AI,却突然发现自己根本无法控制它。”
