IT之家6月11日消息,此前,Anthropic被曝会在用户不知情的情况下,限制竞争对手使用新模型Claude Fable5开发其他AI模型。AI研究社区强烈反对后,Anthropic决定做出点改变。
Anthropic在给《连线》的声明中致歉称:“我们正在调整Fable5面向前沿模型开发的安全防护措施,让这些措施对用户可见。我们作出了错误权衡,也为没有拿捏好平衡而道歉。”
Anthropic本周早些时候发布Claude Fable5。作为最新模型,Claude Fable5加入了额外护栏,用于防止滥用。用户如果询问网络安全(885459)、生物学或化学问题,系统会把请求转交给能力较弱的AI模型,以降低先进AI被用于网络攻击或生物武器制造的风险。
但面对使用Claude Fable5从事前沿AI开发的研究人员,Anthropic原本准备采用另一套更隐蔽的做法:在用户不知情的情况下,故意降低模型表现。换言之,研究人员如果试图用Claude训练竞争性AI模型,Claude Fable5可能会暗中“拖后腿”。
据IT之家了解,Anthropic的服务条款明确禁止使用Claude训练竞争性AI模型。
官方最新给出的措施是,Claude Fable5面向AI开发的安全防护措施会改为对用户可见。如果Anthropic怀疑用户试图使用Claude构建高能力AI,Anthropic会明确提醒用户系统将拒绝请求,或将用户转到能力较弱的模型。
Anthropic是在AI研究社区强烈反对后撤回该政策的。据IT之家了解,此前,其已限制竞争对手使用Claude构建闭源和开源AI模型,但批评者认为,面向特定用户悄悄降低模型性能已经越过界线。
当前,Claude智能体已经成为许多开发者喜爱的工具,开源AI研究项目也在使用Claude。多名研究人员告诉《连线》,如果Anthropic最新政策落地,先进AI研究未来可能被少数头部AI实验室垄断。
