50美元、26分钟!AI模型训练大突破

2025-02-07 09:16:09
分享

近日,DeepSeek通过显著降低AI大模型的训练和推理成本,引起了市场的广泛关注。就在市场各方蜂拥追捧DeepSeek之际,有一个训练成本更低的模型似乎正在浮出水面。

2月6日,记者综合外媒报道和李飞飞等学者论文获悉,斯坦福大学和华盛顿大学的人工智能研究人员仅使用了16张英伟达H100 GPU和26分钟就训练出了一个AI推理模型,其云计算费用成本还不到50美元。

公开信息显示,这个名为s1的模型在数学和编码能力的测试中表现与 OpenAI的o1和DeepSeek的R1等尖端推理模型相近。目前,s1模型以及用于训练它的数据和代码已在GitHub上发布。

s1的研发团队表示,他们从一个现成的基础模型开始,通过蒸馏(distillation)对其进行微调,即通过学习别的AI模型的回答来获取其逻辑推理能力。

论文显示,推理模型可以通过相对较小的数据集和一种叫做监督微调(SFT)的过程进行蒸馏。在这一过程中,模型被要求模仿数据集中的某些行为。

而SFT往往比DeepSeek用于训练R1模型的大规模强化学习方法更便宜。参与该项目的斯坦福大学研究员Niklas Muennighoff表示,如今,只要约20美元就能租到所需的计算资源。

s1模型项目中的李飞飞在业内被称为“AI教母”(godmother of AI),是斯坦福大学计算机科学系首任红杉讲席教授,曾于2013年至2018年担任斯坦福大学人工智能实验室主任。李飞飞还曾在2017年1月至2018年9月担任谷歌副总裁兼谷歌云人工智能、机器学习首席科学家。

据悉,李飞飞在2024年创立了World Labs公司,融资金额达2.3亿美元。该公司是一家空间智能AI公司,致力于构建能够感知、生成和与3D世界交互的大世界模型(LWM)。其目标是将AI模型从2D像素平面提升到完整的 3D虚拟和现实世界,赋予AI与人类一样丰富的空间智力。World Labs的估值已超过10亿美元,并预计将在2025年推出首批产品,或将应用于机器人、游戏等行业。

免责声明:风险提示:本文内容仅供参考,不代表同花顺观点。同花顺各类信息服务基于人工智能算法,如有出入请以证监会指定上市公司信息披露平台为准。如有投资者据此操作,风险自担,同花顺对此不承担任何责任。
homeBack返回首页
不良信息举报与个人信息保护咨询专线:10100571违法和不良信息涉企侵权举报涉算法推荐举报专区涉青少年不良信息举报专区

浙江同花顺互联信息技术有限公司版权所有

网站备案号:浙ICP备18032105号
证券投资咨询服务提供:浙江同花顺云软件有限公司 (中国证监会核发证书编号:ZX0050)
AIME
举报举报
反馈反馈