同花顺 Logo
AIME助手
问财助手
豆包大模型出手,推理成本最高可降低83%!概念股“闻风”集体大涨
2025-02-12 16:08:18
分享
文章提及标的
豆包概念--
汉得信息--
润欣科技--
移远通信--

2月12日,豆包概念(885890)股午后大幅走强,创业板汉得信息(300170)300170.SZ)拉升封板,润欣科技(300493)300493.SZ)、移远通信(603236)603236.SH)等纷纷大幅冲高。

数据显示,抖音豆包指数(8841129.WI)今日大涨1.43%,板块内约8只个股涨超5%。

消息方面,据“豆包大模型团队”微信公众号,字节跳动豆包大模型Foundation团队近期提出UltraMem,该架构有效解决了MoE推理时高额的访存问题,推理速度较MoE架构提升2—6倍,推理成本最高可降低83%。

据了解,随着模型规模的扩大,推理成本和访存效率已成为限制大模型规模应用的关键瓶颈。在Transformer架构下,模型的性能与其参数数量和计算复杂度呈对数关系。随着LLM规模不断增大,推理成本会急剧增加,速度变慢。

为此,字节跳动豆包大模型Foundation团队提出UltraMem,一种同样将计算和参数解耦的稀疏模型架构,在保证模型效果的前提下解决了推理的访存问题。

目前,这项创新成果已被机器学习和AI领域的顶级会议ICLR 2025接收,为解决大模型推理效率和扩展能力问题提供了全新思路。

公开资料显示,字节跳动豆包大模型团队成立于2023年,致力于开发先进的AI大模型技术,成为世界一流研究团队,为科技和社会发展作出贡献。团队研究方向涵盖深度学习、强化学习、LLM、语音、视觉、AInfra等,在中国、新加坡、美国等地设有实验室和岗位。

免责声明:风险提示:本文内容仅供参考,不代表同花顺观点。同花顺各类信息服务基于人工智能算法,如有出入请以证监会指定上市公司信息披露平台为准。如有投资者据此操作,风险自担,同花顺对此不承担任何责任。
homeBack返回首页
不良信息举报与个人信息保护咨询专线:10100571涉企侵权举报

浙江同花顺互联信息技术有限公司版权所有

网站备案号:浙ICP备18032105号
证券投资咨询服务提供:浙江同花顺云软件有限公司 (中国证监会核发证书编号:ZX0050)
AIME
举报举报
反馈反馈