豆包大模型出手，推理成本最高可降低83%！概念股“闻风”集体大涨

21世纪经济报道

2月12日，豆包概念股午后大幅走强，创业板汉得信息（300170.SZ）拉升封板，润欣科技（300493.SZ）、移远通信（603236.SH）等纷纷大幅冲高。

数据显示，抖音豆包指数（8841129.WI）今日大涨1.43%，板块内约8只个股涨超5%。

消息方面，据“豆包大模型团队”微信公众号，字节跳动豆包大模型Foundation团队近期提出UltraMem，该架构有效解决了MoE推理时高额的访存问题，推理速度较MoE架构提升2—6倍，推理成本最高可降低83%。

据了解，随着模型规模的扩大，推理成本和访存效率已成为限制大模型规模应用的关键瓶颈。在Transformer架构下，模型的性能与其参数数量和计算复杂度呈对数关系。随着LLM规模不断增大，推理成本会急剧增加，速度变慢。

为此，字节跳动豆包大模型Foundation团队提出UltraMem，一种同样将计算和参数解耦的稀疏模型架构，在保证模型效果的前提下解决了推理的访存问题。

目前，这项创新成果已被机器学习和AI领域的顶级会议ICLR 2025接收，为解决大模型推理效率和扩展能力问题提供了全新思路。

公开资料显示，字节跳动豆包大模型团队成立于2023年，致力于开发先进的AI大模型技术，成为世界一流研究团队，为科技和社会发展作出贡献。团队研究方向涵盖深度学习、强化学习、LLM、语音、视觉、AInfra等，在中国、新加坡、美国等地设有实验室和岗位。

本文转载上述内容出于传递更多信息之目的，不代表同花顺财经观点。同花顺力求但不保证数据的完全准确，如有错漏请以证监会指定上市公司信息披露平台为准，各类信息服务基于人工智能算法，投资者据此操作，风险自担。