据通义千问Qwen官微消息,阿里发布了下一代基础模型架构Qwen3-Next,并开源了基于该架构的Qwen3-Next-80B-A3B系列模型。
据介绍,该结构相比Qwen3的MoE模型结构,进行了以下核心改进:混合注意力机制、高稀疏度MoE结构、一系列训练稳定友好的优化,以及提升推理效率的多token预测机制。Qwen3-Next-80B-A3B-Base模型拥有800亿参数,激活参数仅30亿,实现了与Qwen3-32B dense模型相近甚至略好的性能,而训练成本仅为Qwen3-32B的十分之一不到。
举报 第一财经广告合作,请点击这里此内容为第一财经原创,著作权归第一财经所有。未经第一财经书面授权,不得以任何方式加以使用,包括转载、摘编、复制或建立镜像。第一财经保留追究侵权者法律责任的权利。如需获得授权请联系第一财经版权部:banquan@yicai.com 相关阅读支持文生图、图像编辑及多图参考等功能。
89 09-09 12:20xAI推出智能代码生成模型Grok Code Fast 1,限时免费开放……
96 08-29 20:50钉钉推出下一代AI办公应用形态钉钉ONE;腾讯会议上线“AI纪要”功能。
85 08-25 20:41如何做好AI时代的钉钉是无招目前的最大挑战。
202 08-25 19:18但AI生成还有不少进步空间
6 483 08-21 20:17 一财最热 点击关闭兴旺优配提示:文章来自网络,不代表本站观点。