首页 - 港股 - 公司报道 - 正文

姚顺雨携混元团队在线答疑:腾讯旗舰大模型是怎样炼成的?

(原标题:姚顺雨携混元团队在线答疑:腾讯旗舰大模型是怎样炼成的?)

11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨与混元团队研究员出现在海外社区Reddit,进行了一场持续两小时的AMA(Ask Me Anything,有问必答)公开问答活动。

这是混元团队首次在开发者社区直面全球用户的密集提问,两小时内相关问答页面共收到300多条留言,话题从技术选择、下一代模型方向延伸至AGI(通用人工智能)等。

此次交流发生在混元连续发布Hy4和Hy4 flash后,距离今年2月腾讯完成混元团队与基础设施重建已近9个月。在此期间,混元保持约每两个月迭代一次大版本的节奏,最新于11月4日推出Hy4正式版,该模型采用MoE架构,总参数量达770B(激活参数49B),并首次引入视觉理解与电脑操作能力,混元团队将其定位为目前最强开源模型之一。

AI大模型全球竞逐仍在持续,竞争日趋激烈,前沿AI实验室对于SOTA(表现最优)的争夺从未停歇,“王权并非永恒”。这场少见的公开互动,让外界得以一窥混元团队鲜为人知的技术取舍和混元模型的发展思路,以及对AI发展的一些务实思考。

被问及Hy研发中最艰难的时刻,有混元团队研究员提到了Hy3向Hy4跨越的节点。一名混元团队成员回忆,从Hy3扩大到Hy4规模时,他原本希望针对训练数据多做一些详细的消融实验。正式开训时,仍有不少不确定性,他坦言自己当时相当紧张。

“说实话,训练刚开始时,我相当紧张。”这名混元研究员回忆,训练最终进行得出乎意料地顺利,“感觉就像把筹码全押上,结果真的赢了”。

这种探寻未知的紧张的心态,同样体现在对参数规模的判断上。当Kimi等同行将目光投向3万亿乃至5万亿参数的超大规模模型时,仍停留在700B量级的Hy引来了外部疑问:为什么Hy模型的参数还这么小?

这一疑问并非空穴来风。Kimi K3之所以产生巨大影响,很大程度上正是因为它引领开源模型迈入“3T”参数规模的新时代,其能力表现再次印证了Scaling Law(规模定律)的有效性——模型参数越大,能力越全面,对数据的表达颗粒度也越细,从而抬高智能上限。

因此,有提问者追问,混元如何看待参数规模对模型能力的影响。对此,混元团队回应称,Hy3和Hy4的经验表明,训练扎实的较小模型也有可能超过更大的模型,且运行成本更低。

他们解释,规模定律依然存在,明确表示下一代Hy模型的规模一定会进一步显著扩大,同时认为Hy4在后训练和大规模强化学习上仍有很大的提升空间。

混元团队还提及,团队在确定Hy4的架构时,曾在GQA(分组查询注意力)和MLA(多头潜在注意力)两种注意力机制之间反复权衡。在KV缓存占用相同的情况下,采用MLA的模型表现更好,但MLA对算力的要求更高,使用推测解码时,GPU的计算能力会成为瓶颈。团队随后引入DSA(DeepSeek Sparse Attention,DeepSeek稀疏注意力),降低了MLA在解码阶段的算力需求,最终决定采用MLA。

混元团队还在问答中确认,更小尺寸的Hy4-mini已列入研发路线图,并计划推出更轻量的Flash-Lite,不过两款模型的具体参数与发布时间暂未公布。此外,有提问者提议推出240亿至310亿参数的稠密模型,团队表示仍在评估中。

混元也在考虑开发更小的图像模型。有提问者指出,现有的HunyuanImage-3.0对多数本地设备而言过大,希望推出更易于在个人设备上运行的版本。对此,混元团队回应称正在考虑这一方向。谈及小模型的能力边界时,一名混元团队研究员表示,激活参数约30亿的模型已可支持对图片、界面截图与图表的理解,并据此进行推理。

本地部署是另一项受到关注的问题。有提问者询问,配备96GB显存和128GB内存的设备能否运行Hy4 flash。混元团队表示,这套配置可以支持运行,主要权重可置于显存中,部分专家层与Engram模块则可卸载至系统内存,以降低显存占用。团队还透露,Hy4与Hy4 flash均面向通用任务,目前已可在OpenCode、Claude Code和Cline等编程工具中直接使用。

对于时下热炒的模型RSI(递归自我改进),若让Hy4自主运行,它目前能否通过这一路径发展出下一代模型?对此,混元团队回应称,其RSI能力仍处于早期阶段,虽已开发若干内部基准用于评估相关关键能力,但当前优先任务仍是打牢基础、提升模型智能,并与产品紧密协作以优化用户体验。

APP下载
广告
下载证券之星
郑重声明:以上内容与证券之星立场无关。证券之星发布此内容的目的在于传播更多信息,证券之星对其观点、判断保持中立,不保证该内容(包括但不限于文字、数据及图表)全部或者部分内容的准确性、真实性、完整性、有效性、及时性、原创性等。相关内容不对各位读者构成任何投资建议,据此操作,风险自担。股市有风险,投资需谨慎。如对该内容存在异议,或发现违法及不良信息,请发送邮件至jubao@stockstar.com,我们将安排核实处理。如该文标记为算法生成,算法公示请见 网信算备310104345710301240019号。
网站导航 | 公司简介 | 法律声明 | 诚聘英才 | 征稿启事 | 联系我们 | 广告服务 | 举报专区
欢迎访问证券之星!请点此与我们联系 版权所有: Copyright © 1996-年