首页 - 港股 - 港股研究 - 正文

腾讯Hy4 flash发布,速度大幅提升,单任务成本仅为Hy4二十分之一

(原标题:腾讯Hy4 flash发布,速度大幅提升,单任务成本仅为Hy4二十分之一)

11月16日,腾讯混元最新语言模型Hy4 flash发布,模型总参数量为224B(其中 64B Engram 参数),激活参数仅为12B,支持多模态和1M上下文长度。Hy4 flash是迄今为止最高性价比的Hy模型:每百万Token输入0.5元、输出2元,命中缓存时仅需0.02元,单任务成本仅为Hy4的二十分之一。

为了达到极致的性价比,同时兼顾智能水平和实用性,混元团队做了以下工作:预训练阶段,Hy4 flash加入混合注意力、LatentMoE(稀疏框架)等特性,使KV cache(键-值缓存)大小仅为Hy4的六分之一;后训练阶段,通过自蒸馏Hy4获得了较强的综合智能水平,再通过强化学习使端到端任务输出长度降低50%;在评估阶段,聚焦日常工作的产物效果、单轮输出长度,而非远离日常工作的榜单分数;在推理阶段,通过极致优化,使Hy4 flash解码速度超过150tps,可大规模低成本部署运营。

Hy4 flash已在腾讯云TokenHub、WorkBuddy、元宝、企业微信、QQ、ima、Marvis等产品上线。11 月 30 日前,用户可在WorkBuddy限时免费使用,腾讯云TokenHub API限时5折使用。

APP下载
广告
下载证券之星
郑重声明:以上内容与证券之星立场无关。证券之星发布此内容的目的在于传播更多信息,证券之星对其观点、判断保持中立,不保证该内容(包括但不限于文字、数据及图表)全部或者部分内容的准确性、真实性、完整性、有效性、及时性、原创性等。相关内容不对各位读者构成任何投资建议,据此操作,风险自担。股市有风险,投资需谨慎。如对该内容存在异议,或发现违法及不良信息,请发送邮件至jubao@stockstar.com,我们将安排核实处理。如该文标记为算法生成,算法公示请见 网信算备310104345710301240019号。
网站导航 | 公司简介 | 法律声明 | 诚聘英才 | 征稿启事 | 联系我们 | 广告服务 | 举报专区
欢迎访问证券之星!请点此与我们联系 版权所有: Copyright © 1996-年