腾讯Hy3开源大模型实测:295B参数跑起来是什么体验
技术笔记 3 次阅读

腾讯Hy3开源大模型实测:295B参数跑起来是什么体验

腾讯Hy3开源大模型实测:295B参数跑起来是什么体验

上周腾讯突然把Hy3开源了,Apache 2.0协议,295B参数的大模型说放就放。我第一时间拖下来跑了一周,说说真实感受。

先说结论:这模型真能打。

不是那种"开源但跑不动"的类型

Hy3是个MoE架构,295B总参数但实际激活只有21B。什么意思呢?就是你不需要买一堆昂贵的显卡才能跑。vLLM第一时间就支持了,装上就能用。

我拿4090试了一下,虽然不能本地全量跑,但量化之后完全够日常用。跟之前跑的GLM-5.2比,Hy3在代码生成和工具调用上明显更稳定。同样的Prompt,Hy3给出的函数调用基本不用改,GLM-5.2有时候会自己发明不存在的API。

真正让我意外的是推理速度

腾讯把生产环境的优化都开源了,包括负载均衡的decode调度和FP8 MoE服务内核。实测下来,混合长度decode场景下比默认后端快了将近3倍,首Token延迟降了24%。

不是那种实验室数据。我跑了三天的实际工作负载,尤其是多轮对话场景,感受非常明显。之前用其他模型,对话到第五六轮就开始变慢,Hy3几乎没有感知上的衰减。

比较一下现在的开源格局

今年开源大模型确实卷起来了。GLM-5.2、Hy3、Nemotron-3、Command A+,一个接一个往外放。但说实话,GLM-5.2虽然在通用任务上很强,写文章、做翻译都行,但一到需要稳定调用外部工具的Agent场景,Hy3明显更靠谱。

有个细节:Hy3的tool-calling parser和reasoning parser从发布第一天就在vLLM里原生支持了,不用额外配置。这种"开箱即用"的态度,对开发者来说真的很加分。

说点不太好的

也不是没有槽点。文档写得还是有点简略,官方Readme里只有基本的启动示例,遇到高级配置得自己去翻issues。还有就是中文训练数据量感觉还可以继续优化,某些涉及中国特色的长尾问题时,回答质量会往下掉。

但总体而言,Hy3的开源是一个好信号。说明国内大厂是真的在认真做技术,而不是只发PR稿。

如果你也在选开源模型做Agent开发,Hy3值得下一份,至少在工具调用这个维度上,它目前是国内开源模型里的天花板。

分享

评论 (0)

评论通过后显示

暂无评论,来写第一条吧 ✍️