GLM-5.2 开源模型跑了一周,我决定把主力模型换了
技术笔记 9 次阅读

GLM-5.2 开源模型跑了一周,我决定把主力模型换了

GLM-5.2 来了,这次是真的能打

上周看到GLM-5.2开源的消息,我还在想,又是国产大模型的一个版本,换汤不换药吧。结果在4090上跑了一周之后,我直接退掉了Claude的订阅。

说实话,这个模型的变化比我预想的大太多了。

先说部署。200多G的权重文件下了大半天,这个没办法省。但部署流程比我之前折腾GLM-5的时候顺畅不少,官方文档写得比以前清楚多了,vLLM和TGI的兼容性都很好,我直接用docker-compose就起来了,没翻车。

我用的是单卡4090,量化后显存占用大概20G,刚好塞得下。首token延迟400ms上下,对200多B的模型来说,这个速度我觉得能接受了。你要是有两张卡,效果肯定更好。

代码能力是真的有进步

我拿它写了个Python脚本处理日志,以前用GLM-5的时候,生成的代码经常要手动修好几处。但这次一次就写对了,连正则都没翻车。讲道理,这点是真的让我意外。

文章润色也试了好几次。丢一篇技术博客让它改,生成的结果口语化程度很自然,没有那种硬邦邦的翻译腔。跟GPT-4o比,在中文表达上甚至更地道——这一点我没想到。

还有一个细节,指令跟随能力提升很明显。让它按特定格式输出JSON,基本不出格式错误。以前的模型经常丢字段或者多出奇怪的字符,搞得我每次都要手动校验一遍。

跟其他开源模型比呢

同批开源的还有poolside的Laguna-M.1,Apache 2.0许可。代码能力不错,但中文理解上明显不如GLM-5.2。Zyphra的ZAYA1-74B也挺有意思,MoE架构,推理快,但74B跟200多B的GLM还是有差距的,复杂推理能感觉到差别。

综合看下来,GLM-5.2是目前中文场景下最好的开源模型之一,这个判断我不心虚。

一点想法

国产开源大模型走到这一步,是真的有点东西了。以前说国产模型落后,我服气。但这次,哪怕是跟最新的闭源模型比,也不虚。

你要是有张24G以上的显卡,真的建议试试。部署不麻烦,用起来是真的爽。

分享

评论 (0)

评论通过后显示

暂无评论,来写第一条吧 ✍️