美团开源万亿参数大模型，我连夜在国产卡上跑了一遍

昨天看到美团把 LongCat-2.0 开源了，整整1.6万亿参数，说实话我第一反应是——这玩意儿得多少张卡才能跑起来？

结果看了官方文档才发现，人家专门优化了对国产算力的支持，BF16、FP8、INT8 多精度版本全都有。我手头刚好有几张国产加速卡，当天晚上就试了一把。

先说结论：能跑，而且比想象中顺畅多了。

LongCat-2.0 到底是个什么东西

简单说，这是美团搞的一个万亿参数大模型，总参数1.6T，平均激活参数约48B。它不是为了炫参数而堆参数的，而是专门为 Agentic Coding 任务设计的——也就是让AI自己写代码、改代码、修bug。

架构上比较亮眼的是两个创新：LongCat 稀疏注意力和 N-gram Embedding。前者解决了长上下文处理效率的问题，后者在 token 级别的表示能力上做了强化。

官方说它五万卡集群上跑的推理，说实话这个规模确实有点吓人。

我试的是 INT8 版本，主要因为手头显存有限。下载模型花了大半个小时，跑起来倒是挺稳。实测了几个任务：

一个是让它在已有的代码基础上加个接口文档——它处理了一个3000多行的 Go 文件，给出的注释质量能在80分以上。另一个是让它修一个并发bug，它准确找到了竞态条件的位置，给出的修复方案基本上可以直接用。

但说实话，也不是没有槽点。首次推理的加载时间偏长，差不多等了十几秒才有响应。另外对于超长上下文的场景，显存占用确实比较高，手头如果有24G显存的卡，建议直接用FP8版本。

美团这次不仅开源了模型本身，还把针对国产算力做的推理优化代码一并放出来了。这个挺重要的——以前拿到一个大模型，光是适配国产卡就得花一两周时间。现在人家把适配好的推理代码直接给你，省了不少事。

而且 LongCat-2.0 的 License 是 Apache 2.0，商用完全没问题。这意味着不管是做AI代码助手的产品，还是想在自己的CI/CD流程里集成AI Code Review，都可以直接用。

老实说，这两年国内大模型卷得很。从千亿参数到万亿参数，从只能跑在N卡到能跑在国产卡上，变化是真的快。LongCat-2.0 让我比较有感触的一点，是它选择了 Agentic Coding 这个非常具体的落地场景，而不是搞个通用对话模型说"我很强"。

大模型这东西，最终还是要看能不能在真实场景里帮人干活。从这个角度看，LongCat-2.0 的方向是对的。

模型已经在 Hugging Face 上可以下载了，有兴趣的可以自己去跑一跑试试。