8G显存也能本地跑大模型？我把几种量化方案都试了一遍

先说结论：能跑，但别指望太多

我的显卡是块老掉牙的 8G 显存卡，之前一直觉得本地跑大模型是 24G 显存用户的特权。直到上个月把公司一台闲置机器拿来折腾，才发现 8G 其实也能玩，只是得学会跟显存"讨价还价"。

折腾下来我最常用的就三样：Ollama 图省事，llama.cpp 图可控，实在要并发就上 vLLM。模型统一选 7B 到 8B 这个档位，再往上 14B 的 Q4 量化勉强塞得进去，但生成速度直接掉到没法用的程度。

量化才是关键，别嫌名字难听

同样一个模型，FP16 要 16G 显存，Q8 压到 8G 出头，Q4_K_M 只要 5G 左右。我第一次跑 7B 模型用的就是 Q4_K_M，占用 4.7G，剩下来的显存刚好够上下文窗口开到 4096。说实话，日常问答、写文案、改代码这种活，Q4 和原版的差距我基本感觉不出来。

真正让我意外的是 GGUF 格式的兼容性。以前总觉得 GGUF 是"低配专用"，后来发现 llama.cpp 团队一直在优化推理内核，现在 CPU 也能跑得有模有样。我拿一台只有 16G 内存的旧笔记本试了试 3B 小模型，速度居然有 12 tokens/s，拿来当离线翻译完全够用。

几个踩过的坑，写下来免得你重复交学费

第一个坑是上下文窗口。默认 2048 的窗口看着够用，真塞进一篇长文档就爆，爆了之后模型就开始胡言乱语，答非所问。第二个坑是别迷信"越大越好"，8G 显存硬上 14B 模型，生成速度慢到 3 tokens/s，等它说完一句话我都能泡完一杯咖啡。第三个坑最隐蔽：同样的量化等级，不同工具加载出来的效果差挺多，我后来固定用 llama.cpp 的量化版本，稳定性明显好一截。

还有个有意思的发现：把模型放在 NVMe 固态上，冷启动加载时间能从 40 秒缩到 12 秒。别小看这半分钟，天天用的话体验差很多。

折腾完的实话

本地跑大模型最大的好处不是省钱，是自由。断网能用、数据不出门、想怎么改参数都行。当然缺点也明显，跟云端那些几百 B 的怪物比，能力差距摆在那。

如果你手里正好有张 8G 显存的卡，别让它吃灰了。从 Ollama 拉一个 Q4 量化的 7B 模型开始，半小时就能跑起来。折腾的过程本身，就挺有意思的。