本地跑大模型真没那么玄乎：我的Ollama小模型工作流，白嫖还快

先说结论：门槛比你想象的低

前两天一个做后端的朋友问我，说看网上天天吹本地跑大模型，自己也想试试，但又怕配置不够、折腾半天装不起来。我跟他讲，真没你想的那么玄乎。我自己那台 3060 12G 的机器，从零开始到能正常用，前后不到半小时。

现在跑本地模型，说白了就是四层东西：模型服务、编辑器接入、工具链、模型本身。每一层都有现成的轮子，你要做的只是把它们拼起来。这篇文章就按这个顺序聊聊我实际用下来的感受。

第一层：模型服务，Ollama 基本是无脑选

这层是地基，负责把模型跑起来、给你一个接口。我试了一圈，最后还是老老实实用 Ollama。为什么？装完就是一个后台服务，显存它自己管，接口是标准的 REST API，上层工具基本都认识它，零配置。

我一开始也折腾过 LM Studio，图形界面确实好看，能像逛商店一样翻 Hugging Face 上的模型，一边下一边对比。但问题是它太"重"了，不适合当后台服务常驻。如果你就想先看看效果、对比几个模型再决定买哪个，LM Studio 挺合适；但要是想长期用，Ollama 省心得多。

至于 llama.cpp 和 vLLM，这俩是给进阶玩家准备的。llama.cpp 其实是 Ollama 底下的引擎，直接用它你能精确控制量化格式、编译目标，甚至纯 CPU 跑；vLLM 则是面向高并发的 GPU 推理服务，团队给整个部门提供模型服务才用得上。个人开发者，说实话，暂时不用碰。

第二层：编辑器接入，Cline 是灵魂

模型跑起来只是第一步，真正让它干活的是接入你写代码的地方。我强烈推荐 Cline，VS Code 里直接装，它不是那种自动补全的小助手，而是真·智能体：你给它描述一个任务，它会自己规划、改文件、跑命令。

我最喜欢它那个 Plan/Act 分离的设计——动手之前先把方案摆给你看，你点头它才执行。这点太重要了，至少不会被它自作主张改坏东西。它还有 500 多万的 VS Code 安装量，GitHub 上 6 万多星，社区活跃度不用担心。配合 MCP 协议，它还能直接调数据库、调外部 API，整个工作流就活起来了。

第三层：模型怎么选，1B 到 14B 的学问

本地模型一般指 1B 到 14B 参数的开源模型，这个区间在 8-24G 显存的消费级显卡上跑得动，苹果芯片的统一内存也能玩。我的经验是：日常补全、写写脚本、总结文档，7B-8B 的模型性价比最高；14B 的会更聪明一点，但速度明显下来；1B-3B 那种小模型，适合塞进终端当快捷助手，胜在秒回。

说个真实感受：刚开始我贪心，直接上 14B，结果生成速度感人，等得我怀疑人生。换回 8B 量化版之后，速度翻倍，日常任务完全够用。别迷信参数越大越好，够用才是真的。

最后说两句

本地跑模型的乐趣在于：数据不出门、不花钱、断网也能用，还能随便折腾。当然它也有短板，比如能力上限确实比不过云端大模型，但作为日常生产力工具，它给我的回报远超预期。如果你也想试试，从 Ollama 加一个 8B 模型开始，半小时你就能感受到"白嫖"的快乐。