给每个 AI 请求装个红绿灯：NVIDIA 开源的 Switchyard，我上手试了试

先说我为什么盯上它

上个月我瞄了眼后台的 API 账单，差点没把咖啡喷屏幕上——公司那个 AI 客服机器人，光调大模型的费用，就够买两台新手机了。问题出在哪？所有请求一股脑塞给最贵最强的模型，连"帮忙把这段文字分个类"这种小活儿，也是杀鸡用牛刀。

后来同事甩给我一个 NVIDIA 刚开源的玩意儿：Switchyard，名字挺形象，铁路转辙场，专门给 AI 请求分流的。说白了，它在你和应用之间加了一层路由，由它决定每个请求该找便宜模型还是贵模型。

它到底干了件什么事

以前咱们写 LLM 应用，代码里写死调 GPT-4o，就全调 GPT-4o；写死调 Claude，就全调 Claude。但真实业务里，模型要干的活差别大了去了：抽关键词、意图分类、简单问答，这些根本用不上旗舰模型；真正难的推理、写代码、长上下文分析，才值得动用大家伙。

Switchyard 的思路，就是把这层"选模型"的逻辑从代码里拎出来，做成一个独立代理层。应用该怎么发请求还怎么发，它背后帮你判断该转发给谁，接口还是 OpenAI 兼容的那套，代码一行不用改。

上手真没那么玄乎

安装走 uv 一条命令：uv tool install "nemo-switchyard[cli,server]"。装完敲 switchyard --version，能蹦出 0.2.0 就成了。喜欢折腾的也能直接用 Rust 版服务端，cargo install --locked switchyard-server 同样搞定。

配置是 YAML 文件。最基础的玩法叫随机路由，适合做 A/B 测试：配一个强模型一个弱模型，再给个 strong_probability: 0.3，意思就是三成请求走强的、七成走弱的，还带个兜底参数，强模型抽风了自动降级。启动服务一条命令，curl 一下 /health 返回 {"status":"ok"} 就能开工。

不过随机路由只是开胃菜，真正值钱的是分类器路由。它会先派一个便宜的判断模型去估：这个请求，弱模型搞不搞得定？估出来一个叫 p_solve 的分数，超过阈值就放行给便宜模型，没把握就升级给强模型。相当于每个请求进门先过安检，简单的放行，复杂的送贵宾通道。

省下来的都是真金白银

官方教程里有组直观对比：同一个请求，走 gpt-4o 和走 gpt-4o-mini，成本能差出十几倍。我照着教程搭了个双模型路由试了试，简单问答基本都被分流到 mini 上，响应还快了一截——贵模型那种慢吞吞的"深度思考"时间全省了。

当然它也不是万能药：判断模型本身要花钱要耗时间，要是你们家业务全是硬核推理题，这层路由反而添乱。但像我们这种客服、导购、内容打标的场景，七成请求都是轻量级，那它就是实打实的省钱利器。

老实说，现在做 AI 应用拼的就是成本结构，谁能把每一分 token 钱花在刀刃上，谁就能把毛利做出来。NVIDIA 这波开源，等于把"智能路由"从大厂内部基建变成了人人能装的小工具，反正我先收藏了，改天给自家机器人也安排上。