Agent 的每一步并不都需要前沿大模型。它的大多数子任务——给邮件分类、抽取一个字段、路由一个请求、按固定 schema 调一个工具——都是又窄又重复的活儿，而这正好是小语言模型（SLM）的强项。诚实的规则是：把模型对准任务，只在真正难的推理那一步才升级到大模型。
大多数「选哪个模型」的建议默认答案是「你负担得起的最大那个」。对 Agent 来说这是个错误的默认值——它会在小而结构化的任务上一遍遍调用模型。这是如何搭建 AI Agent底下那层选模型的问题，多数指南都用一句「挑个有能力的大模型」糊弄过去了。
什么算「小」模型
没有硬界线。一个好用的工作定义来自 NVIDIA Research 的立场论文 Small Language Models are the Future of Agentic AI（与佐治亚理工合著）：小语言模型是能装进一台普通消费设备、以可用延迟服务单个用户的模型——按 2025 年的量级，常常是几十亿到约 100 亿参数那一档，尽管这条线每年都在往上走。论文的完整论证在 NVIDIA 的项目页上有汇总。
几个你真能下载来跑的例子：
- Microsoft Phi-4——一个 140 亿参数、专为推理打造的开放权重模型，Phi 系列里还有面向笔记本和手机的更小变体。
- Hugging Face SmolLM——能在浏览器里或手机上跑的一个系列，以宽松的 Apache-2.0 许可发布。
- Google Gemma——尺寸做到能在单块 GPU 上跑的开放模型，最小的那些可以在设备端运行。
这些你都能用 Ollama 之类的工具在本地跑起来——这也是「小」和「可自托管」常常结伴出现的原因之一。
为什么小模型适合大多数 Agent 工作
NVIDIA 这篇论文的核心主张直接挑战了那个默认值：「已部署的 Agent 系统里，大多数子任务是重复的、范围狭窄的、非对话式的。在这种情况下，SLM 不仅够用，而且往往更可取。」道理是结构性的——Agent 不是在进行一场开放式对话，而是把同样那几个窄操作重复成千上万次，每个操作都有被严格限定的输入和输出。
用这个视角看一个真实的搭建。Issue #001 的 Gmail 分拣 Agent 绝大多数调用都在做一件事：读一封邮件，把它分进一个桶、标一个优先级。这就是按固定 schema 做分类——正是论文描述的那个典型场景。小模型做得更快、更便宜；而因为任务很窄，前沿大模型多出来的那份能力在这里也加不了多少分。
回报是成本和延迟。论文把 SLM 形容为对 Agent 工作里那些高频调用「必然更经济」——而成本正是在生产环境里悄悄拖垮 Agent 的那一项，正如成本拆解所示：一个按 token 计费、在循环里被反复调用的模型，才是账单真正的来源。
什么时候前沿大模型仍然值那个成本
小并不是放之四海皆准，同一篇论文对此也说得很清楚。它推荐异构系统——调用不止一个模型的 Agent——用小模型处理常规、范围明确的步骤，把更大的模型留给真正的推理。前沿大模型挣回它身价的地方，是那一步难活：跨许多步的开放式规划、模糊的判断，或者浅答比不答更糟的综合。
这正好对上本站反复发现的「两份活」模式。在 Gmail agent 里，分拣收件箱是小模型独揽的那份又窄又高频的活；而决定一封敏感邮件到底该怎么处理——以及任何不可逆的写操作，比如发出一封回信——是留在人工闸门后面的判断。把更便宜的模型对准走量的活，不等于在那个需要更强脑子的步骤上降低标准。处处选小，只是「处处用前沿大模型」那个错误的镜像——而在模型能力上过度拔高，又是 Agent 在生产环境翻车的另一种方式。
到底怎么选
- 窄步骤默认选小。 分类、抽取、路由、按 schema 调工具——从能在你的测试里通过那一步的最小模型开始。
- 把前沿大模型留给那一步难活。 如果你的 Agent 有一个真正需要规划或判断的时刻，就把那次调用路由到更大的模型。大多数 Agent 只有一两个这样的时刻，不是二十个。
- 按异构来搭。 一个把容易的活发给小模型、把其余升级上去的路由步骤，正是论文推荐的设计——而与厂商无关的框架让混用模型变得简单（见 LangGraph 对比 CrewAI，两者都允许你为每一步设不同的模型）。
- 在你自己的任务上测，别看排行榜。 一个在通用基准上登顶的模型，在你那个具体分类任务上照样可能输。拿你真实的 20–50 个案例把两者都跑一遍再比。
对 Agent 这整件事还陌生？先看 Agent 101。
FAQ
小语言模型能跑 AI Agent 吗，还是我需要前沿大模型？ 对 Agent 的大多数工作来说，小模型就够。NVIDIA Research 主张绝大多数 Agent 子任务是重复的、范围狭窄的，所以小语言模型「不仅够用，而且往往更可取」。实用的设计是异构的：常规步骤用小模型，把前沿大模型留给真正的规划或模糊的判断。
什么算「小」语言模型？ 没有固定的切点。NVIDIA 的论文把 SLM 定义为能装进普通消费设备、以可用延迟服务单个用户的模型——按 2025 年的实践，常常在几十亿到约 100 亿参数那一档。随着小模型越来越强，这条线每年都在往上走。
我该看哪些小模型？ 能下载来跑的开放权重选项包括 Microsoft Phi-4（140 亿参数、偏推理）、Hugging Face SmolLM 系列（小到能在手机或浏览器里跑）和 Google Gemma（尺寸做到能在单块 GPU 上跑）。用 Ollama 之类的工具在本地跑它们。
小模型真的更便宜吗？ 是的，而且这份省会叠加，因为 Agent 会反复调用它的模型。NVIDIA 论文称 SLM 对高频 Agent 调用「必然更经济」。既然单次调用成本才是悄悄推高账单的东西，把走量的步骤换成更小的模型，往往是你手上最大的那根成本杠杆。
什么时候仍然该用前沿大模型？ 用在那些需要真正推理的步骤：跨许多动作的开放式规划、模糊的判断，或者浅答会造成伤害的综合。把那些具体调用路由到更大的模型，并把任何不可逆的操作留在人工闸门后面。目标不是「处处用小」——而是每一步都用对的模型。
有意思的问题从来不是哪个模型最大——而是这份活的每一步到底需要哪个。本系列每周记录职场人真正在跑的搭建方案，连选了哪个模型都写进去。免费订阅，每期直达你的邮箱。