如何衡量团队 AI 采用率:席位不等于使用

衡量团队的 AI 采用,不要数席位,要看行为:把活跃用户和买来的许可证对比,连续几周观察留存和使用强度,再配上一个你在上线前就定好的任务级指标。前三项 Copilot 和 ChatGPT 的自带仪表盘都给得出。采用,不等于效果。

当你把一个工具推广给团队之后,紧接着的问题就来了:到底有没有人真在用?大多数团队给出的都是错的数字——他们报告买了多少席位,或上线那周有多少人登录过,然后把这叫做"采用"。这两个都只是把采购伪装成了进展。工具是最容易的部分;工作到底变了没有,才值得衡量——而你早已在付费的那些平台,只要你问对问题,它们会告诉你答案。

采用的阶梯

把采用想成一条阶梯,而不是一个勾选框。每一级都比下一级更难、更诚实:

  1. 席位——你分配了多少许可证。这是成本,不是信号。
  2. 活跃用户——在某个时间窗口内真正用了这个工具的人数。席位和活跃用户之间的差距,才是你真正的分数。
  3. 留存与强度——不是有人试了一次,而是他们会不会一直回来、用得有多重。
  4. 一个任务级结果——你原本指望变快或变好的那件真实工作,对照一个你在上线前就定好的基线来衡量。

仪表盘直接给你第 2、3 级。第 4 级要你自己定义。第 1 级是大多数报告停下的地方——别停在那。

微软 Copilot:先看使用报告,再看仪表盘

对于 Microsoft 365 Copilot,诚实的数字就在管理中心。微软的 Copilot 使用报告把人群拆成 Enabled Users(持有许可证的人数)、Active Users(真正在某个应用里用过 Copilot 功能的人数),以及 active-users rate / 活跃用户率(活跃 ÷ 已启用),可按 7、30、90 或 180 天的窗口查看,某一天的数据约在 72 小时内出现。这个比率——而不是席位数——才是该写进月度汇报的数字。

要看使用有没有粘住,用了 Viva Insights 的团队可以看 Copilot Dashboard,它的采用视图加入了使用强度和留存:人们用 Copilot 的频率、重度使用的头部群组对比、以及使用是否逐周复现。盯住留存曲线,而不是上线那周的尖峰。注意微软把价值放在了单独的 Impact 标签页——这是个刻意的信号:使用和效果是两种不同的衡量,而这正是下一节的要点。

ChatGPT 企业版:工作区分析,而不是个人提示词

如果团队跑在 ChatGPT 上,OpenAI 的 ChatGPT 企业版和教育版工作区分析从另一家厂商覆盖了同一条阶梯。概览页展示采用趋势——独立活跃用户与消息量——而 Benchmarks 部分会把你的激活率、每个已激活用户的周活跃数、以及每个周活跃用户的消息数,与一个行业中位数对比,这样你就能分清"没人用所以冷清"和"这本来就正常所以冷清"。一个任务类型视图把对话分门别类,让你看到工具实际在做哪一类工作。

有一个细节比这些指标更重要:OpenAI 自己的文档写明,该仪表盘提供的是工作区层面的洞察,不会暴露个人的提示词、对话或用户级活动。这是正确的默认,也是你无论衡量哪种工具都该保持的姿态。采用衡量是关于团队的管理问题,不是对每个人的监控流——一旦人们相信自己的提示词正在被人读,诚实的使用就停止了。

仪表盘给不了你的那个数字

活跃用户率和留存告诉你人们在用这个工具,却没告诉你工作变好了。那是第 4 级,没有哪个平台能替你定义,因为它取决于那件工作。上线前,挑一件具体、重复的任务和它的一个度量——写周报的分钟数、追上一条错过的消息串要多久、午饭前清掉的首轮工单数——记下它今天的样子。上线后,再对比。

别拿产出量当度量。发了更多邮件、生成了更多摘要,是最容易拉出来、也最不可信的数字之一:一旦 AI 接手了接收、分拣和初稿,一份"报告"或一张"工单"就不再承载固定的工作量,于是数量变多可能掩盖了质量下滑,而不是揭示收益。把度量绑在你真正想要的结果上——更快、更清楚、或更多有价值的工作——而不是活动量。

并且把这三级分清楚。采用(人们在用)不等于效果(工作变好了)不等于 ROI(这份变好值不值回那张账单)。仪表盘衡量采用;你的任务级指标衡量效果;把它换算成一个金额又是第三件事,就是如何衡量 AI agent 的 ROI 里讲的那件。一次推广可以活跃用户率上升却仍过不了 ROI 这关——这正是你要同时量这三件、而不是停在席位的原因。

这套纪律和本站每一个搭建背后的一样,包括 Issue #001:检验一个 Gmail 分拣 agent 的标准从来不是"它跑没跑",而是"收件箱是不是真的更好处理了"。还不清楚这些工具是怎么拼在一起的?agent 基础入门从零讲起。

FAQ

怎么判断 AI 到底有没有在帮团队? 量三件事,而不是一件。第一,采用:平台仪表盘里的活跃用户率(活跃 ÷ 已启用席位)——Microsoft 365 Copilot 使用报告或 ChatGPT 企业版工作区分析。第二,留存——人们会不会一直回来,而不只是上线那周登录。第三,一个你在上线前就定好基线的任务级结果。如果采用在涨、那件任务明显变轻松,AI 就在帮忙;如果席位满了但比率平着,你有的是一张许可证账单,不是采用。

采用和效果有什么区别? 采用是指人们在用这个工具;效果是指工作变好了。它们量法不同:采用来自使用仪表盘(活跃用户、留存),效果来自你自己定义的任务级指标——比如某件具名工作省下的分钟数。一个团队可能采用很高但效果很小(大家都拿它查八卦),也可能反过来。只量一个,就会盖住另一个。

衡量 AI 采用,哪些指标真正重要? 按顺序是活跃用户率和留存,优先于使用强度——它们能戳破"我们买了席位"的错觉。微软的 Copilot 报告给出 Enabled Users、Active Users 和活跃用户率;它的 Viva Insights Copilot Dashboard 补上留存和强度。OpenAI 的工作区分析再加上对标行业中位数的比率。避开登录总数、产出数量这类虚荣指标。

我能看到员工个人在问什么吗? 一般不该看,好的仪表盘也是这么设计的:OpenAI 写明其工作区分析给的是工作区层面的洞察,不暴露个人的提示词、对话或用户级活动。把采用衡量当成团队层面的管理问题,而不是对个人的监控——人们一旦觉得被盯着,诚实的使用就停了,你的数字只会更难看,而不是更好看。

多久之后采用数字才有意义? 以周计,不是以天计。上线那周的尖峰说的是好奇,不是习惯;留存——连续几周的复现使用——才区分出一个粘住了的工具和一个被试过就丢掉的工具。上线前定好基线,每月看活跃用户率和留存,别凭第一周的曲线就宣布成功或失败。


诚实地衡量采用,和本站每个搭建是同一个动作:从一件真实的工作出发,改变它的做法,再看真正动了什么——而不是你花了多少。想每周收到一个真实、有记录的 AI agent 搭建,还附上诚实的数字?免费订阅,每周送到你的收件箱。