2026 年 9 月 23 日,Fastino 把 GLiNER 家族的分类分支 GLiNER2.5-Decide 挂上了 Hugging Face:一个 3.4 亿参数的编码器模型,专门干生产环境里最常见的那类脏活——意图识别、情感分析、主题分类、工单路由、审核判级、垃圾邮件过滤。这不是通用对话模型,而是「决策专才」:官方明确说明它不推理、不解释、不回答开放问题。
一个模型顶一排分类器
传统做法里,客服意图、紧急度、派发队列是三个独立分类器,或者用提示词驱动一个通用大模型。Decide 把标签集当作调用时传入的参数:同一段文本、同一批候选标签,一次前向出全部结果;单标签任务返回一个字符串,多标签任务返回所有过阈值的标签。模型卡的场景清单覆盖银行转账意图、差旅改签、诊所分诊、评论维度情感、文档类型、工单路由、人工转接判断,直到内容审核与事件严重度评级。
对部署侧最实际的一点:没有提示词模板,没有生成 token。生成式大模型每答一次分类题都要先「想」再「说」,编码器直接输出结构化结果,延迟和成本压在另一个量级。配套库 gliner2 一行 pip 安装,本地推理不需要 GPU,官方定位 CPU 优先、隐私全本地。
340M 对 4B:官方基准的说服力与水分
模型卡公布了 fast-decisions 基准:17 个领域、每域 300 条 held-out 样本,所有模型用相同文本和相同候选标签。GLiNER2.5-Decide 平均 60.2%,高于 GLiNER2 XL(10 亿参数,59.6%)、JevK5(57.6%)、SemIf(基于 Qwen3.5-4B 的生成式,56.4%)、GLiFormer large-v1(49.0%)和 Laya Router(46.6%)。340M 编码器排在 4B 生成式基线前面,这个反差就是核心卖点。
但要说满之前得看清:这张表出自 Fastino 自家数据集,对照模型是否调优到位、标签集设计是否对自家架构有利,都没有第三方复现可核对。自报数字按惯例打折看,「领先」只在表内成立。有意思的是这条赛道正在变挤:Convai 的 Laya Router 同样主打路由与安全检查,46.6% 排在这张表末位。
边界架构与中文支持
GLiNER2.5 用 boundary 架构:稀疏起点-终点配对而非固定宽度 span 网格,编码窗口内任意长度都能表示。GitHub 仓库(fastino-ai/GLiNER2,Apache 2.0,1.8k star)同时维护 span 与 boundary 两套抽取架构,AutoExtractor 按 architecture 字段自动分发。中文用户有加分项:GLiNER2 支持字符级切分器,中文不降级到英文默认切分。方法学有 EMNLP 2025 论文背书。
所以呢
方向很清楚:不是所有 NLP 任务都值得一个大模型。高频、低复杂度、要求延迟的决策,用 340M 专才在 CPU 上跑,比把每次分类发给生成式 API 便宜也更可控。但自建基准永远是厂商自己的尺子——上线前拿自己的标签集跑一遍 held-out,比相信任何 60.2% 都重要。许可证是「other」非标准许可,商用前先读条款。
参考:fastino/GLiNER2.5-Decide · fast-decisions 数据集 · fastino-ai/GLiNER2