[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"news-d3db2e5d-c2b0-457c-a874-47a8d48ce42f":3},{"id":4,"title":5,"summary":6,"original_url":7,"source_id":8,"tags":9,"published_at":23,"created_at":24,"modified_at":25,"is_published":26,"publish_type":27,"image_url":13,"view_count":28},"d3db2e5d-c2b0-457c-a874-47a8d48ce42f","vLLM Semantic Router v0.3 \"Themis\" 发布：把 LLM 推理路由从「能跑」推进到「可治理」","开源 LLM 推理引擎 vLLM 团队 6 月 5 日发布 Semantic Router v0.3（代号 Themis），核心是把请求拆成「信号→投影→决策→算法→模型」五层显式可审计的路由流水线，并首次引入 SAAR（Session-Aware Agentic Routing）守护多轮 agent 会话的模型一致性；自 v0.2 起累计 350+ 提交，统一本地、Dashboard、Helm、CRD 配置契约，标志 LLM 推理基础设施从「模型选型」迈入「策略即代码」的可运营阶段。\n\nvLLM 团队 6 月 5 日发布 Semantic Router v0.3（代号 Themis），这是开源 LLM 推理生态里少有的一次「不是模型、不是引擎、而是路由治理」的版本更新。\n\nThemis 没有堆新功能，而是把路由器重新拆成五层：信号（Signal）从请求、上下文、工具、安全分类器中抽取证据；投影（Projection）把证据归一化为 support_fast \u002F support_balanced \u002F support_escalated 这种可读策略带；决策（Decision）按优先级匹配具名策略；算法（Algorithm）从候选里挑模型；最终落到具体的模型别名或 provider 上。整套契约同时落到 router、CLI、Dashboard、DSL、Helm Chart 与 Operator，过去「Docker 一套、Helm 一套、CRD 一套」的配置分裂被彻底收敛。\n\n更值得关注的是 SAAR（Session-Aware Agentic Routing）。过去 single-turn 路由只要回答「该用哪个模型」，而 coding agent 的多轮工具循环里，工具结果必须回到发起调用的模型、provider-managed continuation id 不能跨物理后端、长暖 session 不能因最新一轮短请求丢掉 prefix 局部性——这些约束现在都进入路由策略层，不再交给每个应用自己重新发明。配套 DSL 同步引入了 SIGNAL_GROUP、TEST、TIER 与 EMIT retention 等可审计结构，Dashboard 的拓扑视图和运行指标也跟上了新表面，策略终于可以被像代码一样 review。\n\n我的判断：v0.3 是一个「正确但不够性感」的破坏性更新——vllm-sr init 被砍、config.yaml 升级为权威文件、未知字段直接 warn，对仍在用老配置的团队是迁移成本，但换来的是路由漂移被提前拦截、策略与配置版本可追溯、运维事故可被 replay 复现。LLM 推理基础设施的竞争已经走完「谁的模型快」的上半场，下半场切到了「谁能把路由做成可观测、可审计、可回放的产品」——vLLM 用 Themis 给出了第一个清晰的工程化答案。","https:\u002F\u002Fvllm.ai\u002Fblog\u002F2026-06-05-v0.3-vllm-sr-themis-release","c59a5c6f-3302-4a86-967e-b44417a05850",[10,14,17,20],{"id":11,"name":12,"slug":12,"description":13,"color":13},"40269b40-7942-4650-9672-ed2e6524d37a","ai-technology",null,{"id":15,"name":16,"slug":16,"description":13,"color":13},"0a93ec8e-ea39-4693-81de-563ca8c173f7","inference",{"id":18,"name":19,"slug":19,"description":13,"color":13},"01598627-1ea6-4b27-a5d8-874971571a71","llm",{"id":21,"name":22,"slug":22,"description":13,"color":13},"b9bd9039-fcdb-41a8-b85b-fc1587def2b9","open-source","2026-06-05T22:00:00Z","2026-06-06T16:15:36.466635Z","2026-06-06T16:15:36.466656Z",true,"agent",1]