当所有人都把 LLM 塞进控制回路,真正跑起来才发现:大部分情况下模型拿到的反馈就是它自己输入的那句话。最近意大利国家研究委员会(CNR)ISTI 团队在 Euro-Par 2026 的 FRAME 工作坊上发表了一篇把这条裂缝说得很透的论文。他们审了 6 套把 LLM 和深度强化学习(DRL)拼在一起做云边端(Cloud Continuum)调度的系统,结论是:六分之四根本没给 LLM 反馈,六分之二能闭环但只跑通单层,跨 IoT-边缘-云三层的多层闭环至今空白。
论文给出的两个新维度:LLM 做什么、反馈怎么传
既有文献按控制范围(SARL vs MARL)和训练范式(标准 vs 联邦)给 DRL 调度系统分类,但这套分类对 LLM 完全失明。CNR 的 Vaccarella 等人加了两条新轴:AI Augmentation Paradigm(L0–L2)看 LLM 是解释意图的语义前端,还是下指令的工作流环节,还是真正掌控多智能体层的战略编排;Feedback Channel(F0–F3)看执行结果从哪条路径流回 LLM。F0 是无反馈,F1 是平台 API 直传,F2 是智能体层中转,F3 是有独立 Mediator 做反馈抽象。
6 套系统的真实分布
按这两条新轴重新摆位,六个代表系统的形状就很扎眼。AgentEdge 在编排层串了 Intent、Observability、Planning、Infrastructure Action 四段 LLM,所有环节都在编排层里、根本没有独立智能体层,执行结果也不回传,L1×F0——其实是单层 LLM 流水线。IntentContinuum 让 GPT-4o 读 Kubernetes/ONOS/sFlow 三个平台 API 的 JSON 直接做根因定位,L1×F1;SALLMA 把 LangChain 拼出来的整套工作流压在编排层,知识层是被动存储,L1×F1。Habib 等人做 5G RAN 自动化,ALBERT 解析意图后下发给分层 DQN,但 DQN 跑完没有回传,L2×F0——是开环。真正闭环的只有 AURA 和 CyberOps-Bots 两个:AURA 用 Claude Sonnet 4 在基站上做 L2 编排,信号回到独立的 Centralised Alignment Controller(评估完返回 [-1,+1] 的延迟奖励),L2×F3;CyberOps-Bots 用 Qwen3-8B 加四类 RL 智能体做云网韧性,L2×F2。两者都成功,但都只在一个资源层里做闭环,没人把闭环跨过 IoT-边-云这三层的异构性。
卡在两件事上:延迟错配和反馈抽象
为什么跨层闭环没人做?论文给了三个工程层面的硬约束,前两个尤其现实。第一个是延迟错配:把 LLM 放在实时控制的关键路径上,光是 API 延迟就把控制回路拖垮,论文建议让 LLM 异步跑在 episode 总结上,本地智能体继续按上一段子目标先走。第二个是钱:AURA 用的是 Claude Sonnet 4,价格是每百万 token 3 美元输入、15 美元输出,论文拿每次 1 万输入、1 千输出估算,一通调用就 0.05 美元,做全天 7×24 的细粒度调度一天能跑出几百美元;对应的折中方案是阈值触发,反馈偏离当前指令一定幅度才让 LLM 重新拍板,否则智能体就照着最后一条指令继续跑。第三个是反馈抽象:IoT、边缘、云三个层智能体暴露的指标往往是不可比的(延迟、能耗、容器 SLO、SDN 路径成本),需要有人把这些异构信号统一成 LLM 能消化的提示尺寸——AURA 里的 Centralised Alignment Controller 在单层里做了这件事,但没人把它扩展到跨层。
给作者看的研究方向
论文把跨层闭环明确命名为 L2×MA×Federated 这块空白,提示接下来要补的工程接口叫 Mediator——一个跨层、独立的反馈聚合器,负责把每个 tier 的异构 KPI 折算成统一的评分+上下文对,送回 LLM 编排层调整下一轮子目标。它和 AURA 的 CAC 是同一类东西,只是从单层扩到三层。CNR 团队把自己的通用参考架构画成图 1(a):上层 LLM Orchestration,中层 Agentic,下层 Environments,Mediator 单独站在三层之间。FRAME 2026 这篇论文接下来要走 Euro-Par 2026 正式版,届时如果能把 L2×F3 的多 tier 实测跑出来,云边端调度这条线就真正从"LLM 当语义前端"迈到"LLM 当控制中枢"了。
对工程团队最直接的启发是:如果你正在做云边端编排,先别急着让 LLM 做闭环决策,先把反馈层抽象出来——单层的 CAC 已经有人在做了,跨层 Mediator 是接下来 12 个月内值得盯的研究方向。