阿里巴巴于2026年2月发布的Qwen 3.5系列，在标准MoE（混合专家）架构基础上引入了两项关键技术改进——Shared Expert共享专家机制与Hybrid Attention混合注意力架构。这两项创新从训练稳定性和推理效率两个维度重新定义了开源大模型的工程可行性。 在传统MoE架构中，每个Token仅被路由到Top-K个专家子网络，其余专家闲置。这种设计虽能降低激活参数和推理成本，但容易出现专家负载不均、训练不稳定等问题。Qwen 3.5引入了Shared Expert机制：额外设置一条专用Dense MLP路径，每个Token都必须经过它提取跨领域通用特征（如语法结构、语义实体、世界知识）。这些通用表征被注入所有路由专家的输入，形成先打底、再专精的计算流程。 AMD在MI300X GPU上的实测验证了效果：相同硬件条件下，Qwen 3.5-397B-A17B的训练收敛速度比Qwen 3提升约18%，下游任务平均准确率高出4-6个百分点。 Qwen 3.5采用Hybrid Attention策略：每隔4层保留一组标准全注意力层，确保对高关联性Token的精确召回；中间层替换为Gated Delta Networks，实现对序列长度的线性复杂度扩展。AMD实测数据显示，在超过32K Token的长上下文场景中，Qwen 3.5的吞吐量是Qwen 3的3.2倍，首Token延迟降低57%。 这一架构改进指向更宏大的趋势：2026年开源大模型正从"暴力Scaling"向"架构效率优先"转型。DeepSeek V4用Muon优化器+FP4压缩训练成本，Qwen 3.5用Shared Expert+线性注意力压缩推理成本，最终目标都是让100B以上参数的开源模型在合理成本下真正可部署、可实用。