Qwen3.6-27B:27B密集模型超越397B MoE,单卡部署的编程新选择

# Qwen3.6-27B:27B密集模型超越397B MoE,单卡部署的编程新选择 阿里巴巴Qwen团队于4月22日发布Qwen3.6-27B,这是Qwen3.6世代首款密集型开源模型。令人瞩目的是,这个27B参数的密集模型在多项编程基准测试中超越了上代397B参数的MoE旗舰,同时Q4_K_M量化后仅16.8GB,可在单张消费级GPU上运行。 在核心基准测试中,Qwen3.6-27B的SWE-bench Verified得分77.2(vs 397B MoE的76.2),Terminal-Bench 2.0达到59.3(vs 52.5),SkillsBench为48.2(vs 30.0)。这一"密集击败MoE"的结果对开源社区具有标志性意义——过去一年行业普遍认为通过稀疏专家扩展参数规模是通往前沿性能的最优路径,而Qwen3.6-27B证明架构设计和训练策略可能比参数账面数字更为关键。 架构上,Qwen3.6-27B采用混合注意力机制,以3:1比例交替使用线性注意力(Gated DeltaNet)和二次注意力(Gated Attention),64层网络中每16个重复块包含3个DeltaNet子层和1个Gated Attention子层。原生上下文长度262K tokens,可通过YaRN RoPE扩展至超100万。模型还引入了"Thinking Preservation"特性,在Agent迭代工作流中保留前序推理链,避免重复生成。 模型原生支持多模态,在MMMU(82.9)、VideoMME(87.7)和AndroidWorld GUI Agent(70.3)等测试中表现均衡。以Apache 2.0许可证开源,支持SGLang、vLLM和KTransformers部署。