5月19日，AI研究者Sebastian Raschka正式上线了LLM Architecture Gallery，将2024年初至2026年春季发布的40余款主流开源大模型的架构图谱汇聚成一站式参考库。 这份图谱的独特之处在于「一图看懂」——每款模型配有高清架构图、紧凑事实表（参数量、上下文窗口、注意力机制、解码器类型等），并附上技术论文和开源实现链接。特别实用的设计是支持按参数量、注意力类型、许可证等维度排序，方便开发者快速横向对比。 从图谱可见几个清晰趋势。首先，MoE（混合专家）已成旗舰模型主流架构：DeepSeek V3（671B总参数，37B激活）、Kimi K2（1T总参数，32B激活）、Qwen3-235B均采用稀疏MoE设计，靠极低的KV cache占用换取大参数量的实际可运行性。其次，GQA（分组查询注意力）和QK-Norm正成为标准配置，即使是Dense模型也在跟进。第三，局部+全局注意力的3:1混合模式（滑动窗口处理局部信息，全局注意力捕获长程依赖）在2026年成为新范式，Gemma 3、Mistral Small 3.1、Qwen3系列均采用这一配置。 对推理优化而言，图谱中提供的KV cache占用数据最有参考价值。同样是 bf16 精度，Llama 3.2 1B每token仅需32 KiB，而DeepSeek V3因MoE稀疏性反而只有68.6 KiB，远低于Mistral Small 3.1的160 KiB。这对部署时的显存规划至关重要。 值得注意的是，开源模型正在收敛。Qwen3、DeepSeek V3、Kimi K2在架构上越来越趋同——MLA/GQA + MoE + MTP（多词元预测）似乎正在成为「标准配方」。这种收敛降低了学习成本，但也意味着差异化正在从架构层转向训练数据和特定任务的微调能力。