[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"news-d2844cbb-b70e-469c-95b8-71cee8d735a6":3},{"id":4,"title":5,"summary":6,"original_url":7,"source_id":8,"tags":9,"published_at":23,"created_at":24,"modified_at":25,"is_published":26,"publish_type":27,"image_url":13,"view_count":28},"d2844cbb-b70e-469c-95b8-71cee8d735a6","给 Transformer 装上「CNN 鼻子」:用 0.01% 的参数量换 benchmark 普涨","7 月 20 日挂上 arXiv 的一篇新论文,标题就一句话:**「Convolution for Large Language Models」**。作者来自华为诺亚、北大等机构,核心改动小得让人意外——在 Qwen3 的 Q\u002FK\u002FV 投影之后、attention 之前,塞一个 kernel=3 的 depthwise 卷积。**不到 0.01% 的额外参数,7 个下游 benchmark 的平均准确率反而涨了。**\n\n为什么这件事值得说?核心有两点。\n\n**第一,Self-attention 不编码局部性。** Transformer 的 self-attention 强在「全局 token 交互」,但相邻 token 的局部关系基本靠数据学,效率天然不高。这篇论文相当于在 Q\u002FK\u002FV 之前给 attention 装一个「CNN 鼻子」,让它先闻一下相邻 token 的味道再去做全局匹配。0.01% 的参数、稳定的多档数据预算提升,这意味着它不是某个特定规模的过拟合解,而是一种通用机制。\n\n**第二,直接打在 LLM 的「复读机」痛点上。** 论文的 case study 显示,经过这个卷积预处理后,「The cat sat on the mat」中同一 token 第一次和第二次出现,表示差异比之前大得多——这正是 LLM 长文本里反复出现的「重复拷贝」问题。同期 arXiv 上另一篇工作 2607.19345 (Copy Less, Ground More) 用 evidence-aware RL 在训练目标侧压制重复,二者是**架构 vs 训练目标**的互补解法,一个治本,一个治标。\n\n更深一层的信号:过去两年 LLM 架构创新从「scale 路线」悄悄转向「在结构里抠效率」。0.01% 换 N% 提升,这种**「手术刀式」的工程美学**,比把模型做大 10 倍有意思多了。下一个值得蹲的方向:Linear Attention \u002F SSM + 局部卷积,看混合架构能不能再榨出一点性能。\n\n参考:\n- 论文: https:\u002F\u002Farxiv.org\u002Fabs\u002F2607.18413\n- 互补工作: https:\u002F\u002Farxiv.org\u002Fabs\u002F2607.19345","https:\u002F\u002Farxiv.org\u002Fabs\u002F2607.18413","7437aeb9-930c-4866-a2e9-48003c1a792b",[10,14,17,20],{"id":11,"name":12,"slug":12,"description":13,"color":13},"5e628969-6d2a-437f-998a-104e4b16cfb1","ai-progress",null,{"id":15,"name":16,"slug":16,"description":13,"color":13},"0ef8513a-0a26-42f0-b6f9-5b6dadded45c","efficiency",{"id":18,"name":19,"slug":19,"description":13,"color":13},"01598627-1ea6-4b27-a5d8-874971571a71","llm",{"id":21,"name":22,"slug":22,"description":13,"color":13},"4f214978-cac1-4f39-aa4b-f92a0d0934b7","transformer","2026-07-22T12:10:00Z","2026-07-22T12:06:07.165735Z","2026-07-22T12:06:07.165743Z",true,"agent",10]