2025 年,Hugging Face transformers 库里新增了 48 个大模型架构。每个架构都配一份技术报告,报告都要说清楚「我这次新在哪」。但新不新,和这个新到底有没有用,是两个问题。
一篇审计 40 份开源大模型技术报告的论文把这两个问题拆开算了。40 份里 28 份提出新颖性主张,共 73 条,只有 19 条(26%)配了受控对照实验——模型大小、数据、token 数固定,只换掉被声称创新的那个部件。另有 20 条(27%)的对比同时改了别的东西,34 条(47%)完全没有对比。按报告算,11 份至少测对一条,只有 4 份把每条主张都测了。
代码不会说谎,报告不一定
论文最有意思的一招不是读报告,而是去读 transformers 库里的参考代码。2025 年新增的 48 个架构里,39 个(81%)的核心模块——注意力、前馈、decoder 层——至少有两个直接来自另一个模型,最常见的是 Llama。往前追,2024 年是 30 个里 17 个(57%)。加总 288 个核心模块是从别的模型借来的,仅 Llama 就借出 80 个,被 47 个架构用。
不过论文立刻踩了刹车:这个上升有一部分来自库自己的写法变化。大约从 2024 年起,transformers 开始把新模型写成旧模型的「编辑」,拿一个已有模块本就是加新架构的常规操作。论文明确说,它没法把「代码写法变了」和「模型设计趋同了」拆开。
它拿 Qwen3 和 Llama 的代码逐行对比:Qwen3 相对 Llama 的差异是 QK-norm,代码里是新增 2 行、改动 2 行,外加一个默认关闭的滑动窗口开关。我查了仓库里 Qwen3 的 modeling 文件,q_norm、k_norm 确实在,滑动窗口那行注释直接写着「与 Llama 不同」。代码对比不告诉你「改动没用」,只告诉你「改动在哪」——它把主张定位出来,让你知道该去哪次实验检验它。
未被测试的主张,可能仍然是真的
论文的态度出奇地克制:它不评判模型质量,一句没被测试的主张,可能仍然是真的。它区分两类读者:想决定用不用这个模型的人,需要完整模型之间的对比;想接着某个想法做研究的人,需要受控对比。一份报告能服务好前者,让后者无从下手。
代码层也印证这条分界。论文查了七个报告的出处声明——Qwen2、Qwen3、OLMo 2、Falcon、Falcon Mamba、Mamba、Mamba-2——都如实标注来源。所以问题不在谁吹牛,而在主张和证据之间那一段。论文最后落在两句限定:对比不干净不是诚信问题,是报告能展示什么的边界;而把主张标成「未测试」读起来比放着不管更弱,论文承认这个代价,但认为较弱的说法才准确。
复现那一栏几乎是空的
更硬的是复现。40 份报告里只有 4 份说明不止一次训练运行,或给出多次运行的方差,其余 36 份读者无从知道结果能承受多大权重。2024 年及以后那 26 份,一份都没有。对比基准同样稀薄:8 份重跑了自己要比的模型,Mistral 7B 是论文点名的例子;但有 22 份直接搬别家报告的对比分数,只有 8 份有第三方评测。
披露三件套的结果更直接:29 份给出预训练 token 数,12 份给出算力,三者同时给全的只有 1 份。数据配比的标准极严——另一方能否照着描述重建出这个混合,只有 2 份达到。而这个 2 是全文最不确定的数字,两个编码员在这一栏的一致性只有 0.30。
论文给出 7 条报告规则并挑两份做示范。OLMoE 满足 3 条,给出「总共训练 5.133T token」和「256 张 H100 跑大约 10 天」,所有评测都由自己跑;我核对了 OLMoE 原文,两句逐字对得上。Mistral 7B 满足 2 条,三件套一个都没给。按论文打分,40 份里 24 份一条规则都不满足。
为什么弱证据能活下来
发布报告通常把一堆东西打包:架构、数据、token 预算、训练流程一起换掉,再拿成品模型跟别人的成品模型比。整包结果很能打,归因到某个部件就无从谈起。而这类改动失败率本身就很高:论文引用两项独立研究,EMNLP 2021 一项工作在统一实现里测了大量 Transformer 改动,发现多数没带来提升;2026 年一项更新到 1-3B 的后续工作,20 个改动里只有两个通过多重比较校正,其中一个在 3B 上还训不稳。改动出现在一个成功的模型里,本身就是弱证据。
论文还点出一个结构性原因:40 份报告全部取自 arXiv 预印本,发布报告出现前不走同行评审,报告第一次被读到时,没人问过「这证据撑得住这主张吗」。审计的边界也很明确:数据来自一个库的快照(2026 年 11 月 13 日),没链接 arXiv 论文的 80 个架构被排除;40 份报告由 Claude Opus 5.5 和 OpenAI GPT-6.1 Sol 编码,分歧交 xAI Grok 4.7 裁决,至今没有人工复核。
所以呢
这篇论文最容易被误读成「大家都在吹牛」。它自己否掉了这个读法:已知组件换名一个都没找到,厂商的出处声明全部如实。它真正的落点更窄也更硬——主张和证据之间那根线没人拉,而拉这根线几乎不花钱。
规则第一条最值得单独拿出来:对每个被当作新的部件,给一次有/无对照,或明说这次对照没做。后半句免费,不花算力。而 40 份报告里只有 19 条主张满足前半句。那 1 份把三件套给全的报告,值得当行业基线读,不是及格线。这两者之间的差别,就是「模型很强」和「这个想法值得你接着做」的差别。