大模型架构的公开记录长期是个黑箱。DeepSeek、Qwen、Kimi 这些团队每次发新模型都带着结构改动,但公开报告很少交代哪些想法跑通了、哪些被放弃、为什么放弃。学术界是另一面:算力有限、基线不统一,不少评测只能停在小规模、单点对比上,难以判断一个改动放大之后还成不成立。
上海AI实验室联合华东师范大学、上海交通大学、复旦大学的十一位作者,把这件「记录」本身当成了基础设施。论文提出 ArchSpace——一个面向大模型架构研究的记录、评审与引用平台(arXiv:2611.17332,2026 年 11 月 12 日提交,目前只有 v1 预印本,尚未同行评审)。
学术侧拿着三分之一的数量,只拿到不到 10% 的引用
论文先给了一份自制抽样统计。区间是 2023 年 11 月到 2026 年 10 月,覆盖语言模型架构研究(含多模态模型,不设参数下限);作者在 arXiv 全部分类检索标题与摘要,再以 AI 辅助筛选加针对性全文核查;论文按发布日期计数,计数图涉及 2,919 篇论文,引用图对应 2,859 篇论文与 117,629 次累计引用,引用数取自 Semantic Scholar,2026 年 10 月 31 日获取。
结论是:学术工作约占论文数量的三分之一,拿到的引用不到 10%。论文把原因归于注意力和算力的双重集中——架构创新的注意力主要在工业界,而学术评估受规模所限,难以证明一项改进能撑到更大规模。
先用缩放定律筛,再花大钱训
ArchSpace 的重点不是发模型,而是给架构提案设计一套公共验证框架,分两个阶段。
第一阶段叫缩放阶梯。候选架构要在五个算力预算上跑,分别是 10^18、3×10^18、10^19、3×10^19、10^20 FLOPs。判定标准不是某个点上更低,而是算力最优的 loss 曲线是否落在 Pareto 前沿上。loss 取 OLMo 3 验证集十一个领域的等权平均,FLOPs 口径以 Megatron-LM 为参照。超参搜索分三档:复用基线最优设置、只扫模型规模与 token 数并复用基线学习率和批大小、再连学习率与批大小一起调。
第二阶段训练 1B 模型:先用 150B token、8K 上下文预训练,再做 10B token、64K 上下文的长上下文中训。数据用 Dolma 3 Pool 150B 采样与 Dolma 3 Longmino Mix 的 50B,分词器是 allenai/dolma2-tokenizer。评测走 OLMES 套件:预训练后测 Base Main(通用能力、数学推理与问答),中训后以 RULER 为主信号、HELMET 为补充。
损失外推很准,最优学习率不准
拟合结果分两半看,落差挺大。缩放定律用耦合基底面加固定斜率的 cosh 学习率-批大小项,两条基线阶梯的拟合 MAPE 是 0.25% 到 0.27%;冻结后外推到最大预算的约十倍(用最大档模型加新的 32 层模型),MAPE 0.32%,各扫描预算的实测最优损失落在计算最优曲线 0.5% 以内。
另一半是超参。论文明确承认:预测损失比定位最优学习率容易得多。Phase II 里 Qwen3.5 的预训练跑到约 130 TPP,而同规模最长的阶梯训练只有约 10 TPP;批大小 4M 下预测的最优学习率约 8e-4,最终选定的配方却是学习率 3e-3、批大小 4M——约为预测最优值的 3.6 倍。论文的处理办法很务实:把预测出来的最优点当成直接搜索的起点,而不是答案。
长上下文,与被明确定价的失败
中训之后,64K 上下文下 Qwen3.5 的 RULER 从 17.5 升到 57.0,HELMET 从 23.3 升到 39.1;OLMo3 的 RULER 从 2.7 升到 36.1,HELMET 从 7.4 升到 29.6。为 Qwen3.5 调出来的配方不调直接复用到 OLMo3,也拿到了提升。
平台另一面是仓库。代码开在 github.com/InternLM/archspace,Apache-2.0 协议,创建于 2026 年 7 月,目前 89 个 star、19 个开放 issue,主页是 archspace.live。仓库 README 把验证流程对齐 Olmo 3:模型尺寸覆盖 1B、3B、8B,阶段含预训练、中训与指令微调,全流程约 6.2T token,训练与评测日志发布在 Weights & Biases,权重放在 Hugging Face 的 ArchSpace-Collection 集合。README 里有一句立场很直白:他们重视负面结果,一次没能兑现预期的尝试只要被严格验证过,仍然有价值。
上海AI实验室官方页面(2026 年 8 月 13 日发布)把这件事讲得更直接:不再只是开放最终模型参数,还要逐步公开预训练过程中的实验记录、架构取舍和验证结果,把开源从结果推向过程。同一页提到,平台以经典 Decoder-only Transformer 为基底做架构演化可视化,下一个概念预测模型(NCP)、深度注意力模型(Depth-Attention)、知识与推理解耦架构(Mobius)等十余种提案正在开放验证,通过评议的提案实验室提供双聘与实习合作机会。
所以呢
这件事最值得看的不是缩放定律,而是它承认了一个前提:架构研究里最贵的资产是失败的记录,而这些记录恰恰最不外流。平台的做法是把提案、评审、复现记录绑在一起,让被验证过的架构成为下一轮的基线,让负面结果也能被引用。仓库给被下一代 InternLM 架构采用的创新点提供开源贡献认定,通过评议的提案给双聘和实习机会——它想用职业通道而不是道德呼吁来换参与。
也要清醒:仓库创建于 2026 年 7 月,目前 89 个 star、19 个开放 issue;论文只是预印本;那份抽样统计是作者自制的方法,区间和分类标准都由他们定义,结论应当按「这组作者的口径」来读。
真正的问题不是有没有平台,而是学术界的算力和注意力能不能真的往这边挪。开源模型参数已经做到了,开源实验过程还差得远。