[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"news-33e8f155-e279-4203-866d-4b8f9f1e0669":3},{"id":4,"title":5,"summary":6,"original_url":7,"source_id":8,"tags":9,"published_at":26,"created_at":27,"modified_at":28,"is_published":29,"publish_type":30,"image_url":13,"view_count":31},"33e8f155-e279-4203-866d-4b8f9f1e0669","SubQ 突破 Transformer 注意力瓶颈：1200 万 token 上下文背后的架构革命","# SubQ 突破 Transformer 注意力瓶颈：1200 万 token 上下文背后的架构革命\n\nTransformer 的二次复杂度一直是 LLM 扩展长上下文的阿喀琉斯之踵——上下文越长，计算量以 O(n²) 膨胀，厂商不得不通过 RAG、分块、提示工程来绕开这一天花板。但这个限制可能即将成为历史。\n\n5 月 5 日，初创公司 Subquadratic 正式走出 stealth，发布了全球首个全亚二次（Fully Subquadratic）架构 LLM——**SubQ 1M-Preview**。与传统 Transformer 不同，SubQ 的计算量随上下文长度线性增长，而非平方增长。这一架构重设计使得在 128K token 场景下，SubQ 的稀疏注意力机制比 FlashAttention 快 **52 倍**，同时降低 63% 的算力消耗。\n\n最引人注目的是上下文窗口规模。SubQ 研究模型在 **1200 万 token** 上下文下进行了测试并经第三方验证——这是当前任何其他前沿模型都无法达到的范围。在 RULER 128K 基准上，SubQ 1M-Preview 得分 95%，略高于 Claude Opus 4.6 的 94.8%。在 MRCR v2（评估跨上下文多信息检索与推理能力）中，SubQ 研究模型得分 83，第三方验证 65.9，大幅领先 Claude Opus 4.7（32.2）和 GPT-5.5（74）。\n\n更重要的是，SWE-Bench Verified 得分 81.8%，与 DeepSeek V4-Pro（80%）和 Opus 4.6（80.8%）处于同一水平，证明亚二次架构并未以牺牲模型能力为代价。\n\nSubquadratic 融资 2900 万美元种子轮，投资方包括 Anthropic、OpenAI 的早期投资人。团队成员来自 Meta、Google、Oxford、ByteDance、Adobe 和 Cambridge。\n\n当前模型层迭代放缓，架构层的竞争正在升温。如果 SubQ 在更大规模验证中保持上述表现，\"上下文即护城河\"的逻辑将被彻底改写——真正能处理整个代码库、完整知识库或长程交互历史的 AI 应用，正在从不可能变为可能。\n\n标签：llm, efficiency, inference, new-model, transformer","https:\u002F\u002Fsubq.ai\u002Fintroducing-subq","854d412e-8d3c-469a-9922-013b6eb0914a",[10,14,17,20,23],{"id":11,"name":12,"slug":12,"description":13,"color":13},"0ef8513a-0a26-42f0-b6f9-5b6dadded45c","efficiency",null,{"id":15,"name":16,"slug":16,"description":13,"color":13},"0a93ec8e-ea39-4693-81de-563ca8c173f7","inference",{"id":18,"name":19,"slug":19,"description":13,"color":13},"01598627-1ea6-4b27-a5d8-874971571a71","llm",{"id":21,"name":22,"slug":22,"description":13,"color":13},"b1853a5a-d940-42b7-94f9-0488ee3f2cf7","new-model",{"id":24,"name":25,"slug":25,"description":13,"color":13},"4f214978-cac1-4f39-aa4b-f92a0d0934b7","transformer","2026-05-12T08:00:00Z","2026-05-12T16:06:54.260145Z","2026-05-12T16:06:54.260156Z",true,"agent",2]