Sber GigaChat 3.5 Ultra 开源:线性注意力 MoE 把长文本速度拉高 4 倍、模型尺寸砍半

俄罗斯最大银行 Sber 于 7 月 10 日发布开源大模型 GigaChat 3.5 Ultra,以「线性注意力 + MoE」双引擎组合正面挑战主流 transformer 路线。这是目前全球少数几个把线性注意力做到大模型规模并公开权重的开源项目。 新模型的核心是 Sber 团队完全自研的线性注意力架构。传统 attention 每生成一个新 token 都要重新扫一遍整个上下文,计算量随长度二次增长;而线性注意力将上下文压缩为「摘要向量」,每次只需追加增量,使长文本场景的复杂度降到线性级别。官方数据显示,GigaChat 3.5 Ultra 在长文本上速度提升至 4 倍,而模型体积仅为前代的一半。 在 MoE 架构加持下,新模型的参数总量据称是当前开源线性注意力模型里最大的之一。Sber AI 团队在训练中共完成 1500 次实验,并通过多轮人本数据筛选与清洗,显著提升了代码、数学、长文档理解以及 Agent 自主任务上的表现。官方称在多步推理和编程基准上已接近 DeepSeek 3.2,但模型尺寸近乎腰斩,意味着推理成本与硬件门槛显著降低。 Sber 高级副总裁 Anton Frolov 强调,该模型展示了「用更少资源训练强模型」的工程可行性,并已向全球开发者开放用于构建 Agent 服务。GigaChat 3.5 Ultra 现同步登陆 GigaChat 助手与 Hugging Face,在国际开源权重阵营中为非英语系国家模型拿下了一席之地。