PUBG 的母公司 KRAFTON 在 Hugging Face 上放出了第一个开放权重语言模型 Raon-1 mini preview——不是拿现成模型微调,而是官方口径里「从零设计、从零训练」的 30B-A4B 稀疏 MoE,Apache 2.0 许可,权重直接可下。游戏大厂下场做基座模型,这件事本身比跑分更值得看一眼。
一个把当红组件缝满的 30B
规格表先摆出来:总参 28.8B,每 token 激活 4.3B——128 个路由专家里每 token 只走 6 个,外加 1 个共享专家;25 层,hidden size 2560。注意力是最有意思的部分:18 层线性注意力(RDA)+ 7 层 Gated MLA 的 3:1 混合布局,只有那 7 层 MLA 保留 KV cache,官方给的记忆开销约每 token 8 KiB(BF16),这也是它原生 262,144 token 上下文的底气。
两个自研命名的组件都站在别人的肩膀上:Raon Delta Attention 官方描述是「解耦 Kimi Delta Attention 的 erase 和 write 门」,以改进长上下文表现;Raon-mHC 则是把 DeepSeek 的流形约束超连接(mHC)做降本改造,官方称这能加速训练。加上 NoPE 无位置编码与四流残差,这个 30B 几乎把 2026 年当红的架构组件逐个魔改了一遍——小团队做架构实验的标准姿势:不发明轮子,把轮子改到认不出来。
部署画像:一张 RTX 5090 装得下
量化给得很全:官方发布 MXFP8 和 NVFP4 两种格式,NVFP4 版可在单张 RTX 5090(32GB 显存)上推理;聚合页 theopenweights 按权重元数据估算,FP8 版本约 31.9GB,4-bit 下 24GB 显卡(RTX 3090/4090)也能跑。另外还配了一个 DFlash2 draft 模型做投机解码加速。对延迟敏感的端侧和游戏内应用,4.3B 激活的推理成本画像相当务实。
官方自报的部分,先打个折
模型卡的 Highlights 全是官方口径:内置 thinking,数学与科学基准「在对比模型中领先」;指令遵循与搜索类基准领先;韩、英、日、中、西、法、泰七语种训练,官方称韩语表现最强;agent 工具调用支持 Hermes Agent、Pi 和 OpenCode。但注意两点:README 明确写了这是 preview,「specs and results may change」;模型卡上的跑分属官方自报,最终版之前一切以实际复现为准。当前 HF 下载量 249、GitHub 3 stars,社区热度还没起来。
所以呢
theopenweights 的评语很准:这不是即插即用的成品,而是「意图信号」。有意思的观察点在后面:一家以交互娱乐见长的公司,从零训出一个 MoE 之后会把它优化向哪个方向,素材没有给答案,final 版会说话。当做游戏的公司开始从零训 MoE,开放权重这张桌子的玩家名单,比多数人想象的要长。