同一个模型,换台手机就像换了个性格。论文实测:llama.cpp 的 GPU prefill 在 OnePlus 15 上比 CPU 快 5.4 倍,到 OnePlus 8 Pro 上反而慢 7.4 倍;Qwen3-4B 的 8-bit 版本在 OnePlus 15 上每秒解码 12.6-13.8 个 token,换成 OnePlus 8 Pro 就掉到 0.7-4.8。端侧小模型真正的难题从来不是「能不能跑」,而是每台手机都得重新调一遍——Facebook 一款 app 就要适配超过一万种机型,开源社区每周还冒出大约两个新基模,靠专家手工逐台调优,只有最大的公司养得起这种团队。

工厂怎么运转

Gollakota 团队的方案叫 Mobile AI Factory:输入任务规格和目标手机,产出一个微调加量化、刚好塞进这台手机的小模型。核心是一个循环:每轮由编排 LLM(Claude Sonnet 5)从三种干预里挑一个——调超参(LoRA rank、学习率、训练轮数等)、去任务源里挖更多真实数据、或者让本地托管的教师模型(Qwen3.6-35B-A3B)针对最拖准确率后腿的失败类别生成合成数据。固定规则负责兜底:凡把准确率调低的改动一律回滚到当前最优,训练前还有污染检查,把混进保留测试集的行剔掉。

搜索空间按体积分桶:9 个基模(SmolLM2、Gemma 3、Qwen3、Qwen3.5,参数量 135M 到 4B)乘 4-bit、8-bit、16-bit 三档精度,共 27 种组合,按磁盘体积切成 5 个桶,从最小的桶往上搜。准确率目标也是自适应的:初始取教师模型的五样本成绩、下限 0.8,太容易达标就主动上调继续压榨。最关键的部件是手机画像器:每台手机一次性实测全部组合在 llama.cpp 与 MNN、CPU 与 GPU 下的 prefill/decode 速度、峰值内存和能耗,4 台手机共 364 组配置,画像跨任务复用,搜索只在真跑得动的模型里挑。

战绩单

10 个任务、4 台 Android 手机(从当前的旗舰机型到 GPU 因缺 OpenCL 用不了的 Redmi 9A):在没见过的测试集上,工厂产出的小模型在 5 项任务上同时超过 Claude Sonnet 5 和 DeepSeek v4 Flash 的五样本成绩,领先 0.024 到 0.342,另有 3 项打平。输出格式越严格,优势越大:生物医学实体抽取任务上,一个 517MB 的模型拿到 0.828,Claude 五样本只有 0.652。

搜索本身也划算:实体抽取任务上,分桶搜索与穷举训练全部 27 种变体只差 3 个点,GPU 时间省 19 倍。Galaxy S23 的资源上限卡掉最优模型时,工厂退而返回的次优模型只差 0.013。首次微调后,搜索还能给最小的模型中位数再加 8 个点,最大的加 2 个点;9 次因目标上调而继续训练的运行里,7 次又涨了 3.6 个点。

规格表推理靠不住

对照组更有意思:给 Claude Opus 5.5 完整的硬件与模型规格、但不给实测数据,让它判断某配置能否满足 app 需求——简单和中等场景漏判 25%,困难场景漏判 60%,错就错在运行时内存和该用 CPU 还是 GPU 这种规格表上不写的项。最好的配置本来就随手机变,推理替代不了测量。

所以呢

论文贡献声明里,作者自称这是「据我们所知第一个」面向给定任务加给定手机的此类系统——优先权由他们认领,工程事实摆在这里:端侧 AI 的墙不是模型能力,是硬件碎片化,破墙靠的是把「每台手机一个模型」变成自动化流水线。对独立开发者,这套思路比任何单一新模型都值钱。一个提醒:论文称代码开源于 GitHub,但截至发稿该仓库仍无法访问,想复现的还得再等等。

原文:https://arxiv.org/abs/2611.13509