什么？35B的MoE，在手机上也能跑得很丝滑？
Yeah~It ’ s true.
我们直接在断网状态下，给iPhone 17 Pro Max手机上传一张数据可视化经典图——拿破仑远征俄国失败的行军路线图：
然后我们直接提问：
图里记录的最低气温是多少摄氏度，出现在哪一天，换算过程顺带讲一下。
可以看到，不到 1 分钟的时间，苹果手机上的模型，就从那条线上找到了零下 30 度的标注，判断出日期是 1812 年 12 月 6 日，再按 1 列氏度等于 1.25 摄氏度换算，给出了零下 37.5 摄氏度的答案。
而且啊，这个手机上的模型的速度，还能更快。
配资介绍例如同一张路边停车标志的照片、同一个停车时间的问题，左边是没做优化的 35B 模型，右边是优化过后的模型：
可以看到，没优化的时候，速度每秒大概 2 个 Token；但在优化之后，速度达到了每秒 8-12 个 Token。即便是在断网状态下，答案也是唰唰唰地往外蹦。
据了解，这个 35B 模型在 iPhone 17 Pro Max 上的解码速度，再仅占用 3G 内存的情况下，能做到每秒 13 个 token 以上！
丝滑，着实是有点丝滑。
那么这个在手机上能跑成这样的模型，到底是何许 AI 也？
不卖关子，它就是面壁智能和 OpenBMB 刚刚正式开源的 MiniCPM-V 4.7。一共包含两个大小的版本：
35B-A3B：总参数 35B，每次推理只激活 3B，也是 MiniCPM-V 系列的第一个 MoE 模型。大约只要 3G 内存就能在 iOS、安卓设备上流畅运行。
1B：实际参数 1.3B，主打极小体积，OCR、数学和视频理解，放在同尺寸模型里都属于第一梯队。
不过有一说一，跑得快还只是一方面，那么 MiniCPM-V 4.7 放到端侧大模型的圈子里，到底是个什么水平？
通用视觉上，35B-A3B 的 MMBench 拿到 91.72、MMStar 是 80.67；理科题方面，MMMU 和 MathVista 分别是 80.22 和 88.00。视频理解的 Video-MME 和 LongVideoBench 也拿到了 76.40 和 68.90。
尤其是 OmniDocBench v1.6 上，35B-A3B 拿到94.24 分，另外四个模型都在 80 分上下，领先了 12 分以上。
更值得一提的是视觉压缩开到 16 倍之后的表现。MMBench 只从 91.72 降到 90.87，OCRBench 从 91.20 降到 90.40，省下来的算力几乎没有拿精度去换。
除此之外，MiniCPM-V4.7 在纯文本能力上，中文知识 CMMLU 拿到 90.21，工具调用的 τ 2-Bench 拿到 84.65，同样是表里最高。
据悉，MiniCPM-V4.7 是首个能在端侧流畅运行、同时不牺牲性能的开源 MoE 模型。
那么接下来，我们来看它更多的效果。
元股证券:ygzq.hk
把 35B 装进口袋，断网也能用
先来看一道和我们生活比较贴近的题目。
这次给模型输入的，是一张家庭用电调查表，上面列着空调、冰箱、电热水壶、电视、洗衣机和待机设备的功率与使用时长，再附上这个月的电费账单，一共 420 度电，126 块钱。
这道题的问题一共有三个，它们分别是：
先估算每样电器一个月用多少电，排个序；再算算这几样加起来能解释账单的百分之多少，差出来的那部分能不能全算到别的电器头上；最后在三个省电方案里挑出最省的那个，分别是空调每天少开 1 小时、电视每天少看 2 小时，以及待机设备每天彻底断电 8 小时。
从结果来看，35B-A3B 先把瓦换算成千瓦，再拿功率乘以使用时长，一项一项往下算。空调每月 144 度，排在第一位；冰箱则按标签上的年耗电 280 度，折算成每月约 23.33 度；后面依次是电热水壶、电视、待机设备和洗衣机。
六样电器加起来约 213.63 度，按账单的电价折合 64.09 元，只能解释账单的 50.9% 左右，还差 206.37 度。三个方案里，空调少开 1 小时最划算，一个月能省 24 度电，合 7.2 元。
可以看到，即便是在断网状态下，面对如此复杂的图表，35B-A3B 依旧是稳稳拿捏住。
看完 35B，我们再来看看 1B 这边的效果；这次给 1B 的任务，是把一页论文转成 Markdown：
请将这个图片转写为 markdown。
不到半分钟的时间，标题层级、段落和表格都被还原了出来，公式也写成了 LaTeX，渲染之后和原文的排版基本对得上。
对经常要把论文截图、PDF 页面搬进笔记的人来说，这类活儿过去大多要联网交给云端模型。现在一个 1.3B 的小模型，在手机本地就能干完。
当然，除了手机之外，像iPad这样的端侧设备，同样也是不在话下。
例如刚才我们那个拿破仑远征图的题，在 iPad M4 上跑了一遍，给出的答案依旧是 1812 年 12 月 6 日、零下 37.5 摄氏度。
除了端侧之外，我们还用API把 MiniCPM-V4.7 跑了一遍。
第一道题是记账，我们准备了一张超市小票的样张，上面有 6 样商品，从纯牛奶、全麦面包一直到抽纸，还有会员优惠和优惠券两笔减免，最后实付 78.40 元。要求是把它整理成一张中文记账表，再核对一下小票上的账算得对不对。
从结果来看，35B-A3B 先把门店、日期和 6 样商品的数量、单价、金额一项项列进表里，跟原图逐个对下来，没有一处读错。
核对的时候，小票上明明印着商品合计 86.40 元，它还是把 6 个金额从头加了一遍，得出 86.40 元，再减去两笔共 8 元的优惠，算出 78.40 元，正好和小票上的实付金额对上。
第二道题也和停车有关，不过规则要比我们开头展示的更复杂一些。
我们设定的情况是，周二持居民证，当天还没在这里停过车，计划从 14:10 停到 15:40。然后让它判断五件事，包括这次停多久、会不会撞上清扫禁停、有没有超过限时、要不要交停车费，以及整个计划合不合规。
35B-A3B 五个问题全部答对。它算出这次一共停 90 分钟，从 14:10 开始，正好避开了 12 点到 14 点的清扫时段，也没超过 2 小时的上限；因为持有居民证，停车费可以免掉。
最后的综合判断里，它把每条规则都过了一遍，还注意到当天此前没停过车，所以"再次进入要隔 30 分钟"这条用不上，结论是这个停车计划符合规定。
3G 内存怎么跑动 35B 的？
看完效果，问题也就来了：
一个 35B 的模型，凭什么能在 12GB 内存的手机上跑起来，还跑得不慢？
35B-A3B 这个 MoE 模型，虽然总共有 35B 参数，但生成每个 token 时真正参与计算的只有 3B 左右。不过这里还有个麻烦，那就是每一层该叫哪几位专家，要等上一层算完才知道。
而手机内存又装不下全部专家，大部分只能放在闪存里，用到了再读进来。
过去常见的办法有两种。一种是用到哪个专家就读哪个，大模型倒是能跑，可解码慢到没法实时对话；另一种是给整段对话提前固定一小组专家，读盘次数少了，模型能挑的专家也跟着变少，能力难免打折扣。
MiniCPM-V 4.7 想要的是两头都顾上：速度要够快，能力也不能轻易掉。放到实际使用中，还得再考虑一步——开发者拿去定制自己的业务，模型学会了新技能，原来的本领也要尽量留住。
先看怎么跑得更快。
前瞻专家调度（LES）把专家预取、计算调度和权重存取一起做了优化：什么时候搬、先算哪个，以及每次搬多少，都有讲究。
团队利用了一个特点：模型相邻两层的输入特征往往高度相似。因此，当前层还在计算时，就可以把它的路由输入特征送进下一层的路由器，提前预测下一层可能用到哪些专家，再由后台线程把对应权重从闪存读进内存。
等到下一层真正开工，大部分所需专家已经准备好了。团队测试中，这种方法能提前备好超过 80% 的所需专家，而且无需额外训练。
计算顺序也跟着调整：实际路由选中、已经加载到位的专家先算，其余所需专家同步加载。 尽量让计算和读盘同时进行，少一点「等数据到了再干活」。
这里有个关键区别：预测只负责提前搬运和安排计算顺序，最终每个 token 使用哪些专家，仍由模型原有的路由机制决定。没猜中的专家照常加载、照常计算，不会为了提速省掉。
另一部分优化发生在权重本身。通过逐层混合精度量化，团队在基本保留模型能力的前提下，把专家权重压得更小，减少每次加载的数据量；再把权重重新组织成连续存储的布局，减少零散读取，让闪存更高效地顺序读数。
一个减少要搬的东西，一个让搬运更顺畅，再配合提前加载和并行计算，共同降低端侧的存储与带宽压力。
在 16GB 内存的 iPad Pro M4 上，前瞻专家调度方案综合提升了 x5 倍解码速度 。
此外，团队还为模型训练了配套的 DSpark 草稿模型，并接入 llama.cpp 等端侧推理框架。由草稿模型先提出多个 token，再交给主模型批量核验，进一步加快生成。在 16GB 内存的 M5 Mac 测试中，解码速度平均进一步提升 17%。
视觉这一侧也在省。MiniCPM-V 4.7 沿用了 LLaVA-UHD v4 的 ViT 内早期压缩技术，在视觉编码器内部就提前合并视觉 token，后面的层要算的东西就少了。开发者还能在 4 倍和 16 倍压缩之间切换，前面也提到，开到 16 倍时分数几乎没掉。
这几项技术叠加起来，就是面壁所说的"快上加快"了。
跑得快之外，还有一个开发者经常碰到的问题：模型针对业务微调后，新任务做得更好了，原来的通用能力却退步了。
面壁为此推出了自回放微调（Self-Replay Fine-Tuning）。做法很直观：在微调前，先让模型回答一批覆盖原有能力的问题，筛选出高质量回答，再把这些回答混进新任务的训练数据。模型一边学习新技能，一边复习自己原来会的东西，减少对已有能力的遗忘。
这些「复习材料」来自模型自身，更贴近它原有的回答方式。整个方法沿用标准微调流程，无需修改模型结构或损失函数。回放数据只需生成一次，就可以在模型学习不同新的能力或者开展多次训练时重复使用。
相比在线强化学习或者 On-Policy Distillation 等训练方法要求模型每次训练都采样新的数据，自回放微调让定制新能力的成本无限接近普通的监督微调（Supervised Fine-tuning），同时保留模型的通用表现。
当大模型不再挑手机
说完技术，我们再回到手机行业。
2026 年，端侧 AI 正在走向大规模装机。根据 IDC 预计，今年中国新一代 AI 手机出货量将达到 1.47 亿台，同比增长 31.6%，渗透率首次突破 53%。换句话说，每卖出两台新手机，就有一台带着端侧 AI。面壁智能 CEO 李大海也说过，2026 年是端侧 AI 规模化落地的元年。
不过对手机厂商来说，还有一个很现实的问题，那就是成本。
内存一直在涨价，12GB 已经成了 AI 手机的及格线，旗舰普遍标配 16GB，部分机型开始往 24GB 上探。模型想变强，往往就得吃更多内存，而内存越贵，这条路走起来就越费钱。
所以，用更少的内存跑更大的模型，对厂商来说就很有吸引力。iPhone 17 Pro Max 的内存是 12GB，而 35B-A3B 大约 3G 内存就能流畅运行，剩下的空间还能留给其他应用。
从更长远来看，端侧 AI 的竞争重点也在变化。过去大家比的是芯片制程和算力，接下来，模型和推理框架能不能跟硬件配合好，会越来越成为拉开差距的地方。
生态方面，MiniCPM-V 4.7 支持的平台也比较多。iOS、安卓和鸿蒙都能部署，发布当天就完成了瑞芯微、后摩、Intel、AMD 和 Arm 等芯片平台的适配。推理框架支持 SGLang、vLLM、llama.cpp 和 Ollama，微调可以用 SWIFT 和 LLaMA-Factory，量化版本也给了 GGUF、AWQ、GPTQ、FP8 等好几种。
这条路线背后，是面壁和清华提出的密度定律。按这个规律，大模型的能力密度大约每 3.5 个月翻一番，同样的能力，需要的参数会越来越少。截至 2026 年 9 月，MiniCPM 系列的累计下载量已经突破 5000 万次。
总而言之，把好用的大模型丝滑揣兜里，现在已经不是难事了。
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
� � 点亮星标 � �
科技前沿进展每日见配资官方融资
正配网提示：本文来自互联网，不代表本网站观点。
