35B 模型只占 3GB 内存：MiniCPM-V 4.7 开源

面壁智能和 OpenBMB 开源了 MiniCPM-V 4.7。这是 MiniCPM-V 系列的最新版本，35B-A3B 也是该系列首个 MoE 模型。

官方称其为首个实现无损、流畅端侧推理的开源 MoE 模型：在 iPhone 17 Pro Max 上仅占 3GB 内存，解码速度超过每秒 13 个 token，全程在设备端完成。

35B 总参，每次只用 3B

35B-A3B 总参数 35B，每个 token 推理只激活约 3B。

但 MoE 的难点不在激活量，而在存储：不同 token 会选中不同专家，设备内存往往装不下全部专家权重。权重放在闪存里按需加载，反复搬运会让解码卡顿，实时交互就做不了。

三个技术，让 MoE 在手机上跑顺

前瞻专家调度（LES）：通过跨层路由预测，在当前层计算时预加载下一层可能用到的专家。预测只指导预取和调度，实际计算仍按模型原始路由执行，没猜中的专家照常加载。预取成功的专家优先计算，并与剩余专家的加载并行重叠。

细粒度逐层量化：压缩专家权重的存储占用和内存搬运量，同时保住模型能力。

DSpark 投机采样：官方同步开源了 DSpark 草稿模型，与专家调度、量化配合进一步提升解码效率。

三项技术叠加，MoE 模型第一次在端侧做到"流畅且无损"。

视觉编码：先压缩，再计算

MiniCPM-V 4.7 在视觉编码器内部就提前压缩视觉 token，减少后续层的计算量。

同时支持 4x/16x 混合压缩：16x 合并 token 换效率，4x 保留四倍 token 换细节，开发者可以在不同任务间权衡。

性能：更少时间，更高分

在 Instruct 模式下，35B-A3B 用更少的推理时间拿到比 Qwen3.6 35B-A3B 更高的综合得分，把多模态模型的性能-效率往前推了一格。

平台与开发生态

• 系统：iOS、安卓、鸿蒙，端侧部署方案开源
• 芯片：瑞芯微、Intel、AMD、Arm 适配
• 推理框架：SGLang、vLLM、llama.cpp、Ollama
• 微调框架：SWIFT、LLaMA-Factory，并提供 SRFT 微调方法
• 量化版本：GGUF、BNB、AWQ、GPTQ，新增 FP8 支持

端侧 MoE 从"跑不动"到"跑得顺"，缺的不是参数，而是调度、量化与投机采样的配合。