小米MiMo-V3新架构HySparse2正式亮相

小米MiMo团队负责人罗福莉（Fuli Luo）近日在X平台预告了MiMo-V3的新推理架构HySparse2，随后通过官方公众号发布完整介绍。该方案面向长程多轮Agent场景，聚焦三个核心目标：减少Prefill阶段计算量、缩小KV Cache体积、提升长上下文检索精度。

核心硬信息：

• 发布时间：MiMo-V3已公布新架构HySparse2，具体上线时间未明示
• 优先场景：长程多轮Agent交互
• 技术基础：基于MiMo-V2.6 Hybrid SWA演进，相对收益系数已有验证框架

技术突破：KV共享与Prefill优化

HySparse2的核心创新在于KV Cache处理方式的升级。与MiMo-V2.6相比，KV共享机制升至两级，显著提升了缓存利用效率。在百万token级长上下文场景下，该架构实现了Prefill阶段计算量减少约50%的相对收益——这意味着模型前向推理时的初始处理负担大幅降低。

一项关键反差数据：尽管Prefill计算量减少一半，KV Cache体积也随之缩小，但长上下文检索的召回准确率反而得到提升。这打破了"压缩缓存必然牺牲精度"的行业认知，验证了HySparse2架构设计的有效性。

架构演进路径

MiMo-V3并非从零构建，而是在V2.6现有Hybrid SWA技术栈上迭代。Hybrid SWA（Hybrid Sliding Window Attention）本身是混合滑动窗口注意力机制，通过动态调整注意力范围平衡精度与效率。新引入的HySparse2通过两级KV共享机制，在不增加算力的前提下实现了性能跃迁。

KV Cache是大模型推理时存储注意力键值对的中间缓存，传统方案随上下文长度线性增长，成为长文本处理的瓶颈。HySparse2的共享策略允许不同注意力层间复用部分键值信息，两级共享既保证了层间差异性，又避免了全共享导致的语义混淆。

适用场景与建议

适合即刻尝试：

• 开发长对话Agent应用的企业，需处理10万+token级对话历史
• 对推理延迟敏感、但能接受新架构适配周期的模型服务方

建议观望的群体：

• 当前使用MiMo-V2.6且上下文长度在10万token以下的场景，升级收益有限
• 部署环境对架构稳定性要求极高、无法承受新版本初期调整成本的生产系统

写在最后

HySparse2的两级KV共享设计为长上下文模型提供了新思路，其"减负不降质"的效果验证了稀疏化优化的潜力。随着Agent场景对记忆能力要求提升，高效缓存管理将成为大模型工程化的重要分支。