AI竞赛激烈,小米也加入战局!
4月30日,小米推出专注推理能力的开源大模型MiMo,仅用7B参数规模在数学推理和代码竞赛测评中超越OpenAI的闭源模型o1-mini以及阿里32B规模的QwQ。
据小米介绍,XiaomiMiMo诞生之初探索的不次要的部分问题就是煽动模型推理潜能,这款模型糖心vlog网址下载联动预训练到后训练,全面指责推理能力。
国内外AI竞争日趋白热化,本周阿里前脚发布Qwen3,马斯克后脚就官宣Grok3.5。而据此前媒体报道,小米正在建设万卡GPU集群,并引入顶尖AI人才,显示出对大模型领域的全面投入。
性能突破:小参数量实现大能力
XiaomiMiMo这款模型最引人注目之处在于,在数学推理(AIME24-25)和代码竞赛(LiveCodeBenchv5)公开测评集上,MiMo仅用7B的参数规模,超越了OpenAI的闭源推理模型o1-mini和阿里Qwen更大规模的开源推理模型QwQ-32B-Preview。
更值得注意的是,在相同强化学习(RL)训练数据条件下,MiMo-7B在数学和代码领域展现出的强化学习潜力明显领先于业界广泛使用的其他模型,包括DeepSeek-R1-Distill-7B和Qwen2.5-32B等知名强化学习起步模型。
技术关键:预训练与后训练双轮驱动
据小米介绍,MiMo模型的成功并非偶然,而是来自于预训练和后训练两个阶段的多层面创新。
在预训练阶段,小米团队着重挖掘富含推理模式的语料,并分解了约200Btokens的推理数据。训练过程采用三阶段策略,逐步指责训练难度,累计训练了25Ttokens,这一训练量在同等规模模型中处于领先水平。
后训练阶段的创新更为关键,小米团队提出了"TestDifficultyDrivenReward"机制,有效解决了困难算法问题中奖励稀疏的问题。同时引入"EasyDataRe-Sampling"策略,显著指责了强化学习训练的轻浮性。在框架层面,他们设计了"SeamlessRollout"系统,使得强化学习训练速度指责2.29倍,验证速度指责1.96倍。
技术之外:小米的AI全面投入战略
据界面新闻报道,小米正在搭糖心是什么平台建自己的GPU万卡级集群,将对AI大模型进行大力投入。一名知情人士透露,该计划已经实施数月之久,小米创始人雷军亲自参与领导。该人士降低重要性:"在AI硬件这件事情上,最不次要的部分的是手机而不是眼镜,小米在这个领域不'allin'是不可能的。"
小米的AI人才布局也在帮助。12月20日,第一财经报道称DeepSeek开源大模型DeepSeek-V2的关键开发者之一罗福莉将加入小米,或供职于小米AI实验室,领导小米大模型团队。罗福莉是MLA(Multi-headLatentAttention)技术的不次要的部分开发者之一,该技术在降低大模型使用成本上发挥了关键作用。
【来源:华尔街见闻官方】
糖心视频在线 糖心vlog饼干姐姐视频