罗福莉压力有多大 模型训练公开直播引发关注

  小米最近启动了两款新模型的训练,并公开了训练过程,吸引了大量关注。9月15日晚,MiMo-V2.6的Pro和Flash两款模型开始新一轮训练。不到两天时间,累计成本已超过130万美元。这次“直播”由小米大模型负责人罗福莉发起,她在X平台上表示,团队在过去半年一直在研究强化学习的扩展能力。

  

  截至9月17日下午,Pro模型训练了45个多小时,花费约93万美元;Flash模型训练了40个半小时,花费约41.6万美元。在一项名为DeepSWE v1.1的软件开发测试中,Pro通过率为65.78%,Flash为60.77%。页面还记录了训练中的故障情况,例如Pro因显存问题需要重启,而Flash则因基础设施错误从第15步重新开始。

  

  这种公开透明的方式引起了许多同行的兴趣。Meta研究员卢卡斯·拜尔称赞小米公开了训练成本,加州大学圣迭戈分校副教授Yu-Xiang Wang也表示对训练细节非常感兴趣。康奈尔大学教授Sasha Rush也参与讨论,对数字变化提出疑问。

  

  今年3月,小米曾发布了一个匿名模型Hunter Alpha,一周后揭晓其身份为MiMo-V2-Pro的早期测试版。此次,罗福莉提前公开了训练过程,并预告未来几周会逐步开源相关细节。她表示,团队重点研究的是强化学习的扩展能力。

评论

发表回复