小米最近启动了两款新模型的训练,并公开了训练过程,吸引了大量关注。9月15日晚,MiMo-V2.6的Pro和Flash两款模型开始新一轮训练。不到两天时间,累计成本已超过130万美元。这次“直播”由小米大模型负责人罗福莉发起,她在X平台上表示,团队在过去半年一直在研究强化学习的扩展能力。
截至9月17日下午,Pro模型训练了45个多小时,花费约93万美元;Flash模型训练了40个半小时,花费约41.6万美元。在一项名为DeepSWE v1.1的软件开发测试中,Pro通过率为65.78%,Flash为60.77%。页面还记录了训练中的故障情况,例如Pro因显存问题需要重启,而Flash则因基础设施错误从第15步重新开始。
这种公开透明的方式引起了许多同行的兴趣。Meta研究员卢卡斯·拜尔称赞小米公开了训练成本,加州大学圣迭戈分校副教授Yu-Xiang Wang也表示对训练细节非常感兴趣。康奈尔大学教授Sasha Rush也参与讨论,对数字变化提出疑问。
今年3月,小米曾发布了一个匿名模型Hunter Alpha,一周后揭晓其身份为MiMo-V2-Pro的早期测试版。此次,罗福莉提前公开了训练过程,并预告未来几周会逐步开源相关细节。她表示,团队重点研究的是强化学习的扩展能力。
发表回复
要发表评论,您必须先登录。