小米开源380亿参数机器人模型,让AI学会"想象"物理场景
今天科技圈最让我兴奋的消息,不是哪家大模型又发了新版本——而是小米在机器人这事上,真的让人刮目相看了。
7月15号,小米开源了个叫 Xiaomi-Robotics-U0 的模型。380亿参数,多模态自回归架构,在具身智能领域是头一个能同时搞定四类任务的基础模型。说人话就是:它能帮机器人学会"想象"物理世界了。
之前小米在机器人这边,说实话最出圈的就是炒菜的铁蛋,还有到处溜达的 CyberDog。但这次不一样。U0 做的是底层能力——机器人训练数据的生成和增强。怎么说呢,属于"干脏活累活"的那种角色。
搞过机器人的朋友应该深有体会——给机器人做训练数据有多痛苦。搬张桌子、接杯水、拧个螺丝……每个动作都要大量真实场景数据。传统玩法就是真人反复操作,千八百遍地录视频,一个环境换了张桌子又得重来。所以这行有个特别头疼的问题:数据采集成本高到离谱。
U0 想解决的问题就是这个。
它有四层能力,一层比一层实用。第一层:场境生成。你跟它说"厨房台面上有一杯咖啡,旁边放着一把红色手柄的螺丝刀",它就能直接生成机器人从多个角度看到的厨房画面。从桌面的杂物到仓库里的货架,复杂的开放世界也能描述出来就能生成。
第二层:场景迁移。这个我觉得是最实用的——同一个动作,能把光照从白天换成傍晚,桌面材质从木头换成大理石,甚至连目标物体都能换掉,但机械臂的运动轨迹保持不变。等于说,你采集一次真实数据,通过它就能自动变成几十种不同场景下的训练资料。
第三层:交互视频生成。就是根据初始状态和操作指令,生成后续的连贯视频。这点挺难的——一般的视频生成模型,画面流畅就行,但机器人训练要求物理一致性,水不能从杯子里凭空消失,物体不能穿模。U0 在这块做得不错,零样本就能泛化到没见过的场景。
第四层反而是最"常规"的:通用图像生成和编辑。跟市面上的文生图模型差不多,但好处是机器人的视觉知识可以和网络上的海量图像知识打通。
更关键的是效率。小米给 U0 配了 FlashAR+ 推理加速方案,生成效率比原始自回归方式提升了将近83倍。什么意思?以前等一帧画面等半天,现在唰唰唰地出。
真机测试结果也挺能说服人的:在未知光照、陌生背景这些"出分布"场景下,用 U0 扩增数据训练后的模型,任务完成度平均提升了26%以上。而且在 WorldArena 评测基准上,126个模型参评,U0 拿了个总分第一。
代码和权重都全量开源了,项目主页、GitHub、HuggingFace、魔搭上都能拿到。有兴趣的可以直接拉下来跑跑看。
说实话,这几年具身智能喊得震天响,但真正把数据这个"卡脖子"问题拿出来好好解决的,不多。与其卷模型参数,不如先把数据底座搭好。小米这次选的这个切口,挺准的。
评论 (0)
暂无评论,来写第一条吧 ✍️