叠衣服、擦案板、冲果汁,能做家务的国产机器人终于要来了
将家务全部交给机器人的那一天,或许会比想象中更快到来。
折叠衣物(3 倍速播放):对柔性物体的操作长久以来都是困扰整个 manipulation 领域的难题,需要高度灵活的操作和精细的动作协调。
切火腿(2 倍速播放):复杂的摩擦和阻力,难以用传统方法快速建模,需要精确的力度控制与物体定位。
切黄瓜,2 倍速播放:在一种物体上习得的能力直接泛化到不同物体的操作上。
用海绵擦掉案板上的污渍(2 倍速播放):自修正的 close loop 控制能力,在不同压力和表面条件下的精细力度控制,实时检测并调整擦拭动作,确保彻底清洁污渍。
用勺子从罐子里取出适量的果汁粉(3 倍速播放):使用工具的过程中,处理复杂的摩擦一直以来都是极大难点。
软硬件一体,驱动数据飞轮
「我们希望模型拥有怎样的能力,就需要提供给模型什么样的数据。是数据,而非算法或结构决定了模型的能力,这是当今时代的核心方法论。」
机器人的特殊性在于,它是一个具有前所未有复合性的综合系统。相比纯软件的 LLM 和多模态大模型,具身智能大模型虽然在规模上暂时无法与之相比,但在工程上难度要高出许多,它必须在海量的真实和模拟场景中不断实践、学习。因此,能否找准技术方向,在降低开发成本和提高迭代效率的同时,打造高质量的数据采集能力,控制试错成本,最终实现规模化,是决定成败的关键因素。
这对团队软硬一体的能力提出了很高的要求,因为是否具有足够的软硬结合能力,在机器人这一多模态集中融合的领域直接关系到迭代速度与数据质量。软硬件一体发展,是 X Square 的核心理念。无论是机器人本体的形态设计,还是数据采集系统,都是为机器人「中枢神经系统」的开发在服务。
在模型算法设计上,X square 也有自己独特的理解和创新。「除了需要有专门的数据,还需要针对性的结构设计和训练方法,不能单纯套用其他领域的大模型经验,因为它必须直接面对复杂的真实世界,要在真实世界中不断实践、迭代。」
同时,由于大模型与传统 deep learning for robotics 具有相当的 gap,是否真正具备足够的大模型训练落地经验,决定了能否快速构建通用具身智能大模型。这也正是 X Square 的优势所在。
「目前语言大模型的训练预测架构在机器人上不完全work,以 Transformer 为底座算法模型不能很好地支持因果关系的推理,而因果性在机器人所在的物理世界中大量出现,并在机器人操作中起关键作用。为了处理因果性,目前有很多 world model 的尝试。但当前的世界模型要么完全集中在图像 / 视频重建上(如 Sora),要么完全集中在高层语义理解上,缺乏适合机器人的形态。」
X Square 笃定机器人大模型这个方向,一方面是基于团队成员亲历深度学习从被质疑到一统江湖,以及 LLM 从默默无闻到大放异彩的技术浪潮,另一方面,也是看好中国作为全球硬件中心,拥有得天独厚的产业链优势,也有利于快速缩短机器人的研发周期。
团队在不到 3 个月的时间里,就完成了技术架构的搭建和早期模型的训练,展现出惊人的成长速度和卓越的工程能力。
「在现阶段,我们也积极寻求与上下游合作伙伴的协作,实现智能的迭代升级。未来,随着具身智能大模型技术的日益成熟,我们会更聚焦于特定应用场景,推出自己的机器人产品,例如能完成做饭、打扫等复杂家务的机器人保姆,甚至进行老年人康养护理等服务。」X Square 表示。
-
构建高效算力生态:Infiniband、RoCE 组网与英伟达的创新融合
Infiniband 组网、RoCE 组网、GPU 池化管理、算力调度以及英伟达的先进技术相互协作,共同构建了一个高效的算力生态系统。在未来,随着技术的不断进步和应用场景的不断拓展,这个算力生态系统将继续发挥重要作用,为各行业的发展提供强大的动力。
넶0 2024-09-18 -
开启 AI 计算新时代:从 AIPC 到深度学习服务器及 AI 电脑
AIPC、渲染主机、工控主机、深度学习主机、深度学习服务器以及 AI 电脑等设备,在不同的领域和应用场景中发挥着重要的作用。随着 AI 技术的不断发展和应用的不断拓展,这些设备将不断创新和完善,为我们带来更加智能、高效和便捷的生活和工作体验。
넶0 2024-09-18 -
探索 VR 新视界:大空间的魅力与多元互动
VR 大空间、大空间 LBE、大空间多人互动以及 Pico 和 HTC Vive 等设备共同构建了一个丰富多彩的 VR 世界。在这个世界里,人们可以尽情探索、娱乐和社交,体验到科技带来的无限魅力。随着 VR 技术的不断进步和创新,我们有理由相信,未来的 VR 世界将会更加精彩,为人们的生活带来更多的惊喜和乐趣。
넶0 2024-09-18 -
算力新时代:租赁、服务与创新共筑未来
算力租赁、算力服务、算力中心的建设和运营以及英伟达 SuperPod 共同构成了一个充满活力和创新的算力生态系统。在这个系统中,用户可以根据自己的需求选择合适的算力获取方式,而技术创新则不断推动着算力的发展和应用拓展。随着数字化进程的不断加速,我们有理由相信,这个算力生态系统将在未来发挥更加重要的作用,为人类社会的发展带来更多的机遇和挑战。
넶0 2024-09-18 -
构建高效算力生态:Infiniband 与 RoCE 组网、GPU 池化及更多创新
Infiniband 组网、RoCE 组网、GPU 池化、算力管理以及英伟达 H20 等技术和产品相互协作,共同构建了一个高效、灵活和可持续的算力生态系统。在未来,随着技术的不断进步和应用场景的不断拓展,这个算力生态系统将在更多领域发挥关键作用,为人类社会的发展带来更多的创新和机遇。
넶3 2024-09-14 -
探索 AI 计算新领域:从 AIPC 到深度学习服务器及 AI 电脑
AIPC、渲染主机、工控主机、深度学习主机、深度学习服务器以及 AI 电脑等设备,在不同的领域和应用场景中发挥着重要的作用。随着 AI 技术的不断发展和应用的不断拓展,这些设备将不断创新和完善,为我们带来更加智能、高效和便捷的生活和工作体验。
넶3 2024-09-14