叠衣服、擦案板、冲果汁,能做家务的国产机器人终于要来了
将家务全部交给机器人的那一天,或许会比想象中更快到来。
折叠衣物(3 倍速播放):对柔性物体的操作长久以来都是困扰整个 manipulation 领域的难题,需要高度灵活的操作和精细的动作协调。
切火腿(2 倍速播放):复杂的摩擦和阻力,难以用传统方法快速建模,需要精确的力度控制与物体定位。
切黄瓜,2 倍速播放:在一种物体上习得的能力直接泛化到不同物体的操作上。
用海绵擦掉案板上的污渍(2 倍速播放):自修正的 close loop 控制能力,在不同压力和表面条件下的精细力度控制,实时检测并调整擦拭动作,确保彻底清洁污渍。
用勺子从罐子里取出适量的果汁粉(3 倍速播放):使用工具的过程中,处理复杂的摩擦一直以来都是极大难点。
软硬件一体,驱动数据飞轮
「我们希望模型拥有怎样的能力,就需要提供给模型什么样的数据。是数据,而非算法或结构决定了模型的能力,这是当今时代的核心方法论。」
机器人的特殊性在于,它是一个具有前所未有复合性的综合系统。相比纯软件的 LLM 和多模态大模型,具身智能大模型虽然在规模上暂时无法与之相比,但在工程上难度要高出许多,它必须在海量的真实和模拟场景中不断实践、学习。因此,能否找准技术方向,在降低开发成本和提高迭代效率的同时,打造高质量的数据采集能力,控制试错成本,最终实现规模化,是决定成败的关键因素。
这对团队软硬一体的能力提出了很高的要求,因为是否具有足够的软硬结合能力,在机器人这一多模态集中融合的领域直接关系到迭代速度与数据质量。软硬件一体发展,是 X Square 的核心理念。无论是机器人本体的形态设计,还是数据采集系统,都是为机器人「中枢神经系统」的开发在服务。
在模型算法设计上,X square 也有自己独特的理解和创新。「除了需要有专门的数据,还需要针对性的结构设计和训练方法,不能单纯套用其他领域的大模型经验,因为它必须直接面对复杂的真实世界,要在真实世界中不断实践、迭代。」
同时,由于大模型与传统 deep learning for robotics 具有相当的 gap,是否真正具备足够的大模型训练落地经验,决定了能否快速构建通用具身智能大模型。这也正是 X Square 的优势所在。
「目前语言大模型的训练预测架构在机器人上不完全work,以 Transformer 为底座算法模型不能很好地支持因果关系的推理,而因果性在机器人所在的物理世界中大量出现,并在机器人操作中起关键作用。为了处理因果性,目前有很多 world model 的尝试。但当前的世界模型要么完全集中在图像 / 视频重建上(如 Sora),要么完全集中在高层语义理解上,缺乏适合机器人的形态。」
X Square 笃定机器人大模型这个方向,一方面是基于团队成员亲历深度学习从被质疑到一统江湖,以及 LLM 从默默无闻到大放异彩的技术浪潮,另一方面,也是看好中国作为全球硬件中心,拥有得天独厚的产业链优势,也有利于快速缩短机器人的研发周期。
团队在不到 3 个月的时间里,就完成了技术架构的搭建和早期模型的训练,展现出惊人的成长速度和卓越的工程能力。
「在现阶段,我们也积极寻求与上下游合作伙伴的协作,实现智能的迭代升级。未来,随着具身智能大模型技术的日益成熟,我们会更聚焦于特定应用场景,推出自己的机器人产品,例如能完成做饭、打扫等复杂家务的机器人保姆,甚至进行老年人康养护理等服务。」X Square 表示。
-
InfiniBand组网、RoCE组网、GPU池化管理、算力调度与英伟达SuperPOD的融合发展
InfiniBand组网、RoCE组网、GPU池化管理和算力调度的技术进步,与英伟达SuperPOD的硬件和软件解决方案相结合,共同构建了一个高效、灵活且可扩展的计算环境,为数字化转型和智能化升级提供了坚实的基础。随着技术的不断进步和市场需求的增长,这一领域将继续展现出巨大的潜力和价值。
넶0 2024-11-22 -
VR大空间、大空间LBE、大空间多人互动技术的发展与PICO、HTC VIVE的融合
VR大空间技术、大空间LBE以及大空间多人互动技术的发展,与PICO和HTC VIVE的创新实践相结合,共同推动了VR技术在沉浸式体验领域的进步。随着技术的不断成熟和市场的扩大,这些技术有望为用户带来更加丰富和真实的虚拟体验。
넶0 2024-11-22 -
算力租赁、算力服务、算力中心与英伟达SuperPOD的融合发展
算力租赁、算力服务、算力中心与英伟达SuperPOD的融合发展,共同开启了一个全新的算力时代。这种融合发展模式在各个行业都展现出了巨大的潜力,为各行业的数字化转型和创新发展注入了源源不断的动力,创造了更多的价值和可能。
넶0 2024-11-22 -
InfiniBand组网、RoCE组网、GPU池化管理、算力调度与英伟达SuperPOD的深度融合
InfiniBand组网、RoCE组网、GPU池化管理和算力调度的技术进步,与英伟达SuperPOD的硬件和软件解决方案相结合,共同构建了一个高效、灵活且可扩展的计算环境,为数字化转型和智能化升级提供了坚实的基础。随着技术的不断进步和市场需求的增长,这一领域将继续展现出巨大的潜力和价值。
넶3 2024-11-21 -
VR大空间、大空间LBE、大空间多人互动技术的发展与PICO、HTC VIVE的融合
VR大空间技术、大空间LBE以及大空间多人互动技术的发展,与PICO和HTC VIVE的创新实践相结合,共同推动了VR技术在沉浸式体验领域的进步。随着技术的不断成熟和市场的扩大,这些技术有望为用户带来更加丰富和真实的虚拟体验。
넶3 2024-11-21 -
InfiniBand组网、RoCE组网、GPU池化管理、算力调度与英伟达的协同发展
InfiniBand组网、RoCE组网、GPU池化管理和算力调度的技术进步,与英伟达的SuperPOD解决方案相结合,共同构建了一个高效、灵活且可扩展的计算环境,为数字化转型和智能化升级提供了坚实的基础。随着技术的不断进步和市场需求的增长,这一领域将继续展现出巨大的潜力和价值。
넶4 2024-11-20