大模型之家讯 9月22日，Scalabot正式发布HERON-Spatial Intelligence，重点探索3D仿真资产生成与4D场景记忆两项空间智能能力。前者让现实世界中的物体成为机器人可以理解、操作和验证的数字对象，后者则将分散的视觉观察组织成连续的空间表征，二者共同构成机器人理解物理世界的基础能力。
在3D仿真资产生成方面，Scalabot提出URDream方法——一个从单张图像生成可用于仿真的可动3D资产的智能体框架。该方法根据部件特点自适应选择生成式、参数化或混合建模，在保证视觉还原的同时恢复物体结构与可交互属性；随后检查关节、质量、质心、惯量和碰撞等物理属性，通过静态、运动学和动力学测试发现问题并进行修复，形成生成—验证—诊断—修复的闭环，并沉淀已验证有效的经验供新任务检索复用。
在4D场景记忆方面，HERON-Spatial Intelligence探索构建紧凑的4D场景记忆，将视频和多视角观察中的信息持续整合到共享场景记忆中，并进一步预测点云、相机位姿和深度等空间信息，使机器人在不断获得新观察的同时更新对空间的理解，而不必每看到一帧新画面就重新认识一次环境。
Scalabot表示，此前已陆续发布HERON-World Model与HERON-CRA，分别探索机器人对未来世界的预测能力，以及基于上下文和反馈持续学习、自主行动的能力。此次发布的Spatial Intelligence负责建立对空间世界的表征，与前者共同构成HERON围绕空间理解、未来推演与自主行动的技术架构，三者在底层Data Infrastructure的支撑下相互配合，硬件平台、数据采集、仿真与多源数据持续提供训练和推演所需数据，而机器人在真实世界中的观察、动作与反馈又进入数据闭环，推动模型迭代。
据悉，相关代码将于近期开源，更多细节可参考Scalabot研究博客。
原创文章，作者：志斌，如若转载，请注明出处：http://www.damoai.com.cn/archives/19001
