LoFT原生视频几何基础模型发布,筑牢机器人三维感知技术底座

11月18日,地平线机器人实验室正式发布原生视频几何基础模型LoFT,这是企业布局物理AI基础研究、攻坚机器人具身智能的重要技术突破,为机器人三维空间感知与自主作业提供核心技术支撑。让机器人精准理解真

11月18日,地平线机器人实验室正式发布原生视频几何基础模型LoFT,这是企业布局物理AI基础研究、攻坚机器人具身智能的重要技术突破,为机器人三维空间感知与自主作业提供核心技术支撑。

让机器人精准理解真实三维空间,是其完成复杂自主任务的核心前提。针对机器人从连续视频中提取空间信息的行业难题,LoFT创新采用双循环Transformer架构,融合视频时序建模与三维几何学习,无需依赖深度、相机位姿等额外数据,仅输入普通RGB视频,即可自主估算相机位置、朝向、场景深度,完整还原三维空间结构。模型通过双循环结构分工协作,分别整合跨帧视觉信息、迭代更新相机状态,精准提升复杂场景的三维重建精度。

为保障模型训练效果,地平线搭建专属三维重建数据处理与训练平台,依托297万条有效训练序列、9.62亿帧图像数据,覆盖虚实结合、动静各异的多元场景,为模型习得通用三维几何特征筑牢数据根基。评测结果显示,LoFT在三套主流行业评测体系中,深度估计、相机轨迹恢复等核心指标表现优异,可精准还原动态车辆、快速移动物体等复杂场景细节。

该模型可广泛应用于机器人环境感知、障碍物识别、物体定位、动作规划等场景,有效提升机器人真实环境适配能力。据了解,LoFT是地平线具身智能技术体系的重要组成,企业已先后推出多款仿真、操作、运动控制模型及开源学习基础设施,构建起全链条具身智能研究矩阵。


(来源:国际科技创新中心)
免责声明:本文内容来源于第三方或整理自互联网,本站仅提供展示,不拥有所有权,不代表本站观点立场,也不构成任何其他建议,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容,不承担相关法律责任。如发现本站文章、图片等内容有涉及版权/违法违规或其他不适合的内容, 请及时联系我们进行处理。

相关推荐