机器人本体和负责运动控制的小脑不断进步,行走、平衡、完成指定动作已有技术基础。但进入生产环境,机器人还需要理解作业要求、判断现场变化、规划任务,并从示范和执行反馈中学习。如何训练出适应具体生产场景、能够持续改进的具身智能大脑,是从动作展示走向实际应用的重要一环。
据此,像衍科技提出数据闭环具身智能大脑训练场方案:以云边端协同的智算底座组织训练、推理与本体运行,通过物理一致的场景生成和仿真工具开展训练测试,再将训练成果部署到本体进行评估,回收表现不佳的场景,制作、扩展为新的训练案例。让大脑的开发沿着“场景构建 — 仿真训练 — 本体评测 — 数据回收 — 优化迭代”持续推进。
1.为什么需要云边端协同的智算底座?
训练具身智能大脑,需要同时组织起三类设备,用于模型训练和仿真计算的服务器、用于运行推理服务的计算设备,以及承担感知与执行任务的机器人本体。如果三者分散管理,研发团队就需要反复协调资源、搬运训练成果、配置运行环境,现场数据也难以及时返回训练环节。
像衍科技以衍生智算作为计算底座,围绕英伟达(NVDA) GPU 与国产算力等异构资源开展统一纳管,按照设备配置、软件环境与任务需求组织资源分配,并将云侧训练、边侧推理和端侧本体运行衔接起来。
训练机器集中管理。将训练服务器纳入资源视图,组织计算资源、开发环境和训练任务,为模型训练、数据处理及仿真测试准备计算条件,减少不同团队重复配置环境和协调设备的工作。
推理机器按任务组织。管理承担推理服务的云侧或边侧计算设备,衔接模型部署、运行环境与服务状态,让训练成果进入实际任务所需的运行位置。
本体与现场设备协同管理。通过设备接入、任务下发、状态监控和数据回传,打通机器人本体、边缘计算设备与现场传感器(885946),使任务要求能够下达到现场,执行结果能够返回研发侧。
云边端协同分工清晰。云侧负责训练与集中计算,边侧承接现场推理和运行管理,端侧完成感知与执行。对本体厂商而言,新场景适配可以在同一套资源与工具体系中推进,减少训练端和现场端之间的反复衔接。
2.为什么需要物理一致的场景生成器
让机器人适应一个新厂区,往往需要反复采集数据、布置障碍、调试任务,再验证修改后的效果。涉及夜间、雨雾、遮挡甚至一些极端特殊通行条件例如逆行时,团队难以等到合适的环境,协调设备和人员到场。
物理一致的场景生成器,是把现场构建成能够反复使用的虚拟训练环境。像衍科技方案围绕真实场景的空间结构、物体属性和本体运动特性组织仿真,让研发团队在虚拟环境中复现问题、调整条件并开展测试。
物理一致性需要落实到三个层面:按照现场尺寸与布局还原设备、道路和障碍物;为物体和本体配置质量、摩擦、碰撞及关节等属性;结合实测数据校准运动和传感器(885946)响应。例如,机器人在某种地面上的加速、制动与接触表现,需要与对应的物理参数关联起来,让仿真结果能够服务实际部署。
在已有场景基础上,还可以调整障碍位置、光照、可见度和通行条件,生成现实中不易集中采集的长尾场景。一次现场采集和场景构建,可以延伸出多组训练与测试条件。
这样,团队能够将反复布置现场、等待特殊条件的工作,转为仿真中的参数调整与批量测试,减少真机占用、人员协调和重复采集的成本,将现场验证集中在关键结果上。
3.仿真环境怎样同时支持场景编排、物理机理仿真与大脑训练?
具身智能仿真需要同时仍然有难点需要克服如机器人看到什么、动作会产生什么物理结果,以及怎样通过训练改进表现。像衍科技方案围绕场景与物体构建、物理机理仿真和学习训练组织工具,分别发挥 UnrealEngine、MuJoCo 与 NVIDIAIsaac 生态的能力。
UnrealEngine:构建场景与物体的视觉环境。将建模、重建或 CAD 等来源的资产组织为厂房、设备、道路和障碍物,配置材质、光照及观察视角,为场景理解和视觉感知提供训练测试环境。其 Datasmith 工具支持将多种 CAD 场景导入 UnrealEngine,帮助复用已有工程资产。
MuJoCo:模拟接触、摩擦与运动响应。通过本体结构、质量惯量、关节、执行器和接触参数建立动力学模型,计算动作指令引起的运动变化。例如,调整地面摩擦或本体负载后,观察加减速、姿态和接触状态如何变化,为运动策略测试提供物理依据。
Isaac 生态:组织机器人学习与仿真训练。其中,IsaacSim 提供机器人仿真、传感器(885946)模拟与合成数据生成;IsaacLab 面向强化学习、模仿学习等机器人学习任务组织训练。在强化学习中,根据任务设置观测、动作和奖励,让策略通过反复试验更新;在模仿学习中,利用示范数据学习执行方式。面向视觉感知等深度学习任务,则可以利用合成数据与现场数据组织训练和验证。
这三个层面的工作围绕共同的任务目标展开:场景提供环境,物理仿真计算交互结果,学习工具利用数据和反馈更新策略。研发团队由此能够把场景准备、策略训练与效果评测衔接起来,减少从零搭建训练流程的工作。
4.训练好的大脑如何部署到本体并评估效果?
像衍科技方案通过本体接口与设备协议适配,连接主流机器人、机器狗、无人车等执行设备,以及摄像头和数百种物联网(885312)传感器(885946)。本体侧衔接状态与指令接口,感知侧衔接数据采集接口,为训练成果下发和运行数据回收建立通路。
完成模型导出、运行环境与本体接口适配后,通过 OTA 远程更新将模型及相关运行组件下发到对应设备,再组织现场评估任务。研发人员可以围绕任务完成情况、异常出现位置和本体执行状态,检查训练成果在真机上的表现。
评估过程中,将图像、传感器(885946)数据、运动轨迹、任务指令与运行日志按时间关联起来,保留问题发生前后的过程。例如,机器人未到达指定检查点时,可以回看当时的通道情况、定位状态、规划结果和执行动作,定位需要改进的环节。
表现不佳的片段随即成为案例加工的输入。现场团队提交具体问题与对应记录,研发团队据此复现、分析和优化,让真机评测同时承担效果验证与数据积累的作用。
5.如何把错误加工成持续优化大脑的数据闭环?
数据闭环的关键在于把错误变成可针对性训练与验证的材料。像衍科技方案将现场问题回收、案例制作、场景泛化与训练评测连接,让一次调试经验持续发挥作用。
第一步,把问题片段整理成可以复现的案例。从运行记录中提取异常前后的数据,保留任务目标、场景位置、本体状态和相关模型版本,标记实际表现与预期结果。例如,机器人因检查点附近的遮挡未完成任务,就需要记录遮挡物的位置、观察角度,以及任务在哪一步中断。
第二步,在原案例上增加变化,形成一组训练题。何为案例泛化?同一道题,换几种条件再练。将障碍物向前或向后移动,改变大小、遮挡程度和光照,对于雨雾场景,调整可见度、成像条件及相应的地面物理参数,观察机器人在不同条件下的表现。
这样,原本只有一次的失败记录,就能扩展为多组相关案例,举一反三,帮助大脑学习处理一类问题,而不只是重复某一次测试。
第三步,用扩展后的案例训练,再返回真机检验。将案例用于相关模型或策略的训练、微调和评测,检查原问题是否改善,以及在其他条件下的表现。随后部署到本体开展验证,继续回收新的问题片段,补充到案例与数据资产中。
最终形成“现场发现问题 — 采集过程数据 — 加工问题案例 — 扩展场景条件 — 训练评测 — 部署再验证”的数据闭环。现场问题有了明确的处理路径,模型改进也有了可以持续使用的数据依据。
像衍科技:以数据闭环支撑具身智能大脑训练与运行
像衍科技围绕异构分布式智算操作系统、AI 工具链与智能体应用开展平台建设。面向机器人本体厂商、算法团队和行业应用研发团队,数据闭环具身智能大脑训练场连接计算资源、数据资产、仿真训练测试与运行调度运维,支撑大脑从研发准备到现场使用的持续迭代。
具身智能走进生产环境,需要让大脑理解具体任务,也需要让每一次现场反馈进入后续改进。像衍科技以计算底座与工具链组织训练,以数据闭环积累经验,以运行管理衔接现场,让环境、数据和测试成果持续复用,为具身智能大脑的训练、部署与运行提供平台支撑。
关于像衍科技
杭州像衍科技有限公司是一家聚焦智能计算、人工智能(885728)与人机交互的科技企业,打造“异构分布式智算操作系统+AI 工具链 / 模型库+具身智能大脑+数字人智能体”的全栈工具软件平台,连接底层计算资源、模型研发与智能体应用。
公司核心团队兼具科研积累与工程研发能力。创始人鲍虎军为浙江大学求是特聘教授、博士生导师、国家杰青、教育部长江学者,长期从事图形与视觉计算、混合现实研究;董事长周晓巍为浙江大学“百人计划”研究员、博士生导师,专注三维视觉与混合现实;CEO 许威威为浙江大学长聘教授、博士生导师、教育部长江学者,长期从事三维建模与虚拟现实(885709)研究;CTO 崔广章为浙江大学博士、《深入理解边缘计算》作者,担任多个知名开源项目技术委员会委员,专注云计算(885362)、边缘计算与人工智能(885728)。
衍生智算系统是公司的核心计算底座,由异构设备统一纳管调度与 AI 一站式工具链组成:向下连接多种异构计算设备,组织资源管理与任务调度;向上提供数据集、模型和智能体的研发管理,打通设备资源与智能体应用之间的通道,提高资源利用效率,支撑应用稳定运行。在此基础上,公司面向具身智能大脑训练与运行、数字人内容生成与交互等方向提供平台与工具链支持。
像衍科技以创造具身智能大脑与数字人智能体为使命,致力于实现跨越时空的信息交流与精准交互操作,让智能技术更好地连接数字世界与物理世界。
