机器人相关学术速递[8.1]

主要观点总结

本文介绍了多个与机器人、人工智能、自动化等相关的研究项目，涵盖了从基础理论研究到实际应用开发的多个方面。这些项目包括使用大型语言模型(LLM)的AI代理的开发、认知水下机器人自主性、基于推理的机器人抓取系统、生物启发机器人物理天线的设计、多任务强化学习在可视化代理中的应用、增强视觉-语言-动作模型中的潜在动作建模、基于3D高斯飞溅的SLAM系统、终身双层定位、分布式鲁棒声学通信高效的SLAM系统、基于外骨骼的运动学校准、大规模并行多任务强化学习、超越刚性人工智能实现人机共生、实验驱动的车辆队列稳定性分析、视觉语言融合用于实时自动驾驶、多风格四足机器人运动、广义机器人世界和手眼校准算法、早期目标引导多尺度融合、学习修剪树枝、工人对在教堂使用社交机器人的看法，以及基于交互学习的多模式机器人。这些研究项目旨在解决从基础科学问题到实际应用问题的多个方面，展示了人工智能和机器人技术在各个领域中的广泛应用和潜力。

关键观点总结

关键观点1: 使用大型语言模型(LLM)的AI代理的开发

建立在大型语言模型上的AI代理拥有巨大的前景，但目前的实践集中在一个任务一个代理的方法上，这不仅缺乏可扩展性和通用性，而且还受到自回归LLM的根本限制。人类是一般的代理人，他们通过在心理上模拟他们的行动和计划的结果来推理。走向一个更一般和强大的AI代理，我们介绍SimuRA，一个面向目标的架构，广义代理推理。

关键观点2: 认知水下机器人自主性

在机器人导航复杂，不可预测的环境中实现强大的认知自主性仍然是机器人技术的一个根本挑战。本文介绍了水下机器人自组织自治（UROSA），这是一种突破性的架构，利用集成在机器人操作系统2（ROS 2）框架内的分布式大语言模型AI代理，以实现自主水下航行器的高级认知功能。

关键观点3: 基于推理的机器人抓取系统

一般的机器人抓取系统需要在遵循人类指令的各种开放世界场景中准确的对象示能感知。为了解决这个问题，我们建立了一个大规模的抓取导向的启示分割基准与人类一样的指令，名为RAGNet。它包含273k图像，180个类别和26k推理指令。

关键观点4: 生物启发机器人物理天线的设计

美洲大蠊（Periplaneta americana）利用其柔软的触角从成千上万个分布式机械传感器中提取丰富的触觉信息来指导决策。为了克服在昆虫规模的机器人中复制这些功能的挑战，我们引入CITRAS（蟑螂启发触觉机器人天线传感器），一个生物启发，多段，兼容层压传感器与嵌入式电容角度传感器。

关键观点5: 多任务强化学习在可视化代理中的应用

虽然强化学习（RL）在语言建模方面取得了巨大的成功，但它的胜利还没有完全转化为可视化代理。本文提供了一个初步的答案，这一挑战表明，RL微调的视觉智能体在Minecraft可以实现zero-shot泛化到看不见的世界。

关键观点6: 增强视觉-语言-动作模型中的潜在动作建模

视觉-语言-动作（VLA）模型已经成为学习机器人操作策略的流行范式，可以遵循语言指令并推广到新的场景。本文介绍了villa-X，一种新的视觉语言潜在的行动（ViLLA）框架，学习概括的机器人操作策略的潜在行动建模。

关键观点7: 基于3D高斯飞溅的SLAM系统

3D高斯溅射（3DGS）由于其快速渲染和高保真表示最近在SLAM应用中获得了普及。然而，现有的3DGS-SLAM系统主要集中在室内环境中，并依赖于主动深度传感器，这为大规模的室外应用留下了空白。

关键观点8: 终身双层定位

基于LiDAR的定位是自主系统的关键组成部分，但现有方法在平衡可重复性、准确性和环境适应性方面面临着持续的挑战。本文提出了DuLoc，这是一种强大而准确的定位方法，它将LiDAR惯性测距与离线基于地图的定位紧密结合，并结合了恒定速度的运动模型，以减轻真实场景中的离群噪声。

关键观点9: 分布式鲁棒声学通信高效的SLAM系统

我们提出了DRACo-SLAM 2，一个分布式SLAM框架，水下机器人团队配备了多波束成像声纳。该框架改进了原来的DRACo-SLAM通过引入一种新的表示声纳地图作为对象图，并利用对象图匹配，以实现时间效率的机器人间环路闭合检测，而不依赖于先前的几何信息。

关键观点10: 基于外骨骼的运动学校准

手部外骨骼是灵巧遥控操作和沉浸式操纵界面的关键工具，但实现准确的手部跟踪仍然是一个挑战。本文提出了一个特定于主题的校准框架exobronon为基础的手跟踪，使用冗余关节传感和剩余加权优化策略来估计虚拟链接参数。

关键观点11: 大规模并行多任务强化学习

多任务强化学习（MTRL）已经成为将强化学习（RL）应用于一组复杂的现实世界机器人任务的关键训练范例，这需要一个可推广和鲁棒的策略。与此同时，大规模并行化训练也越来越受欢迎，这不仅是因为通过GPU加速的模拟来显著加速数据收集，而且还因为通过并行模拟异构场景来实现跨多个任务的多样化数据收集。

关键观点12: 超越刚性人工智能实现人机共生

新兴的手术数据科学和机器人解决方案，尤其是那些旨在提供原位援助的解决方案，需要自然的人机界面来充分释放其在提供自适应和直观援助方面的潜力。

关键观点13: 实验驱动的车辆队列稳定性分析

本文介绍了一个有形平台的开发，用于演示协同自适应巡航控制（CACC）系统的实际实施，通过车到万物（V2X）通信增强标准自适应巡航控制（ACC）概念。

关键观点14: 视觉语言融合用于实时自动驾驶

自动驾驶汽车需要几何精度和语义理解来导航复杂的环境，但大多数堆栈都单独处理它们。我们提出了XYZ驱动器，一个单一的视觉语言模型，读取前置摄像头帧，25m $\times25m $开销地图，和下一个航点，然后输出转向和速度。

关键观点15: 多风格四足机器人运动

四足机器人在实现多功能运动方面面临着持续的挑战。为了解决这些挑战，这种方法引入了一种基于运动生成的多风格四足机器人运动框架，集成了运动生成和模仿学习的协同进步。

关键观点16: 广义机器人世界和手眼校准算法

外部传感器的自动标定是多传感器平台的基本问题。可靠和通用的解决方案应该是计算效率高，需要很少的假设的结构的传感环境，并要求很少的努力，从人类操作员。

关键观点17: 早期目标引导多尺度融合

自动驾驶汽车必须在毫秒内做出反应，同时推理道路几何形状和交通意图，以应对复杂的情况。我们介绍了NovaDrive，这是一种单分支视觉语言架构，可以在单个分支中处理前置摄像头图像，高清地图，LiDAR深度和文本航点。

关键观点18: 学习修剪树枝

果树修剪是劳动密集型的，但对维持现代高产果园至关重要。在这项工作中，我们提出了一个闭环视觉控制器的机器人修剪。

关键观点19: 工人对在教堂使用社交机器人的看法

本文探索了工人对在教堂中使用社交机器人的看法，通过访谈和主题分析，了解他们对社交机器人引入教会的看法，并分析了这些看法。

关键观点20: 基于交互学习的多模式机器人

本文介绍了iLearnRobot，一个基于交互学习的多模式机器人，通过整合交互式学习，使机器人在不同环境中实现卓越的适应性和性能。

免责声明