加州山景城 – 谷歌DeepMind近日发布了其首个可在机器人本地运行的视觉-语言-动作（VLA）模型——Gemini Robotics On-Device。这一突破性技术标志着机器人智能发展的重要里程碑，它将赋予机器人更强的自主性和适应性，有望在工业制造、物流仓储、医疗护理、家庭服务和零售服务等多个领域掀起变革。
本地运行，摆脱云端束缚
长期以来，机器人依赖云端计算进行复杂任务处理，这不仅带来网络延迟和连接不稳定等问题，也限制了其在离线环境中的应用。Gemini Robotics On-Device的出现，彻底改变了这一局面。该模型能够在机器人本地运行，无需依赖云端，即使在没有网络连接或网络信号弱的环境中，也能稳定地执行任务。
自然语言理解，人机交互更便捷
Gemini Robotics On-Device具备强大的自然语言理解能力，能够理解人类的自然语言指令，并处理复杂的多步骤指令。这意味着，用户无需编写复杂的代码，只需通过简单的口头指令，即可控制机器人完成各种任务，极大地简化了人机交互过程。
精细操作，应用场景更广泛
Gemini Robotics On-Device支持多种机器人本体部署，从人形机器人到工业双臂机器人，都能胜任。它能够完成各种需要精细操作的任务，例如拉开袋子、叠衣服、给午餐盒拉拉链、抽卡片、倒沙拉酱，甚至包括工业级的皮带装配等。这些能力使其在工业制造、物流仓储、医疗护理、家庭服务和零售服务等领域拥有广阔的应用前景。
快速适应，泛化能力更强
Gemini Robotics On-Device的另一大亮点是其快速适应新任务的能力。谷歌首次开放VLA模型的微调功能，开发者只需要50到100个演示样本，就能让模型适应全新的任务。即使是最复杂的任务，用不到100个样本就能达到相当高的成功率。此外，该模型还具备强大的跨平台部署能力，能够迁移到完全不同的机器人平台上，如双臂Franka FR3机器人和Apptronik公司的Apollo人形机器人，展现出强大的泛化能力。
技术解析：多模态推理与安全保障
Gemini Robotics On-Device基于Gemini 2.0的多模态推理能力，能同时处理视觉、语言和动作等多种模态的信息。它基于视觉输入感知环境，理解语言指令确定任务目标，生成相应的动作完成任务。为了实现本地运行，模型经过优化，减少计算资源需求，同时保持强大的性能。此外，该模型还采用了基于语义安全和物理安全并重的整体安全方案，确保机器人在执行任务时的安全性。
开发者福音：Gemini Robotics SDK助力模型部署
为了方便开发者评估和部署Gemini Robotics On-Device模型，谷歌推出了Gemini Robotics SDK。该SDK将助力开发者降低开发成本和风险，加速机器人智能应用的落地。
应用展望：开启机器人智能新时代
Gemini Robotics On-Device的发布，标志着机器人智能发展进入了一个新的时代。随着技术的不断成熟和应用场景的不断拓展，我们有理由相信，机器人将在未来的社会生活中扮演越来越重要的角色。
以下是Gemini Robotics On-Device在不同领域的潜在应用：
- 工业制造： 在工业生产线上，执行复杂装配任务，如汽车零部件组装、电子设备精细安装等，提高生产效率和质量。
- 物流仓储： 协助搬运货物、管理库存，识别货物信息按指令进行分类、堆叠，优化物流流程，减少人工错误。
- 医疗护理： 辅助医护人员进行手术器械传递、康复训练指导等工作，为患者提供精准护理，减轻医护人员工作负担。
- 家庭服务： 帮助完成家务劳动，如打扫卫生、整理物品、照顾老人和儿童等，提升生活便利性和舒适度。
- 零售服务： 在商场、超市等场所，为顾客提供商品信息查询、购物引导、货物搬运等服务，提升购物体验。
项目官网： https://deepmind.google/discover/blog/gemini-robotics-on-device-brings-ai-to-local-robotic-devices/
参考文献
- DeepMind. (2024). Gemini Robotics On-Device: Brings AI to Local Robotic Devices. Retrieved from https://deepmind.google/discover/blog/gemini-robotics-on-device-brings-ai-to-local-robotic-devices/
Views: 0