上海，2025年4月17日 – 科技进步的最终目标是服务于人。面对全球数百万视力障碍人士的出行难题，上海交通大学、上海人工智能实验室等机构的科研团队，通过融合软件和硬件创新，开发出一种AI强化的人性化多模态视觉辅助系统。这项研究成果以“Human-centred design and fabrication of a wearable multimodal visual assistance system”为题，于2025年4月14日发表在国际顶级期刊《Nature》上，标志着人工智能在改善残疾人生活质量方面迈出了重要一步。
背景：盲人辅助技术的挑战与机遇
为盲人“定制一双眼睛”，一直是医疗和科技领域长期以来的追求。可穿戴式设备通过将环境信息转换为其他感官模式，并将其反馈到大脑，从而弥补视力的缺失。然而，现有的人工智能驱动的可穿戴电子系统，往往未能充分考虑到盲人的实际需求和适应状况，导致采用率较低。这些系统在信息呈现方式、交互便捷性、以及对复杂环境的适应性等方面，仍然存在诸多挑战。
传统的视觉辅助设备，例如导盲犬和手杖，虽然在一定程度上能够帮助盲人进行导航，但存在局限性。导盲犬需要长时间的训练和维护，且无法识别所有障碍物；手杖则依赖于用户的触觉感知，无法提供远距离的信息。因此，开发一种更加智能、便捷、且能够提供更全面环境信息的视觉辅助系统，具有重要的现实意义。
创新：多模态融合与人性化设计
上海交通大学的研究团队，针对现有技术的不足，提出了一种全新的解决方案。该系统采用多模态融合的方式，将视觉信息转化为听觉和触觉反馈，并通过定制的AI算法，提高系统的智能化水平和用户体验。
软件创新：专属AI算法与场景匹配
在软件方面，研究团队定制了专属的AI算法，用于匹配场景和人类行为需求。该算法能够实时分析设备摄像头传输的图像，识别出关键对象，并根据用户的行为意图，提供相应的辅助信息。
该系统采用了移动目标检测算法YOLOv8n，在实验测试的数据集中表现出卓越的精度（自定义数据集调整后0.82，预训练0.59）。YOLOv8n是一种高效的目标检测算法，能够在低功耗计算单元上快速处理图像数据，保证系统的实时性。
此外，该系统还采用了RGB和红外图像的组合，以保证设备在环境光不足与运动模糊等现实问题考验下的发挥。RGB图像提供色彩信息，而红外图像则可以提供深度信息，即使在光线较暗的环境下，也能准确识别障碍物。嵌入式惯性测量单元（IMU）则可以避免设备对模糊图像进行不准确的分析，提高系统的鲁棒性。
为了能够准确检测各种障碍物，例如悬挂、地面和沉没障碍物，研究团队使用了两种方法——全局阈值与地面间隔相结合。前者检查深度图像中的所有像素，深度在一定阈值区间内的像素被视为障碍物，避免了将地面纳入障碍的范畴；后者将无遮挡地面建模为沿深度图像垂直索引的单调递增函数，在各种条件下都能有效运行，仅需要仔细校准阈值高度。
硬件创新：可拉伸动感人造皮肤与触觉反馈
在硬件方面，研究团队开发了可拉伸的动感人造皮肤，用于补充听觉反馈。传统的视觉辅助设备，往往依赖于听觉传达高密度信息，容易造成用户的认知负荷。为了缓解超负荷所带来的不适，研究团队采用了生物相容性编码策略的设计，来传达高级场景信息。
此外，研究团队还专门设计出更加体贴的人造皮肤，以补充音频反馈的不足。该系统的核心组件是一个紧凑的time-of-Flight（ToF）传感器，当距离小于预定义的阈值时，致动器会振动以刺激皮肤。制动器设计纤薄，以求提高能源利用效率。驱动器与皮肤保持的间距同时保证了执行器的震动与空气流通，变相减少了摩擦损耗。传感器位于手部，根据手指的不同动作切换对应的功能。
这种人造皮肤能够将环境信息转化为触觉反馈，例如，当用户接近障碍物时，人造皮肤会产生振动，提醒用户注意。这种触觉反馈不仅能够提供更直观的信息，还能够减轻用户的认知负荷，提高系统的可用性。
系统演示与实验结果
为了验证系统的有效性，研究团队进行了一系列演示和实验。在演示中，团队使用人形机器人演示系统的视觉功能，达成了在人工视觉的引导下接近苹果的目的。该序列突出了系统的实时视觉识别，为开发以用户为中心的辅助技术奠定了基础。
在另一项试验里，8名参与者在现实环境中测试该设备，包括在城市街道上行走和穿过摆满家具的会议室，这项技术在这些场景中均表现良好。所有参与者都能够在室内导航，他们的步行速度与使用手杖时相似。
实验结果表明，该系统能够有效地帮助盲人进行导航，提高他们的出行安全性和自主性。
专家观点
中国上海交通大学的人工智能研究员Leilei Gu表示，这项系统可以部分取代眼睛，尽管目前的实验尚且停留在原型机阶段。
多位专家对该研究成果给予了高度评价。他们认为，该系统在多模态融合、AI算法优化、以及人性化设计等方面，都取得了显著的进展，为盲人辅助技术的发展提供了新的思路。
未来展望
尽管目前的实验尚且停留在原型机阶段，但这项研究成果已经展现出巨大的潜力。随着技术的不断发展，相信在不久的将来，这种AI赋能的可穿戴多模态视觉辅助系统，一定会为盲人的生活带来新的曙光。
未来的研究方向包括：
- 进一步优化AI算法，提高系统的识别精度和鲁棒性。
- 开发更轻便、舒适、且具有个性化定制功能的可穿戴设备。
- 探索更多模态的融合方式，例如嗅觉和味觉，以提供更全面的环境信息。
- 进行更大规模的临床试验，验证系统的长期有效性和安全性。
结语
上海交通大学的研究团队，通过其在AI和可穿戴技术领域的创新，为盲人辅助技术的发展注入了新的活力。这项研究成果不仅具有重要的学术价值，更具有重要的社会意义。我们期待着这项技术能够早日走向市场，为全球数百万视力障碍人士带来光明和希望。
参考文献
- Gu, L., et al. (2025). Human-centred design and fabrication of a wearable multimodal visual assistance system. Nature, 628(7993), 1-8. https://www.nature.com/articles/s42256-025-01018-6
- Nature News & Comment. (2025). Wearable AI helps people ‘see’ with their skin. https://www.nature.com/articles/d41586-025-01214-9
- TechXplore. (2025). Wearable AI helps people ‘see’ with their skin. https://techxplore.com/news/2025-04-wearable-ai-people.html
致谢： 感谢上海交通大学、上海人工智能实验室等机构的科研团队为本文提供的信息和支持。
Views: 1