上海—— 人工智能领域迎来一项重要突破。由复旦大学联合美团等机构共同研发的UniToken，一种新型的自回归生成模型，正以其统一的视觉编码框架，为多模态理解与生成任务带来革命性的改变。该框架巧妙地结合了离散和连续的视觉表示，旨在同时捕捉图像的高级语义和低级细节，为视觉理解和图像生成任务提供多维度信息。
UniToken的核心功能与技术原理
UniToken并非简单的图像处理工具，而是一个功能强大的多模态AI平台。其主要功能包括：
- 图文理解： 高效处理图像字幕生成和视觉问答（VQA）等任务。
- 图像生成： 支持高质量的图像生成，包括文本到图像、图像编辑和故事生成。
- 多模态对话： 根据输入的文本和图像信息生成自然语言回复，支持复杂的交互任务。
- 复杂指令跟随： 通过指令强化微调，更好地理解和执行复杂的多模态指令，例如根据文本描述和图像生成特定布局的图像。
- 细粒度视觉任务： 借助AnyRes和ViT端到端微调等技术，处理高分辨率图像，提升对图像细节的感知能力。
UniToken的技术原理建立在统一视觉编码的基础上，采用连续和离散双编码器，将VQ-GAN的离散编码与SigLIP的连续表征相结合，生成兼备高层语义和底层细节的视觉编码。这一创新性的设计为多模态大模型提供了完备的视觉信息。
UniToken的训练过程分为多阶段：首先，基于Chameleon作为基座，冻结语言模型（LLM），仅训练SigLIP ViT和Adapter，使连续视觉编码与语言空间对齐。随后，在大规模图文理解与图像生成数据集上进行联合训练，通过控制数据配比，均衡提升模型在理解与生成任务上的性能。最后，引入高质量多模态对话和精细化图像生成数据，通过指令强化微调，增强模型对复杂指令的跟随能力。
UniToken的应用前景
UniToken的强大功能使其在多个领域具有广阔的应用前景：
- 内容创作与设计： 帮助设计师快速生成创意草图或概念图，节省设计时间和精力。
- 智能客服与虚拟助手： 在多模态对话场景中，理解用户输入的文本和图像信息，生成自然语言回复。
- 教育与学习： 通过生成与科学实验、历史事件或文学作品相关的图像，增强学生的视觉记忆和理解能力。
- 医疗与健康： 生成医学图像或解释医学影像，辅助医生进行诊断和治疗。
- 自动驾驶与交通管理： 在自动驾驶场景中进行视觉问答（VQA）任务，辅助自动驾驶系统做出更准确的决策。
专家点评
一位不愿透露姓名的AI领域专家表示：“UniToken的出现，标志着多模态AI技术进入了一个新的阶段。其统一的视觉编码框架，不仅提高了模型的性能，也为未来的研究提供了新的思路。尤其是在内容创作、智能客服和自动驾驶等领域，UniToken有望带来颠覆性的变革。”
开源与未来展望
UniToken已在GitHub上开源，并发布了技术论文，供研究人员和开发者学习和使用。这一举措将加速UniToken的普及和应用，推动多模态AI技术的进一步发展。
随着技术的不断进步和应用场景的不断拓展，UniToken有望成为多模态AI领域的一颗璀璨明星，为人类社会带来更多的便利和价值。
项目地址：
- Github仓库：https://github.com/SxJyJay/UniToken
- arXiv技术论文：https://arxiv.org/pdf/2504.04423
参考文献：
- SxJyJay. (2024). UniToken: Unified Visual Encoding Framework for Multimodal Understanding and Generation. arXiv preprint arXiv:2504.04423.
Views: 4