上海，[当前日期] – 上海交通大学听觉认知与计算声学实验室今日正式推出全球首个纯学术界自研的口语对话情感大模型“交交”。这款大模型不仅具备强大的多人对话、多语言交流、方言理解、角色扮演、情感互动及知识问答等功能，更在端到端语音对话、多语言理解、多人互动及实时音色克隆等技术上实现了创新突破，为智能语音助手领域带来了新的可能性。
“交交”：打破技术壁垒，学术界自主研发的里程碑
在人工智能领域，大型语言模型（LLM）的研发往往需要巨大的资金投入和强大的算力支持，长期以来被科技巨头所主导。上海交通大学此次发布的“交交”，打破了这一局面，证明了学术界在AI技术研发上的巨大潜力。这款模型的成功发布，不仅是上海交大在人工智能领域的重要成果，更是中国乃至全球学术界在AI技术自主研发道路上的一个重要里程碑。
“交交”的研发团队负责人表示：“我们希望通过‘交交’的发布，能够激发更多学术界的力量投入到AI技术的研究中来，共同推动人工智能技术的进步和发展。我们相信，学术界的创新精神和开放合作的态度，将为AI技术的发展注入新的活力。”
功能亮点：多语言、情感化、个性化，打造沉浸式交互体验
“交交”作为一款口语对话情感大模型，其功能亮点主要体现在以下几个方面：
1. 多人对话：精准识别，个性化回应
“交交”能够同时与多位用户进行自然流畅的对话，精准识别每个人的身份和发言内容，并给出个性化的回应。这得益于其先进的多人对话建模技术，能够模拟真实场景，增强模型的对话处理能力。通过端到端模型融合上下文信息，生成个性化的响应和总结，实现自然且连贯的多方互动。
传统的语音助手在多人对话场景下往往难以区分不同用户的声音，容易出现混淆和误判。“交交”通过先进的声纹识别技术和语音分离技术，能够准确识别不同用户的声音，并根据用户的身份和发言内容，给出个性化的回应，从而实现更加自然流畅的多人对话体验。
2. 多语言交流：无缝切换，高效语义理解
“交交”支持汉语、英语、日语和法语四大主流语言，具备跨语言回复能力。基于创新的跨模态对齐机制，将多语言语音信号与对应文本在特征空间实现精准映射，用隐式表征学习保留语言特异性信息，结合深度语言模型的上下文建模能力，实现跨语言场景下的无缝切换与高效语义理解。
在经济全球化和文化交流日益频繁的今天，多语言交流能力变得越来越重要。“交交”的多语言交流功能，不仅能够满足不同用户的语言需求，还能够促进跨文化交流和理解。用户可以使用不同的语言与“交交”进行对话，而无需担心语言障碍。
3. 角色扮演与情感互动：理解情绪，生成情感回应
“交交”能够根据对话内容和场景理解用户情绪，生成富有情感的回应。基于上下文信息，用思维链技术生成符合对话场景的情感全局表征，用在生动的情感语音回复生成，提升对话交流的真实感。
传统语音助手往往缺乏情感理解能力，只能机械地执行用户的指令。“交交”通过先进的情感识别技术和情感生成技术，能够理解用户的情绪，并生成富有情感的回应，从而实现更加人性化的交互体验。例如，当用户表达悲伤情绪时，“交交”可以给予安慰和鼓励；当用户表达喜悦情绪时，“交交”可以分享喜悦和祝福。
4. 知识问答：涵盖广泛，深入解读
“交交”涵盖广泛的知识领域，如古诗词背诵、科学原理讲解、文学名著解读等。这得益于其强大的知识图谱和自然语言处理能力，能够准确理解用户的提问，并从海量知识库中检索出相关的答案。
“交交”不仅能够回答用户提出的问题，还能够对答案进行深入解读，帮助用户更好地理解知识。例如，当用户询问“什么是相对论”时，“交交”不仅会给出相对论的定义，还会讲解相对论的基本原理和应用，帮助用户更好地理解相对论。
5. 实时音色克隆：高保真模仿，个性化定制
“交交”提供高保真声音模仿技术，支持多角色语音扮演风格及与用户自身声音之间的实时无感切换。基于思维链技术进行控制信号推理，支持多角色语音扮演风格及与用户自身声音之间的实时无感切换。
用户可以通过上传自己的声音样本，让“交交”学习自己的音色，从而实现个性化的语音交互体验。此外，“交交”还支持多角色语音扮演，用户可以选择不同的角色，让“交交”以不同的音色和风格与自己进行对话，增加对话的趣味性和互动性。
技术原理：端到端、跨模态、思维链，构建智能语音交互基石
“交交”之所以能够实现如此强大的功能，得益于其背后一系列先进的技术原理：
1. 端到端语音对话：简化流程，提升效率
“交交”基于鲁棒的音频编码器，将音频输入流式编码器得到离散序列，对齐到文本序列空间，无需大规模高质量数据微调，即可保持和利用文本大模型的基础泛化能力，实现实时知识问答。
传统的语音对话系统需要经过多个步骤，包括语音识别、自然语言理解、对话管理和语音合成等，流程复杂，效率较低。“交交”采用端到端语音对话技术，将这些步骤整合到一个模型中，简化流程，提升效率，从而实现更加流畅自然的语音交互体验。
2. 多语言理解与生成：跨模态对齐，保留语言特性
“交交”基于创新的跨模态对齐机制，将多语言语音信号与对应文本在特征空间实现精准映射，用隐式表征学习保留语言特异性信息，结合深度语言模型的上下文建模能力，实现跨语言场景下的无缝切换与高效语义理解。
多语言理解与生成是实现多语言交流的关键技术。“交交”通过跨模态对齐机制，将不同语言的语音信号和文本信息对齐到同一个特征空间，从而实现对多语言的统一理解和生成。同时，通过隐式表征学习，保留不同语言的特性，保证生成的多语言文本的准确性和流畅性。
3. 多人对话建模：模拟真实场景，增强处理能力
“交交”构造多人对话数据，模拟真实场景，增强模型的对话处理能力。用端到端模型融合上下文信息，生成个性化的响应和总结，实现自然且连贯的多方互动。
多人对话场景复杂多变，需要模型具备强大的对话处理能力。“交交”通过构造多人对话数据，模拟真实场景，增强模型的对话处理能力。同时，通过端到端模型融合上下文信息，生成个性化的响应和总结，实现自然且连贯的多方互动。
4. 情感理解与表达：思维链技术，提升真实感
“交交”基于上下文信息，用思维链技术生成符合对话场景的情感全局表征，用在生动的情感语音回复生成，提升对话交流的真实感。
情感理解与表达是实现情感互动的重要技术。“交交”通过思维链技术，分析对话的上下文信息，生成符合对话场景的情感全局表征，从而实现对用户情感的准确理解和表达。同时，通过生动的情感语音回复生成，提升对话交流的真实感。
5. 实时音色克隆与切换：高保真模仿，个性化定制
“交交”提供高保真声音模仿技术，基于思维链技术进行控制信号推理，支持多角色语音扮演风格及与用户自身声音之间的实时无感切换。
实时音色克隆与切换是实现个性化定制的关键技术。“交交”通过高保真声音模仿技术，能够准确模仿用户的音色，实现个性化的语音交互体验。同时，通过思维链技术进行控制信号推理，支持多角色语音扮演风格及与用户自身声音之间的实时无感切换。
6. 灵活拓展：强大的对齐策略，统一且可扩展的接口
“交交”强大的对齐策略，支持文本与音频模态的任意方式拼接融合，为集成大规模文本大模型中的多种增强机制（如联网搜索、RAG检索增强生成等）提供统一且可扩展的接口。
“交交”的灵活拓展性，使其能够方便地集成各种增强机制，如联网搜索、RAG检索增强生成等，从而不断提升自身的功能和性能。
应用场景：教育、家庭、商务、客服、娱乐，赋能各行各业
“交交”作为一款强大的口语对话情感大模型，其应用场景非常广泛，可以赋能各行各业：
1. 教育辅导：个性化学习指导，辅助教师教学
“交交”可以为学生提供个性化学习指导，解答问题，辅助教师教学。例如，学生可以通过“交交”进行课后辅导，解决学习难题；教师可以使用“交交”进行课堂互动，提高教学效果。
2. 家庭互动：娱乐助兴，陪伴聊天
“交交”可以在家庭聚会中娱乐助兴，日常陪伴家人聊天解闷。例如，家庭成员可以使用“交交”进行语音游戏，增加家庭乐趣；老年人可以使用“交交”进行日常聊天，缓解孤独感。
3. 商务沟通：会议记录与总结，跨语言交流
“交交”可以协助会议记录与总结，支持跨语言商务交流。例如，商务人士可以使用“交交”进行会议记录，提高工作效率；跨国公司可以使用“交交”进行跨语言交流，减少沟通障碍。
4. 客服支持：快速响应咨询，提升服务效率
“交交”可以快速响应客户咨询，提供专业解答，提升服务效率。例如，企业可以使用“交交”进行在线客服，减少人工成本；用户可以使用“交交”进行问题咨询，快速获得解决方案。
5. 娱乐陪伴：角色扮演，情感支持
“交交”可以参与角色扮演，提供情感支持，增加生活趣味。例如，用户可以使用“交交”进行角色扮演游戏，增加娱乐性；用户可以使用“交交”进行情感倾诉，获得情感支持。
未来展望：持续创新，开放合作，共筑AI未来
上海交通大学表示，未来将继续加大对“交交”的研发投入，不断提升其功能和性能，并积极探索其在各个领域的应用。同时，上海交大也将秉持开放合作的态度，与各界合作伙伴共同推动人工智能技术的发展，共筑AI未来。
目前，“交交”已开放申请体验，用户可以通过上海交通大学提供的链接进行申请。相信在不久的将来，“交交”将会在智能语音交互领域发挥更大的作用，为人们的生活带来更多的便利和乐趣。
参考文献
- 上海交通大学听觉认知与计算声学实验室官方网站
- 相关学术论文和研究报告
（完）
Views: 1