新加坡，[日期] – 在本周于新加坡举行的国际机器学习顶级会议ICLR 2025上，阿里巴巴达摩院的研究成果再次引起业界广泛关注。达摩院共有13篇论文被大会收录，其中一项突破性研究聚焦于视觉生成模型底层框架Diffusion Transformer (DiT) 的改进与优化。达摩院联合新加坡国立大学、清华大学等机构的研究团队，创新性地提出了名为Dynamic Diffusion Transformer (DyDiT) 的动态架构，该架构通过引入动态化调整机制，能够在视觉生成任务中精准削减高达50%的推理算力，有效缓解了传统扩散模型长期存在的计算冗余问题。相关研究成果已开源，为生成式AI的进一步发展和应用落地注入了新的活力。
背景：生成式AI的崛起与DiT架构的挑战
近年来，生成式AI技术以前所未有的速度发展，在图像、视频、音频、文本等多个领域展现出强大的创造能力。尤其是在视觉生成领域，从最初的GAN (Generative Adversarial Network) 到如今的扩散模型 (Diffusion Model)，技术的迭代进步推动着生成式AI不断走向成熟。
DiT架构作为当前主流的生成模型框架，凭借其卓越的可控生成能力，在图像和视频生成领域取得了显著成果，极大地推动了生成式AI的应用爆发。DiT架构的核心思想是将Transformer模型引入到扩散模型的框架中，利用Transformer强大的建模能力来学习图像的分布，从而实现高质量的图像生成。
然而，DiT架构并非完美无缺。其多步生成策略 inherent 地存在推理效率低、算力冗余等问题。在执行高分辨率图像或复杂视频生成任务时，DiT架构往往需要消耗大量的计算资源，这不仅增加了运行成本，也限制了其在资源受限环境下的应用。
具体来说，DiT架构的计算冗余主要体现在以下几个方面：
- 固定计算量： 传统的DiT模型在生成过程中，每个时间步都执行相同的计算量，而实际上，在生成过程的不同阶段，模型所需的计算量是不同的。例如，在生成过程的早期阶段，模型主要关注图像的整体结构，所需的计算量相对较少；而在生成过程的后期阶段，模型需要关注图像的细节，所需的计算量相对较多。
- 空间均匀性： 传统的DiT模型在处理图像的每个区域时，都执行相同的计算量，而实际上，图像的不同区域包含的信息量是不同的。例如，图像中的前景对象通常包含更多的信息，需要更多的计算资源；而图像中的背景区域通常包含较少的信息，所需的计算资源相对较少。
这些计算冗余问题使得DiT架构在实际应用中面临着巨大的挑战，尤其是在需要处理大规模数据或对实时性要求较高的场景下。因此，如何有效地降低DiT架构的计算复杂度，提高其推理效率，成为了当前生成式AI领域的一个重要研究方向。
现有解决方案的局限性
为了解决DiT架构的计算冗余问题，研究人员提出了多种解决方案，包括高效采样、特征缓存、模型压缩剪枝等方法。
- 高效采样： 高效采样方法旨在减少生成过程所需的步数，从而降低计算量。例如，Denoising Diffusion Implicit Models (DDIM) 是一种常用的高效采样方法，它通过引入非马尔可夫过程来加速生成过程。
- 特征缓存： 特征缓存方法旨在缓存中间特征，避免重复计算，从而降低计算量。例如，Memory-Efficient Differentiable Transformer (MEDT) 是一种常用的特征缓存方法，它通过缓存Transformer模型的中间特征来加速生成过程。
- 模型压缩剪枝： 模型压缩剪枝方法旨在减少模型的参数量，从而降低计算量。例如，Pruning 和 Quantization 是两种常用的模型压缩剪枝方法，它们通过移除不重要的参数或降低参数的精度来压缩模型。
然而，这些方法均针对静态不变模型，忽略了生成过程的动态特性，因此又衍生出潜在的冗余浪费问题。具体来说，这些方法无法根据时间步长和空间区域自适应地调整计算分配，导致在计算资源分配上仍然存在一定的冗余。
DyDiT：动态架构的创新突破
为了克服现有解决方案的局限性，达摩院联合新加坡国立大学、清华大学等机构的研究团队，提出了动态架构DyDiT。DyDiT的核心思想是根据时间步长和空间区域自适应地调整计算分配，从而有效地缓解视觉生成任务中的算力消耗问题。
DyDiT的主要创新点在于引入了动态化调整机制，该机制能够根据生成过程的动态特性，智能地调整模型的宽度和深度，以及计算资源在不同空间区域的分配。
具体而言，DyDiT采用了以下两种动态调整策略：
- 时间步长动态调整： DyDiT能够根据时间步长自适应地调整模型宽度。在简单的时间步长，DyDiT使用较窄的模型宽度，减少计算资源；而在复杂的时间步长，DyDiT使用较宽的模型宽度，提高生成质量。
- 空间区域动态调整： DyDiT能够根据空间区域自适应地调整计算资源分配。DyDiT优先处理含有详细信息的主要对象，减少对背景区域的计算资源分配。
通过这两种动态调整策略，DyDiT能够有效地降低计算冗余，提高推理效率，同时保证生成质量。
DyDiT的技术细节
DyDiT的实现主要依赖于以下几个关键技术：
- 动态宽度Transformer： DyDiT采用了一种动态宽度Transformer模型，该模型能够根据输入数据的复杂度自适应地调整模型的宽度。动态宽度Transformer模型的核心思想是引入一个可学习的门控机制，该机制能够根据输入数据的复杂度，动态地选择激活或关闭不同的神经元，从而实现模型宽度的动态调整。
- 注意力机制的动态分配： DyDiT采用了一种注意力机制的动态分配策略，该策略能够根据空间区域的重要性，动态地分配注意力权重。注意力机制的动态分配策略的核心思想是引入一个可学习的权重分配机制，该机制能够根据空间区域的重要性，动态地调整注意力权重，从而实现计算资源在不同空间区域的动态分配。
- 强化学习的优化： DyDiT采用了一种基于强化学习的优化方法，该方法能够自动地学习最优的动态调整策略。基于强化学习的优化方法的核心思想是将动态调整策略的学习过程建模为一个强化学习问题，通过训练一个智能体来学习最优的动态调整策略。
DyDiT的实验结果与性能优势
为了验证DyDiT的有效性，研究团队在多个视觉生成任务上进行了大量的实验。实验结果表明，DyDiT能够在显著降低计算量的同时，保持甚至提高生成质量。
具体来说，实验结果显示，DyDiT能够在视觉生成任务中精准削减高达50%的推理算力，同时保持与传统DiT模型相当甚至更高的生成质量。
此外，研究团队还对DyDiT的性能进行了详细的分析，结果表明，DyDiT的性能优势主要来源于其动态调整机制，该机制能够有效地降低计算冗余，提高推理效率。
DyDiT的开源与未来展望
为了促进生成式AI的进一步发展和应用落地，达摩院已将DyDiT架构开源。开源代码包括模型的实现、训练脚本、评估脚本等，方便研究人员和开发者使用和改进。
达摩院表示，未来将继续深入研究DyDiT架构，探索其在更多领域的应用，并不断优化其性能。
DyDiT的开源有望为生成式AI领域带来以下积极影响：
- 降低生成式AI的计算成本： DyDiT能够显著降低视觉生成任务的计算量，从而降低生成式AI的计算成本，使其更容易在资源受限的环境下应用。
- 提高生成式AI的推理效率： DyDiT能够提高视觉生成任务的推理效率，使其更适用于需要实时响应的场景。
- 促进生成式AI的创新： DyDiT的开源将促进研究人员和开发者对生成式AI的创新，推动生成式AI技术的进一步发展。
结论
达摩院开源的DyDiT架构是视觉生成领域的一项重要突破。通过引入动态化调整机制，DyDiT能够显著降低计算冗余，提高推理效率，同时保持甚至提高生成质量。DyDiT的开源有望为生成式AI的进一步发展和应用落地注入新的活力。
在ICLR 2025大会上，DyDiT的亮相无疑为生成式AI领域带来了新的思考和方向。随着技术的不断进步和应用场景的不断拓展，我们有理由相信，生成式AI将在未来发挥越来越重要的作用，为人类社会带来更多的价值。
参考文献
- 《Dynamic Diffusion Transformer》 – 达摩院、新加坡国立大学、清华大学联合研究团队 (ICLR 2025)
- Denoising Diffusion Implicit Models (DDIM)
- Memory-Efficient Differentiable Transformer (MEDT)
- 相关开源代码库 (待发布)
Views: 3