复旦字节联手，AI布局绘图新突破

上海——人工智能领域再次迎来突破性进展。复旦大学与字节跳动近日联合发布了一项名为CreatiLayout的创新技术，该技术专注于布局到图像的生成（Layout-to-Image, L2I），为图像生成领域带来了全新的视角和可能性。这项技术的发布不仅标志着学术界与产业界在人工智能领域的深度合作，也预示着图像生成技术将迎来更加精细化和可控化的发展方向。

引人入胜的开端：布局的魔力

在传统的图像生成领域，用户往往需要通过复杂的文本描述来引导AI生成图像，但这种方式常常难以精确控制图像的布局和细节。而CreatiLayout的出现，则如同为图像生成注入了“灵魂”，让用户可以通过布局来精确控制图像的结构和元素，实现更加个性化和精细化的图像创作。

深入解析：CreatiLayout的核心技术

CreatiLayout的核心在于其SiamLayout框架，该框架将布局信息视为一种独立的模态，并与文本和图像模态同等重要。通过MM-DiT（Multimodal Diffusion Transformer）原生的MM-Attention机制，SiamLayout实现了布局模态与图像模态的有效交互，有效解决了多模态竞争问题。

具体而言，CreatiLayout将图像、文本和布局这三个模态的交互解耦为两个孪生分支：图像-文本交互分支和图像-布局交互分支。这种设计使得文本和布局对图像内容的指导各司其职、互不干扰，从而增强了布局的指导作用。

此外，CreatiLayout还引入了LayoutDesigner，这是一个基于大型语言模型的布局设计工具。LayoutDesigner支持多种输入方式，如中心点、掩码、草图和文本描述等，帮助用户生成和优化布局，使用户能够更灵活地表达设计意图，生成和谐美观的布局。

强大的数据支撑：LayoutSAM数据集

为了训练出强大的模型，CreatiLayout团队构建了一个名为LayoutSAM的大规模布局数据集。该数据集包含了270万图像-文本对和1070万个实体标注，每个实体都详细描述了颜色、形状、纹理等属性。如此庞大的数据集为模型提供了丰富的数据支持，使其能够更好地理解和生成复杂的图像。

CreatiLayout的主要功能：

高质量图像生成： 基于孪生多模态扩散变换器（Siamese Multimodal Diffusion Transformer），CreatiLayout能够生成高质量和细粒度可控的图像，精确渲染复杂的属性，如颜色、纹理、形状等。
布局生成与优化： 通过LayoutDesigner，CreatiLayout可以根据用户的多种输入（如中心点、掩码、草图、文本描述等）生成和优化布局，使用户能够更灵活地表达设计意图，生成和谐美观的布局。
大规模数据集支持： CreatiLayout构建了名为LayoutSAM的大规模布局数据集，包含270万图像-文本对和1070万个实体标注，每个实体都详细描述了颜色、形状、纹理等属性，为模型提供了丰富的数据支持。
多模态交互： 在模型架构上，CreatiLayout将布局信息视为一种独立的模态，通过MM-DiT的MM-Attention实现布局与图像模态的交互。

广泛的应用前景：

CreatiLayout的应用场景十分广泛，包括但不限于：

宣传海报制作： 设计师可以利用CreatiLayout快速生成符合预期的高质量宣传海报。
家具摆放优化： CreatiLayout能够精确解析每个家具的位置和尺寸，生成逼真的室内效果图。
视觉效果创作： 开发者可以通过精确控制布局和图像细节，创造出更具创意和吸引力的游戏画面。
教学材料制作： 教师可以利用CreatiLayout将知识点以图文并茂的形式呈现出来。

展望未来：

CreatiLayout的发布不仅是一项技术上的突破，更代表着图像生成领域的一个新方向。通过引入布局作为一种独立的模态，CreatiLayout为用户提供了更加精细化和可控化的图像生成方式。随着技术的不断发展和完善，CreatiLayout有望在设计、游戏、教育等多个领域发挥更大的作用，为人们的生活带来更多的便利和创意。

项目地址：