北大DiffSensei：多模态漫画生成新突破！

“`markdown

北大等机构联手打造DiffSensei：多模态驱动的定制化漫画生成框架，并开源4.3万页MangaZero数据集

北京，[当前日期] – 在生成式人工智能（AIGC）浪潮席卷全球之际，漫画创作领域也迎来了新的突破。北京大学、上海人工智能实验室、南洋理工大学的研究团队联合推出了名为DiffSensei的创新框架，该框架是首个结合多模态大语言模型（MLLM）与扩散模型的定制化漫画生成系统。同时，研究团队还开源了包含4.3万页漫画的MangaZero数据集，为漫画生成领域注入了新的活力。

这项研究成果预计将在计算机视觉顶级会议CVPR 2025上正式发布。

漫画生成面临的挑战与DiffSensei的解决方案

近年来，文本到图像模型在故事可视化方面展现出巨大的潜力。然而，在多角色漫画场景中，角色一致性难以保证、布局控制不够精准、动态叙事能力不足等问题一直困扰着研究人员和漫画创作者。

DiffSensei框架的出现，旨在解决这些挑战。该框架通过以下创新技术实现了对多角色漫画的精准生成：

• 掩码交叉注意力机制： 通过该机制，DiffSensei能够实现对多角色外观、表情和动作的精确控制，确保角色在不同分镜中的一致性。
• 文本兼容的角色适配器： 该适配器能够根据文本描述动态调整角色的状态和动作，实现更加生动的叙事效果。
• 对话布局灵活编码： DiffSensei支持对对话布局进行灵活编码，使得生成的漫画更符合漫画的阅读习惯。

MangaZero数据集：填补漫画生成领域的数据空白

高质量的数据是训练优秀AI模型的基石。为了解决漫画生成领域数据匮乏的问题，研究团队构建了MangaZero数据集。该数据集包含4.3万页漫画和42.7万个标注面板，涵盖了多种漫画风格和题材。

MangaZero数据集的特点包括：

• 规模庞大： 拥有4.3万页漫画，为模型训练提供了充足的数据。
• 标注精细： 包含42.7万个标注面板，为模型学习角色和布局提供了详细的信息。
• 来源广泛： 收录了大量2000年之后出版的漫画，以及部分经典老漫画，保证了数据的多样性。

与现有的漫画数据集（如Manga109）相比，MangaZero数据集规模更大、来源更新、标注更丰富，并且包含了更多样化的漫画和画面分辨率。

DiffSensei的应用前景

实验结果表明，DiffSensei在角色一致性、文本跟随能力和图像质量方面均显著优于现有模型。这使得DiffSensei在漫画创作、教育可视化、广告设计等领域具有广阔的应用前景。

• 漫画创作： DiffSensei可以帮助漫画家快速生成草稿，节省大量时间和精力。
• 教育可视化： DiffSensei可以将抽象的概念转化为生动的漫画，提高学生的学习兴趣和理解能力。
• 广告设计： DiffSensei可以根据广告文案快速生成漫画广告，吸引用户的注意力。

开源计划与资源获取

为了促进漫画生成领域的发展，研究团队公开了DiffSensei的训练、测试代码、预训练模型以及MangaZero数据集。开发者可以通过以下链接获取相关资源：

• 论文地址： https://arxiv.org/pdf/2412.07589
• GitHub 仓库： https://github.com/jianzongwu/DiffSensei
• 项目主页： https://jianzongwu.github.io/projects/diffsensei/
• 数据链接： https://huggingface.co/datasets/jianzongwu/MangaZero

开发者可以通过Hugging Face获取资源，并利用Gradio界面快速体验生成效果。

结论

DiffSensei框架和MangaZero数据集的发布，为漫画生成领域带来了新的机遇。我们期待DiffSensei能够推动漫画创作的自动化和智能化，为创作者和读者带来更加丰富的体验。

参考文献

• 论文地址：https://arxiv.org/pdf/2412.07589
• GitHub 仓库：https://github.com/jianzongwu/DiffSensei
• 项目主页：https://jianzongwu.github.io/projects/diffsensei/
• 数据链接：https://huggingface.co/datasets/jianzongwu/MangaZero
  “`

>>> Read more <<<

Views: 0