阶跃星辰开源Step1X-Edit，通用图像编辑新突破

北京 – 在人工智能图像编辑领域，开源力量正在崛起。由阶跃星辰团队推出的Step1X-Edit，一款通用图像编辑框架，正以其强大的功能和创新技术，挑战着GPT-4o和Gemini2 Flash等闭源模型的领先地位。该框架的开源，无疑为AI图像编辑领域注入了新的活力，预示着更加开放、高效和个性化的图像编辑时代的到来。

Step1X-Edit的核心在于结合了多模态大语言模型（MLLM）和扩散模型。用户只需提供参考图像和自然语言描述的编辑指令，Step1X-Edit便能提取潜在嵌入，生成目标图像。为了训练模型，研究者们构建了一个大规模、高质量的数据生成管道，生成了超过100万对图像和指令对，确保模型能够应对真实世界中各种复杂的编辑场景。

技术解析：MLLM与扩散模型的完美结合

Step1X-Edit的技术原理主要体现在以下几个方面：

多模态大语言模型（MLLM）： MLLM负责处理参考图像和用户的编辑指令，提取其中的语义信息。凭借其强大的语义理解能力，MLLM能够生成与编辑任务相关的嵌入向量，为后续的图像生成提供关键信息。
扩散模型（Diffusion Model）： 结合扩散模型（如DiT风格的架构）进行图像生成。扩散模型以其高保真生成能力而闻名，能够将MLLM提供的嵌入向量解码为高质量的目标图像。
数据生成管道： 阶跃星辰团队构建了一个大规模、高质量的数据生成管道，生成超过100万对图像和指令对。这个数据管道涵盖了多种编辑任务类别，确保模型能够学习到多样化的编辑操作。
训练策略： 模型训练从文本到图像模型初始化开始，以保留美学质量和视觉一致性。通过联合训练连接模块和下游扩散模型，优化整体性能，确保最终生成的图像既符合编辑指令，又具有高质量的视觉效果。
基准测试（GEdit-Bench）： 为了评估模型的实际性能，Step1X-Edit团队推出了基于真实用户指令的基准测试GEdit-Bench。GEdit-Bench包含多种编辑任务，确保模型在真实场景中的有效性。

Step1X-Edit的主要功能：

Step1X-Edit支持多样化的编辑能力，包括：

主体添加、移除、替换
背景更改
色彩调整
材质修改
风格转换
肖像美化
文字修改
色调变化

更重要的是，Step1X-Edit以自然语言指令驱动，用户可以通过自然语言描述编辑需求，模型能够理解并执行复杂的编辑指令。这大大降低了图像编辑的门槛，使得非专业人士也能轻松上手。

应用场景：潜力无限

Step1X-Edit的应用场景非常广泛，几乎涵盖了所有需要图像编辑的领域：

创意设计： 快速生成创意图像，如更换背景、调整颜色、添加元素，提高设计效率。
影视后期： 用于特效制作，如添加/移除物体、改变外观或调整色调，节省后期成本。
社交媒体： 美化照片、添加趣味元素或调整风格，提升内容吸引力。
游戏开发： 生成角色、场景和道具，快速调整装备或风格，减少美术资源开发时间。
教育领域： 生成教学材料，如修改历史照片、创建科学插图，增强教学效果。

开源的意义：加速AI图像编辑发展

Step1X-Edit的开源，意味着更多的开发者和研究者可以参与到模型的改进和优化中来。这种开放协作的模式，将加速AI图像编辑技术的发展，推动更多创新应用的涌现。

项目地址：

项目官网：https://step1x-edit.github.io/
GitHub仓库：https://github.com/stepfun-ai/Step1X-Edit
HuggingFace模型库：https://huggingface.co/stepfun-ai/Step1X-Edit
arXiv技术论文：https://arxiv.org/pdf/2504.17761
在线体验Demo：https://huggingface.co/spaces/stepfun-ai/Step1X-Edit

结论：

Step1X-Edit的出现，不仅缩小了开源图像编辑模型与闭源模型之间的性能差距，更重要的是，它代表了一种开放、协作的AI发展趋势。随着更多开发者和研究者的加入，Step1X-Edit有望成为AI图像编辑领域的重要基石，推动图像编辑技术的进步，并为各行各业带来更多创新应用。未来，我们期待Step1X-Edit能够不断突破，为用户带来更加智能、便捷和高效的图像编辑体验。

参考文献：