新型AI图像生成框架OminiControl：可将素材主体融入生成图片中

文章来源：放心AI网发布时间：2025-05-27 14:45:50

在当今数字时代，图像生成技术正以惊人的速度发展。最近，来自新加坡国立大学的研究团队提出了一种全新的框架 ——OminiControl，旨在提升图像生成的灵活性和效率。该框架通过结合图像条件，充分利用已经训练好的扩散变换器（Diffusion Transformer，简称 DiT）模型，带来了前所未有的控制能力。

简单的说，只要提供素材图，利用OminiControl就能将素材图中的主题融入到生成的图片中。比如小编上传了左边的素材图，输入提示词“芯片人放置在一个医生办公室的桌子旁边，桌子上放着听诊器”，生成效果比较一般，如下:

OminiControl 的核心在于其 “参数重用机制”。这种机制使得 DiT 模型能够以更少的额外参数有效地处理图像条件。这意味着，相较于现有的方法，OminiControl 仅需增加0.1% 到0.1% 的参数就能实现强大的功能。此外，它能够统一处理多种图像条件任务，比如基于主题的生成和空间对齐条件的应用，比如边缘、深度图等。这种灵活性特别适用于主题驱动的生成任务。