文章来源于互联网:300多篇相关研究，复旦、南洋理工最新多模态图像编辑综述论文

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

该文章的第一作者帅欣成，目前在复旦大学FVL实验室攻读博士学位，本科毕业于上海交通大学。他的主要研究方向包括图像和视频编辑以及多模态学习。

• 论文题目：A Survey of Multimodal-Guided Image Editing with Text-to-Image Diffusion Models
• 发表单位：复旦大学 FVL 实验室，南洋理工大学
• 论文地址：https://arxiv.org/abs/2406.14555
• 项目地址：https://github.com/xinchengshuai/Awesome-Image-Editing

框架包含了两个算法族 Inversion 算法和 Editing 算法。

3.1 Inversion 算法。Inversion 算法将源图像集合编码到特定的特征或参数空间，得到对应的表征（inversion clue），并用对应的源文本描述作为源图像的标识符。包括 tuning-based和 forward-based两种类型的 inversion 算法。其可以被形式化为：

Tuning-based inversion通过原有的 diffusion 训练过程将源图像集合植入到扩散模型的生成分布中。形式化过程为：

其中为引入的可学习的参数，且。

Forward-based inversion用于在扩散模型的反向过程中（）还原某一条前向路径中的噪声（）。形式化过程为：

其中为方法中引入的参数，用于最小化，其中，。

3.2.Editing 算法。Editing 算法根据和多模态引导集合来生成最终的编辑结果。包含 attention-based，blending-based，score-based以及 optimization-based的 editing 算法。其可以被形式化为：

特别地，对于每一步的反向过程，进行了如下操作：

其中中的操作表示编辑算法对于扩散模型采样过程的干预，用于保证编辑后的图像与源图像集合的一致性，并反应出中引导条件所指明的视觉变换。

特别地，我们将无干预的编辑过程视作为普通版本的编辑算法。其形式化为:

Attention-based editing的形式化过程:

Blending-based editing的形式化过程:

Score-based editing的形式化过程:

Optimization-based editing的形式化过程:

                               ^{图 4. 关于 attention-based editing}的算法组合的应用

                                ^{图 5. 关于 blending-based editing的算法组合的应用}

                               ^{图 6. 关于 score-based editing的算法组合的应用}

                              ^{图 7. 关于 optimization-based editing}的算法组合的应用

                                  ^{图 9.Content-free 任务中各个组合的定性比较，从左至右分别是}

文章来源于互联网:300多篇相关研究，复旦、南洋理工最新多模态图像编辑综述论文