香港大学研发新型图像编辑技术MimicBrush:一键实现原图局部风格重绘

AI每日新闻1个月前发布 shen
70 0
AI旋风聊天

在数字艺术与图像处理领域,用户常常面临一个挑战:如何在不损失原图精髓的前提下,实现特定区域的风格转换?近日,香港大学的研究团队给出了一个令人眼前一亮的答案——他们研发了一种名为MimicBrush的新型图像编辑技术,该技术允许用户通过上传参考图片,轻松实现原图局部的风格重绘。

MimicBrush技术的创新之处在于其零参考图像编辑的方式。传统的图像编辑方法往往要求用户详细描述编辑后的期望效果,但这对大多数用户来说是一个不小的挑战。而MimicBrush则打破了这一限制,用户只需指定待编辑的区域,并提供一张参考图片,系统便能自动理解参考图片的风格,并据此完成编辑任务。

具体来说,用户在使用MimicBrush时,只需输入要修改的图片和参考图,并在图片中圈出要改的地方。随后,MimicBrush会按照参考图的风格对指定区域进行修改,实现原图局部的风格重绘。这一过程无需用户过多描述编辑效果,大大简化了编辑流程。香港大学研发新型图像编辑技术MimicBrush:一键实现原图局部风格重绘

为了实现这一功能,研究团队提出了MimicBrush模型。该模型采用自监督学习的方式,从视频片段中随机选择两帧图像,对其中一帧进行部分遮盖,然后学习从另一帧图像中恢复被遮盖的区域。通过这种方式,模型能够自动捕捉图像之间的语义对应关系,为实现风格重绘提供了有力的技术支持。

实验结果表明,MimicBrush技术在各种测试案例下均表现出了良好的有效性和优越性。与现有的替代方案相比,MimicBrush具有更高的编辑准确度和效率,为用户带来了更为便捷的图像编辑体验。香港大学研发新型图像编辑技术MimicBrush:一键实现原图局部风格重绘

除了基本的风格重绘功能外,MimicBrush还具备一系列特色功能,进一步丰富了用户的编辑选择。首先,它支持零拍摄图像编辑,允许用户在没有原始目标图像的情况下进行图像编辑,通过参考仿制的方式实现编辑效果。其次,MimicBrush还具备参考仿制功能,用户可以使用参考图像来指导编辑过程,实现所需的图像编辑效果。此外,该技术还利用CLIP编码器和VAE实现了文本到图像的对齐功能,用户可以通过输入文本描述来指导编辑过程。最后,MimicBrush还提供了纹理转移功能,使用户能够在编辑过程中保持原始形状或进行形状转移。

“AI旋风认为,MimicBrush技术的出现将极大地推动图像编辑领域的发展。它不仅为用户提供了更为便捷、高效的编辑方式,还通过引入零参考图像编辑和多种特色功能,为用户带来了更为丰富的编辑选择。未来,随着技术的不断发展和完善,我们有理由相信,MimicBrush将在数字艺术与图像处理领域发挥更为重要的作用。”

此外,为了促进进一步的研究和发展,研究团队还构建了一个基准测试集,以便更好地评估和比较其他相关技术的表现。这一举措将为图像编辑领域的研究人员提供一个公平、客观的评估平台,推动整个领域的不断进步。

© 版权声明
AI资料包

相关文章

暂无评论

暂无评论...