Mist是什么

Mist是一项图像预处理工具,旨在保护图像的风格和内容不被最先进的AI-for-Art应用程序(如Stable Diffusion上的LoRA,SDEdit和 DreamBooth功能和Scenario.gg等)模仿。通过在图像上添加水印,Mist使AI-for-Art应用程序无法识别并模仿这些图像。如果AI-for-Art应用程序尝试模仿这些经Mist处理过的图像,所输出的图像将被扰乱,且无法作为艺术作品使用。

Mist

模仿

我们致力于长期开发和维护Mist,并不断完善其功能。因此,我们已在GitHub上开源Mist。我们希望在Discord上建立一个充满活力的开发者和用户社区,共同提高Mist的性能。我们欢迎用户反馈和技术贡献。现在就加入我们的社区,参与这项激动人心的事业吧!


最新消息:
【2023.12】 Mist V2正式发布,是目前第一个在LoRA下系统性验证有效的图像预处理工具。此外,Mist V2大幅优化了性能,在对抗各种AI-for-Art应用具有更强大效果的同时降低了计算资源开销。
【2023.04】 Mist 也被机器学习顶会 ICML 2023 作为口头报告接收 ! 更多详细信息可以参考我们的 论文


优势与实例

Mist在对抗各种AI-for-Art应用程序方面具有强大的功能,对噪声净化具有很高的鲁棒性,且耗时更短,计算资源开销更少。以下示例表明,Mist为图像提供了最先进的保护水印,能够有效抵抗各种噪声净化的方法,如裁剪和调整尺寸或者超分。此外,Mist为图像添加水印的过程仅需几分钟即可实现。

更有效 close

Mist应对各种AI-for-Art的应用均有效,包括LoRA(在Diffusers部署,是目前最常用的绘画风格学习工具),SDEdit(在stable-diffusion-webui部署,是目前最常用的图像修改工具),DreamBooth (在 Diffusers部署),Scenario.gg等。
以最典型的两个应用:LoRA和SDEdit为例,Mist添加的水印均对生成结果形成了极大干扰。

LoRA

原始图像

原始图像对应的生成图

Mist处理后的图像

Mist处理后图像的生成图

SDEdit

原始图像

原始图像对应的生成图

Mist处理后的图像

Mist处理后图像的生成图

更具鲁棒性 close

Mist 对常见的图像变化具有鲁棒性。 我们比较了Mist在应对高斯噪声,JPEG压缩,截图和拉伸与超分等不同防御下的效果,可以观察到Mist在图像变化下仍然保持着较高的性能。

LoRA

Mist应对高斯噪声下的生成图

Mist应对JPEG压缩下的生成图

Mist应对截图和拉伸下的生成图

Mist应对超分下的生成图

SDEdit

Mist应对高斯噪声下的生成图

Mist应对JPEG压缩下的生成图

Mist应对截图和拉伸下的生成图

Mist应对超分下的生成图

计算资源开销 close

Mist支持CPU和GPU。使用CPU为单张图片添加Mist水印开销大概在1个小时,使用GPU可以在仅需占用6G显存的情况下运行Mist,且平均仅需5分钟就可以完成对于一张图像的处理。

用户实例 close

以下是部分画师作品在Mist保护下的效果。

@桑德兰的等待

原始图像

原始图像对应的生成图

Mist处理后的图像

Mist处理后图像的生成图

原始图像

原始图像对应的生成图

Mist处理后的图像

Mist处理后图像的生成图

@匿名画师

原始图像

原始图像对应的生成图

Mist处理后的图像

Mist处理后图像的生成图

原始图像

原始图像对应的生成图

Mist处理后的图像

Mist处理后图像的生成图

下载

Mist兼容Linux和Windows操作系统。对于本地部署,用户可以参考我们的 快速入门指南。Windows用户可以通过下方谷歌网盘或百度网盘链接(提取码:m4nx)下载Mist启动器并安装运行。Linux用户推荐使用我们在GitHub上开源的代码获取Mist,并参考Readme文件进行安装与使用。 此外,我们还为使用MacOS系统或没有合适的Nvidia GPU的用户提供了Colab Notebook,以供他们顺利使用Mist。

我们的愿景

毫无疑问,AIGC应用程序将为全人类的生产和消费方式带来革新。然而,其对既有社会格局及利益分配模式的冲击同样不可忽视。

我们认为,技术的革新与相应社会制度的完善同等重要。新制度的建立往往需要时间,但对相关问题的关注和思考应当具有前瞻性。Mist及我们未来的项目均旨在以技术方式进行一种社会实践,探索使相关技术以更加可持续、更加温和的方式融入社会的可能。以Mist为例,我们希望借此契机引发人们关注AI-for-Art应用程序对既有版权制度带来的挑战,对艺术家群体在商业和美学层面的价值的影响,以及本质上,我们如何看待和激励人类的创造力等问题。

我们相信,水印工具只是AIGC版权问题解决方案的一环。而AIGC相关技术引发的担忧与变化也不仅仅局限于版权领域。只有以此为起点,开放性地吸引更多技术工作者(尤其是可信AI相关领域的研究者)、人文社科研究者及行业实践者关注AIGC的版权及其他道德、合规及监管方面的问题,在此基础上逐步形成新的行业与社会共识,相关问题才能更好得到解决。


未来,我们希望成为新一代AIGC可信和道德问题的信息中转站。我们热烈欢迎所有对这一愿景感兴趣的开发者、研究者和从业者与我们联系,期待与您共同针对当前技术的瓶颈和尚未解决的潜在社会问题进行探索。



常见问题解答 close

Q: 相较于Mist V1和其他同类产品,Mist V2的主要优势是什么?
A: 在Mist V1发布后的几个月里,我们在实践中发现了两个问题。第一,LoRA逐渐成为了现在AI绘画学习个人风格的主要方式,但现有水印工具均未能解决这一问题,缺乏防护LoRA的能力;第二,现有水印工具所需计算资源较大,画师的电脑往往不足以满足其要求。相比较现有水印工具而言,Mist V2针对这两个问题实现了重大进步。Mist V2是首个经系统验证对LoRA具有防护能力的图像水印工具;其计算资源消耗也经显著优化,可以在显存为6G的GPU或CPU上运行。

Q: Mist V2是如何防护LoRA、SDEdit等AI-for-Art应用程序的?
A: Mist V2模仿了LoRA、SDEdit等AI-for-Art应用程序在绘画作品上的训练过程,并针对性地在水印中稳定加入误导性噪声,使AIGC模型混淆绘画作品的真实内容和水印植入的混乱图案的内容。在强度较高时,模型会将混乱图案认为是绘画风格的一部分,从而输出带有混乱图案的图片;在强度较低时,模型也难以通过模型精确学习绘画的风格,降低输出图片和用于训练的绘画作品的风格相似度和输出图片的多样性。

Q: Mist V2会被破解吗?
A: 目前并不存在简单的无损破解工具。任何能对Mist V2起到足够破坏效果的工具都会损害图像本身的质量,从而同样程度地影响绘画风格模仿的输出质量。尽管如此,考虑到技术进步与迭代的速度,我们无法预料新的画风迁移技术和新的模型是否能绕过Mist V2的保护。但我们也将如此次更新一般,长期致力于对Mist进行更新和维护,不断解决新出现的问题。

Q: 如果我使用低于推荐强度的攻击来使水印不那么明显,Mist还会起作用吗?
A: Mist的推荐强度旨在确保在不同的模仿情景下具有全面的性能。如果用户决定降低水印强度,Mist仍然可以通过相对减弱的性能提供保护。此外,Mist为用户提供了针对不同模仿情况选择不同保护模式的选项,用户可以调整水印强度以更好地满足他们的需求。用户也可以自由调整Mist的强度。关于如何选择适当模式的详细指南,请参阅我们的文档。

ß Q: 如何支持Mist和我们的其他与AIGC可信相关的项目?
A: Mist系列水印工具将永久免费且开源。作为技术人员,对我们最有力的支持方式之一即为在GitHub上为我们的项目点Star(这对我们真的很重要!)。同样,我们热烈欢迎用户和开发者通过我们的Discord社区或其他联系方式向我们反馈和报告Mist在运行过程中可能存在的问题,帮助我们进一步完善有关技术。
我们也非常欢迎您通过社交媒体向我们表达关注、赞美和支持。除发布更多与AIGC可信有关的技术项目外,我们还计划于未来通过自媒体对AIGC的技术原理、商业实践和潜在的社会问题等议题进行介绍与科普,希望通过信息传递促进对AIGC及相关技术的更全面、深入的理解。关注我们,一同应对技术变革的浪潮!

联系我们

Mist由Psyker Group主导。Psyker Group是一个由开发者和行业从业者组成的团体,致力于开展技术项目,解决 AIGC 技术带来的信任、伦理和监管问题。

Psyker Group的团队成员:

梁楚盟,吴晓宇,薛伊铭和Melo Yang。


Mist核心开发人员:

Psyker Group,郑博阳,MOSS星辉。


我们特别感谢Alice2O3在开发Mist启动器上做出的巨大贡献。

加州大学伯克利分校的苏勇文对Mist的开发有重要贡献。我们也感谢吴嘉豪和赵毅在软件开发上给我们的建议,以及苹果,GUUUU,原野,蚕蛹子,BASS对我们项目的支持。

我们重视所有用户和开发者的反馈,并热烈欢迎所有对Mist感兴趣的人加入我们的Discord社区。在Discord社区中,用户和开发者们可以分享他们的想法、观点和建议,帮助我们改进Mist的性能及表现。 我们的团队将在Discord上解答有关Mist的问题。

此外,您还可以通过QQ群(189980587) 或者电子邮件与我们联系:mist202304@gmail.com。
您也可以关注我们的微博:@Psyker_,我们会在这里更新最新的资讯。