1. 项目缘起：当AI生成图像成为日常，我们如何为它“署名”？
最近两年，AI图像生成技术以惊人的速度渗透到我们工作和生活的方方面面。从Midjourney、DALL-E 3到Stable Diffusion，再到国内外的各种文生图应用，生成一张以假乱真的图片变得前所未有的简单。随之而来的，是一个越来越尖锐的问题：当一张图片在社交媒体、新闻网站或商业素材库里被无数次转发、修改、二次创作后，我们如何追溯它的源头？如何证明这张图最初是由某个特定的AI模型、某个特定的用户，甚至是在某个特定的时间点生成的？
这不仅仅是版权保护的问题。在新闻领域，一张AI生成的“现场照片”可能引发不必要的恐慌；在艺术创作领域，创作者的署名权需要得到尊重；在商业领域，品牌方需要确认营销素材的合规来源。传统的数字水印技术，比如在图片角落加一个半透明的Logo，或者修改像素的最低有效位（LSB），在AI生成图像面前显得力不从心。因为这些图片本身就是“生成”出来的，没有原始拍摄的物理世界作为参照，而且它们经常会被裁剪、压缩、调色，传统水印很容易被破坏或移除。
正是在这个背景下，针对AI生成模型（特别是自回归图像生成器）的水印技术成为了研究热点。而我今天要和大家深入探讨的，就是这个领域里一个颇具代表性的工作：UniMark。这个名字听起来就很有野心——“统一”、“自适应”、“多比特”。它试图解决的，正是当前AI水印技术面临的几个核心痛点：通用性差、鲁棒性弱、信息容量低。简单来说，就是希望设计一个框架，能适配多种不同的自回归生成器，能抵抗常见的图像攻击（比如压缩、缩放、加噪），并且能在图片里嵌入足够多的信息（比如模型ID、用户ID、时间戳等）。
接下来的内容，我会结合自己在这个领域的一些实践和思考，为大家拆解UniMark框架的设计思路、核心原理、实现难点以及它带来的启示。这不仅仅是一个技术方案的解读，更是一次关于如何在AI时代为数字内容建立“数字指纹”的深度探讨。
2. 理解基石：什么是自回归图像生成器？
在深入UniMark之前，我们必须先搞清楚它的目标对象——自回归图像生成器。这是理解整个框架设计动机的基石。
2.1 自回归生成的核心思想
你可以把生成一张图片想象成“造句”。自回归模型生成图片，不是一次性画完的，而是像我们写字一样，从左到右、从上到下，一个像素（或一个图像块）接着一个像素地“预测”出来。更技术化地说，它将图像建模为一个序列数据（比如，把图像分割成一个个小方块，称为“图像块”或“视觉词元”），然后利用类似Transformer的架构，根据已经生成的序列来预测下一个图像块是什么。
目前最著名的代表就是OpenAI的DALL-E系列和谷歌的Parti。它们通常的工作流程是：
- 编码与分词：首先，使用一个图像编码器（如VQ-VAE）将原始图像压缩、离散化，变成一串离散的“视觉词元”序列。同时，文本提示也通过文本编码器转换成词元序列。
- 序列建模：将文本词元序列和图像词元序列拼接，输入到一个巨大的自回归Transformer模型中。这个模型被训练来学习“给定前面的所有词元（包括文本和已生成的图像部分），下一个图像词元应该是什么”的概率分布。
- 采样生成：从学习到的概率分布中采样，逐个生成图像词元，直到序列结束。
- 解码还原：最后，使用图像解码器将生成的视觉词元序列还原成最终的RGB图像。
这个过程的核心特点是顺序生成和基于上下文的概率预测。每一个新生成的图像块，都严重依赖于之前所有已生成的块。这就像你写文章时，下一句话的用词和语气会受到前面所有内容的影响。
2.2 自回归生成器给水印带来的独特挑战与机遇
这种生成范式，给水印技术带来了与传统方法截然不同的挑战和机遇：
挑战：
- 没有“原始”载体：传统水印是在一个已有的图片（载体）上做修改。而自回归生成是“无中生有”，水印必须融入生成过程本身，成为图像“与生俱来”的一部分。
- 全局一致性要求高：由于生成是顺序的、上下文依赖的，如果在早期强行植入一个与后续生成内容不协调的“水印模式”，可能会导致整个图像在语义或视觉上崩坏，生成奇怪的伪影或扭曲。
- 采样随机性：自回归生成通常涉及随机采样（如top-p, top-k），同样的提示词每次运行可能产生略有不同的输出。水印机制必须对这种随机性保持鲁棒，确保无论采样路径如何，水印都能被稳定地嵌入和提取。
机遇：
- 可干预的生成过程：既然图像是一个个生成的，那么我们就有机会在生成链路的某个环节进行干预。例如，在Transformer预测下一个词元的概率分布时，我们可以施加一个微小的、有目的的“偏置”。
- 利用模型的先验知识：自回归模型本身已经学习了海量的图像分布知识。一个巧妙的水印方法可以尝试“引导”模型，在它认为合理的多种可能性中，选择那些恰好能携带水印信息的那一种，从而做到“隐形”。
- 端到端训练的可能性：理论上，水印的编码器和解码器可以与生成模型一起进行端到端的训练，让模型学会在生成高质量图像的同时，自然而然地携带水印。
理解了这些，我们再来看UniMark，就能明白它提出的“统一”和“自适应”有多么重要。它需要设计一个不依赖于特定模型内部结构的、能够普遍适用于这类自回归生成范式的水印框架。
3. UniMark框架深度拆解：统一、自适应与多比特如何实现？
UniMark的论文标题已经点明了它的三大核心特征。我们逐一拆解，看看它是如何将这些理念落地的。
3.1 “统一”框架：解耦水印与模型结构
“统一”是UniMark最大的贡献之一。在此之前，很多水印方案是针对某个特定模型（如某个版本的Stable Diffusion）设计的，严重依赖该模型的具体网络结构、潜在空间表示或训练细节。一旦模型更新换代，水印方案可能就失效了。
UniMark采取了一种更上层的、与模型结构解耦的思路。它不关心生成器内部是Transformer还是Diffusion，也不关心潜在空间的维度是多少。它只关注一个核心接口：模型在生成过程中，对下一个图像块（或视觉词元）的预测概率分布。
注意：这里为了简化理解，我们以“图像块”为例。在实际实现中，可能是VQ-VAE的codebook索引，或其他离散化的表示。
框架的工作流程可以概括为：
- 水印编码器：将需要嵌入的多比特信息（例如一个128位的二进制序列）转换成一个“水印信号”。这个信号通常是一个与模型预测概率分布维度相同的向量或扰动。
- 概率分布调制：在自回归模型每一步预测出下一个图像块的概率分布 ( P_{\text{model}}(x_t | x_{<t}, c) ) 后（其中 ( c ) 是条件，如文本提示），UniMark的水印模块会介入。它根据当前步骤、水印信号以及可能的图像上下文，计算一个调制权重 ( \alpha ) 和一个导向分布 ( P_{\text{watermark}} )。
- 混合采样：最终的采样分布是原始模型分布和水印导向分布的加权混合： ( P_{\text{final}} = (1 - \alpha) \cdot P_{\text{model}} + \alpha \cdot P_{\text{watermark}} ) 然后，从这个混合分布中进行采样，得到当前步骤的图像块。
- 循环迭代：重复步骤2和3，直到整张图像生成完毕。水印信息就这样被“编织”进了图像的生成序列中。
- 水印解码器：在提取端，给定一张可能被攻击过的图像，解码器需要从中逆向解析出嵌入的比特序列。这通常需要一个与编码过程对称的、可训练的网络。
这种设计的“统一性”在于，只要一个生成器能提供每一步的预测概率分布，UniMark框架就能接入。它像是一个通用的“插件”，可以适配不同的自回归生成器后端。
3.2 “自适应”机制：动态权衡保真度与鲁棒性
参数 ( \alpha )（调制权重）是UniMark“自适应”特性的关键。它不是一个固定的超参数，而是一个动态变化的量。为什么需要动态变化？
想象一下，在生成图像的不同阶段，我们对“水印强度”的需求是不同的：
- 生成初期（如画布的背景、大块区域）：图像的语义和结构正在确立，此时如果施加过强的水印扰动（( \alpha ) 过大），可能会破坏整体构图，导致生成失败。此时应倾向于相信原始模型（( \alpha ) 较小），保证图像基本质量。
- 生成中期（细节填充阶段）：图像主体已定，正在添加纹理、细节。这是嵌入水印的“黄金时期”，可以适当提高 ( \alpha )，将水印信息巧妙地隐藏在纹理细节中。
- 生成末期（微调阶段）：图像即将完成，任何大的改动都可能引入不自然的痕迹。此时应降低 ( \alpha )，让水印行为变得温和。
UniMark通过一个轻量级的自适应控制器网络来实现这一点。这个控制器以当前生成步骤、已生成的部分图像特征、以及水印信息本身作为输入，实时输出一个介于0到1之间的 ( \alpha ) 值。这个网络是与水印编码器/解码器一起训练的，其目标是学习到一个策略：在保证生成图像视觉质量（保真度）的前提下，最大化最终嵌入水印的鲁棒性。
在实际训练中，损失函数会包含以下几项：
- 视觉保真度损失：确保带水印的图像与不带水印的参考图像在像素级和感知层面（如LPIPS）尽可能接近。
- 水印解码损失：确保从带水印的图像中能正确解码出嵌入的比特信息（使用交叉熵等）。
- 鲁棒性损失：这是关键。训练时会对带水印的图像施加各种模拟攻击（如JPEG压缩、高斯噪声、缩放、裁剪等），然后要求解码器仍能从被攻击的图像中正确提取水印。这迫使编码器和自适应控制器学会将水印嵌入到那些能抵抗这些攻击的图像特征中。
3.3 “多比特”嵌入：从“有无”到“内容”
早期的AI生成水印很多是“零比特”或“单比特”水印，只能回答“这张图是否由某个模型生成？”（是/否）。而“多比特”水印意味着我们可以在图像中嵌入一段有意义的信息，比如：
- 模型标识符：哪个AI模型生成了它？（如“DALL-E-3-v1.2”）
- 用户/会话ID：是哪个用户发起的生成请求？
- 时间戳：生成于何时？
- 唯一序列号：这张图片在本次生成中的唯一编号。
这极大地扩展了水印的应用场景。例如，平台可以追溯违规内容的精确来源；艺术家可以为自己的每一幅AI作品嵌入唯一的签名信息。
技术层面，多比特嵌入比单比特复杂得多。它需要将比特序列映射到高维的水印信号空间，并确保在生成过程中，这串比特序列的每一位信息都能被稳定地、互不干扰地编码到图像的不同“维度”或“阶段”中。UniMark通常采用类似通信系统的编码方式（如纠错编码），并可能将比特序列分段，与生成过程的不同阶段或图像的不同区域进行关联。
一个常见的实践是，将比特序列通过一个可训练的嵌入矩阵（Embedding Matrix）映射成一组特征向量。在生成过程中，这些特征向量被用作自适应控制器的额外条件，或者直接用于调制概率分布。解码器则需要一个对称的过程，将图像特征映射回比特序列。
4. 实战推演：如何为自定义生成器集成UniMark思路？
论文通常给出的是理想化的框架和实验结果。但在实际工程中，为自家的自回归图像生成器添加水印功能，会遇到更多具体问题。下面我结合经验，推演一下大致的实现路径和关键决策点。
4.1 第一步：确定集成层级与接口
这是最重要的架构决策。你需要明确在生成流程的哪个环节注入水印逻辑。
方案A：概率分布层集成（最贴合UniMark原意）
- 位置：在模型计算出下一个视觉词元的logits（未归一化的概率）之后，softmax归一化之前或之后。
- 优点：最根本，能最大程度利用生成模型的概率空间。水印影响的是生成过程的“决策依据”。
- 挑战：需要能够访问并修改模型推理的核心循环代码。对于黑盒API或封装得很死的模型，可能难以实现。
- 操作：你需要hook住模型的前向传播函数，在得到logits后，调用你的水印调制模块，修改logits，然后再进行采样。
方案B：采样层集成
- 位置：在模型输出最终的概率分布 ( P ) 后，不直接采样，而是将 ( P ) 和你的水印信号一起送入一个“智能采样器”，由这个采样器决定最终输出的词元。
- 优点：与模型核心逻辑解耦更彻底，只需替换采样函数即可。更容易实现和调试。
- 缺点：控制力稍弱，因为无法影响概率分布本身，只能在后处理阶段选择词元。可能对生成多样性和质量有细微影响。
- 操作：实现一个自定义的采样函数（如
watermark_aware_sampler），它接收概率分布和水印状态，返回采样出的词元索引。
方案C：潜在空间扰动集成
- 位置：如果你的生成器使用VQ-VAE等编码器，可以在解码器将离散词元还原为连续潜在特征时，向特征中添加一个由水印信号引导的微小扰动。
- 优点：在连续空间操作，有时更容易优化。
- 缺点：扰动可能被后续的解码过程放大或扭曲，鲁棒性需要仔细设计。
我的建议是，如果可能，优先尝试方案A。它最符合UniMark的思想，潜力最大。如果模型不可修改，再考虑方案B。
4.2 第二步：设计水印信号与调制方式
这是算法的核心。你需要定义水印信号 ( W ) 的形式，以及它如何调制概率分布 ( P )。
- 水印信号 ( W )：通常是一个可训练的向量，其维度与词表大小相同，或者与模型的隐藏层维度相同。它由水印编码器根据要嵌入的比特消息 ( m ) 产生：( W = \text{Encoder}(m, t, ctx) )，其中 ( t ) 是时间步，( ctx ) 是当前上下文（可选）。
- 调制方式：最简单的就是线性混合，如 ( \text{logits}{\text{new}} = \text{logits}{\text{model}} + \beta \cdot W )，其中 ( \beta ) 由自适应控制器产生。更复杂的方式可以设计一个门控机制，或者让 ( W ) 去预测一个偏移分布。
这里有一个关键技巧：不要直接让 ( W ) 去“覆盖”模型的预测，而是让它去“建议”一个微小的偏置。训练的目标是让模型学会在 ( W ) 的引导下，从众多合理的候选词元中，选择那个既符合图像语义、又能解码出正确水印信息的词元。
4.3 第三步：实现自适应控制器
自适应控制器是一个小型神经网络（如几层MLP）。它的输入通常包括：
- 当前时间步 ( t ) 的嵌入向量。
- 已生成序列的某种聚合特征（如通过一个轻量级CNN提取的潜特征）。
- 当前要嵌入的水印比特片段对应的特征。 它的输出是调制强度 ( \alpha ) 或 ( \beta )。
控制器的训练是整个系统最难的部分。因为它需要在保真度损失和解码损失之间做动态权衡。一个有效的训练策略是课程学习：
- 初期：主要优化保真度损失，让控制器学会在大部分时间输出很小的 ( \alpha )，先保证能生成像样的图。
- 中期：逐渐增加解码损失（尤其是对攻击后图像的解码损失）的权重，迫使控制器学习在何时、何地“加大力度”嵌入水印。
- 后期：进行微调，平衡两者。
4.4 第四步：构建训练管道与数据
训练需要三样东西：
- 文本-图像对数据集：用于训练生成器本身（如果从头训练）或微调水印模块。
- 水印消息集：随机生成或精心构造的比特序列，用于模拟要嵌入的信息。
- 攻击模拟器：一个数据增强管道，在训练时随机对生成的带水印图像施加JPEG压缩、高斯噪声、缩放、裁剪、亮度对比度调整等攻击。
训练循环大致如下：
for text, target_image in dataloader: # 1. 生成无水印图像（参考） clean_tokens = model.generate(text, watermark_enabled=False) clean_image = decoder(clean_tokens) # 2. 生成带水印图像 message = random_bit_sequence() watermarked_tokens = model.generate(text, watermark_enabled=True, message=message) watermarked_image = decoder(watermarked_tokens) # 3. 计算保真度损失 fidelity_loss = mse(watermarked_image, clean_image) + lpips(watermarked_image, clean_image) # 4. 模拟攻击并解码 attacked_image = attack_simulator(watermarked_image) decoded_message = watermark_decoder(attacked_image) # 5. 计算解码损失 decode_loss = binary_cross_entropy(decoded_message, message) # 6. 总损失与反向传播 total_loss = lambda_f * fidelity_loss + lambda_d * decode_loss total_loss.backward() optimizer.step()4.5 第五步：评估与调优
训练完成后，需要在独立的测试集上评估：
- 视觉质量：计算带水印图像与参考图像的FID（弗雷歇距离）、CLIP Score等，确保质量没有明显下降。
- 水印容量与准确率：测试在不同消息长度下，解码的比特错误率（BER）。容量不是越大越好，需要在容量和鲁棒性之间权衡。
- 鲁棒性：系统性地测试在不同强度（如JPEG质量因子从90到50）的各种攻击下的BER。
- 不可感知性：进行ABX测试，让人眼判断哪张图带了水印。
一个常见的坑是过拟合：模型可能学会了在训练所用的特定攻击模式下隐藏水印，但对未见过的新型攻击（如强力的去噪滤波、风格迁移）表现很差。因此，攻击模拟器的多样性至关重要。
5. 超越UniMark：当前方案的局限与未来展望
UniMark为我们提供了一个优秀的框架思路，但这项技术远未成熟。在实际应用中，我们还需要面对以下挑战和思考：
5.1 现有框架的局限性
- 对生成质量的潜在影响：尽管有自适应控制器，但引入水印本质上是对原始生成过程的干预。在追求高鲁棒性（尤其是抵抗强攻击）时，可能不得不牺牲一些图像的细节丰富度或创造性。对于艺术创作等对质量要求极高的场景，这可能是个问题。
- 计算开销：水印编码、自适应控制、以及为抵抗攻击而进行的强化的训练，都会增加推理和训练的成本。对于需要实时生成或大规模服务的应用，需要精心优化。
- 安全性假设：大多数研究（包括UniMark）假设攻击者是“盲的”，即他们不知道具体的水印算法和密钥。但在现实中，如果水印系统被广泛部署，其算法细节可能通过逆向工程被部分知晓。如何设计能够抵抗“白盒”或“灰盒”攻击（攻击者知道算法但不知道密钥）的水印方案，是一个更难的课题。
- 多模型与混合生成的追溯：如果一张图是先用A模型生成，再用B模型编辑，最后用Photoshop手动修改，现有水印方案很难处理这种复杂的流水线。
5.2 可能的进阶方向
- 语义感知的水印嵌入：未来的水印或许可以更“智能”。例如，将水印信息与图像的语义内容绑定——将某些比特嵌入到天空的云彩纹理中，将另一些比特嵌入到人物的衣物褶皱里。这样即使图像被局部修改，只要语义主体还在，水印就能部分存活。
- 可逆水印与内容认证结合：除了嵌入标识信息，水印是否可以用于检测图像是否被恶意篡改？例如，设计一种水印，当图像被PS修改后，不仅标识信息可能丢失，还能触发一个“篡改警报”。
- 标准化与互操作性：就像EXIF信息是相机图像的通用元数据一样，AI生成图像也需要行业标准的水印格式和协议。这需要各大模型开发商、平台和标准组织共同推动。
- 法律与伦理框架的配套：技术只是工具。水印的验证结果在法律上能否作为证据？恶意去除水印的行为应承担何种责任？这些都需要完善的法律法规来界定。
从我个人的工程实践来看，为AI生成内容添加水印，绝不仅仅是一个有趣的机器学习问题。它是一个涉及算法设计、系统工程、用户体验、法律合规的综合性挑战。UniMark这样的工作为我们点亮了一条可行的技术路径，但通往真正鲁棒、通用、实用的AI内容溯源体系，还有很长的路要走。作为开发者，我们在设计这类系统时，必须时刻在“有效性”、“隐蔽性”、“鲁棒性”和“成本”之间寻找那个微妙的平衡点。