看到2025年这个标题的预印本时我第一反应是总算有人把表示对齐这条路线上的翻车现场拿到台面上来讲了。REPARepresentation Alignment表示对齐在扩散模型里已经不算冷门——把生成模型中间层特征拉向一个预训练编码器的特征空间本质上是给扩散模型装了一个外挂的语义标尺让它少走弯路、训练更快。但真正让我反复琢磨的是副标题里那句Works Until It Doesnt——有效直到它不再有效。这个直到落在哪一步比方法本身更有研究价值。这篇文章适合两类人一类是正在做扩散模型训练、想用表示对齐加速又担心踩坑的人另一类是复现别人的trick、结果却时好时坏想搞清楚边界条件的人。我不会复述论文原文而是把标题拆开讲清楚每一层设计的动机、我实际操作时的配置、以及那些日志上不会直接告诉你的失效信号。1. 这个标题到底在说什么REPA的来龙去脉1.1 先拆一下标题里的四个关键词REPA、Early-Stopped、Holistic Alignment、Supercharges。前三个是技术方案最后一个是效果描述。REPA指表示对齐具体做法是取扩散模型主干或者解码器某个中间层的特征去匹配一个预训练图像编码器在同一张图上的输出特征。因为预训练编码器比如用对比学习或者自监督训练出来的已经具备比较稳定的语义抽象能力把扩散模型的中间表征往这个空间里推等于给生成过程提供了一个比纯像素损失更高效的引导信号。Early-Stopped指的是这种对齐并不是全程开启而是在某个训练阶段之后停掉。这个设计很关键如果一路对齐到训练结束模型会被锁在预训练编码器的语义框架里高频细节和自身数据分布特有的纹理反而难以发育。Holistic Alignment则强调整体——不只对齐最后一层特征而是把多个层、多个尺度的表示一起纳入对齐目标让语义信息和结构信息同步被约束。Supercharges是说效果层面加速收敛同时提升最终生成质量。这样一套组合拳的动机其实很朴素扩散模型学的是从噪声到数据的映射中间层的表示一开始是乱的如果能让它在前期就靠近一个成熟语义空间梯度回传的信息量比单纯像素损失大得多。1.2 表示对齐为什么是扩散模型的天作之合扩散模型从预测噪声开始学早期训练阶段最缺的不是容量而是语义组织能力。一个纯从头训的DiT模型在前几万步里中间层特征往往还是散的聚类不明显导致去噪过程在语义层面缺乏明确方向。表示对齐相当于借来一张现成的地图让模型在步步为营的采样过程中提前知道自己该往哪个语义区域走。我个人的理解是对齐操作提供了一个非常强的课程学习信号。课程学习的核心是让模型先学容易泛化的结构再学数据特有的细节。预训练编码器恰好擅长前者——物体的类别边界、场景的布局关系、光影的粗略分布。把中间层拉向这些表示模型不需要自己摸索很久才形成这些抽象概念省下的计算资源可以用在更细粒度的纹理学习上。这也是为什么很多复现工作都观察到开启对齐之后FID曲线在前中期掉得特别快尤其是训练步数有限、数据规模又不是特别大的情况下优势极其明显。但这里面有个隐藏前提——你用的预训练编码器最好和你训练数据的分布偏差不要太大。一旦偏差变大对齐就成了往错误方向使劲。1.3 直到它失效才是真正的主角标题里我最欣赏的就是这个转折。很多论文只会讲方法有多好极少有人认真讨论方法在什么条件下会从加速器变成绊脚石。从我的复现体验来看REPA的失效不是慢慢退化而是突然恶化——某个步数之后图像质量会出现明显的细节丢失、色彩浊化甚至结构崩坏。如果你只看训练损失完全看不出异常但生成的验证集图像已经开始出现塑料感边缘锐度下降高频纹理大面积失踪。这个现象背后有合理的机制预训练编码器为了获得鲁棒语义本质上会丢弃部分高频信息。持续强制扩散模型对齐这个表示相当于把生成过程也引向高频稀疏的区域。前期没问题因为模型还没学会高频细节后期如果还继续按同样强度对齐模型就失去了补全高频信息的机会。Early-Stopped的松手时机处理的就是这个矛盾。所以整篇文章真正的核心问题不是表示对齐有没有用而是对齐多久、对齐哪些层、用什么权重以及当模型开始出现高频退化信号时你是该停掉对齐、降低权重还是直接换掉编码器。这些问题没有统一答案但摸索出来的规律完全可以复用。2. 三个关键设计的实现细节2.1 表示对齐怎么拉用什么当标尺表示对齐的基本形式可以写成一个简洁的损失项取扩散模型中间层特征经过一个投影头Projector映射后与冻结的预训练编码器特征计算余弦相似度或者L2距离。投影头通常是两三层MLP作用是把扩散模型的特征维度、分布习惯转换到预训练编码器的特征空间里避免直接硬拉造成早期梯度不稳定。我在实际操作中使用的是冻结预训练编码器这一点没有任何商量余地。如果编码器也在反传梯度整个系统的优化目标会变成一个动态靶子收敛行为很难分析。冻结之后编码器变成一个固定坐标系模型学习的就是如何在这个坐标系里把自己的中间表示摆得更正。损失权重是一个需要反复试的参数。太小等于没加太大则会把模型锁死。我的经验区间是0.05到0.5之间具体数值由训练步数和batch大小共同决定。batch越大梯度噪声越低对齐损失可以稍微调大batch小的时候对齐损失权重过大会让早期训练陷入来回震荡的怪圈因为像素损失和表示对齐的方向经常打架。2.2 提前停止什么时候松手最合适Early-Stopped的官方写法通常是在某个固定步数直接关闭对齐损失。这个步数是论文作者在特定数据集和模型规模下调出来的直接照搬到你自己的配置里大概率不合适。更好的做法是设一个动态判断条件当语义对齐的收益趋平时就逐步停掉。我常用一个简化版的信号在验证集上监控扩散模型中间层和预训练编码器之间的平均余弦相似度。训练初期这个值会快速上升代表模型正在快速学习语义组织当它的变化幅度连续几百步都低于一个阈值时继续对齐的边际收益已经很低了这时候就应该启动衰减把对齐损失的权重线性降下来通常用几千步做完整个退火。为什么不直接一步关掉因为突然移除一个强约束项会让模型的优化方向出现短暂的不连续蒸馏出来的特征会有一点回弹表现为FID在几百步内轻微波动。线性衰减相当于给模型一个缓冲期让它把已经吸收的语义结构慢慢内化为自己的参数而不是依赖外挂信号。这里的操作细节在论文里往往只写一句话但真正跑训练的人都知道衰减调度写得好不好直接影响后半程曲线。2.3 整体对齐为什么只看最后一层不够只对齐最后一层表示模型容易钻空子前面几层可以保持混乱的表示只在最后一层做一次强行变换来满足对齐约束。这样虽然损失也在下降但中间过程并没有真正获得良好的语义组织采样时稍微偏离训练路径就很容易暴露问题。Holistic Alignment的思路是同时对多个层施加对齐约束让网络在每一级抽象上都有迹可循。具体操作上我一般选择三类层主干早期的高分辨率特征、中期的语义融合特征、以及临近输出的深层特征。每一层配一个独立的投影头损失加权求和。前期的层偏重结构和位置信息中后期层偏重语义类别信息加权系数不一定要相同。比如早期层权重可以小一些因为高频细节不应该被过度约束中后期层的权重可以大一些因为语义组织是这里的主战场。这样做的一个额外好处是不同层的对齐信号天然构成一个多尺度监督模型不容易出现局部对齐、全局崩坏的情况。不过要注意整体对齐会同步增加显存占用和计算开销因为每多一个投影头前向计算和反传梯度都多一份成本。在小显存环境下建议先用三层起步先把效果跑通再考虑是否增加更多对齐层。3. 复现配置和一些容易被忽略的参数3.1 基础组件与训练流程整个训练流程与普通扩散模型训练类似区别在于前向过程里插入一个额外的分支把同一批真实图像送入冻结的预训练编码器提取参考特征同时把去噪网络某一层的特征取出来经过投影头映射到同一维度计算对齐损失。训练时总损失是扩散损失和对齐损失的加权和。我复现时使用的基础配置供参考配置项数值/方案说明基础生成模型某开源DiT结构约6亿参数级别输出256分辨率预训练编码器自监督ViT倒数第二层特征冻结权重仅作特征提取投影头两层MLP中间维度1024输出维度与编码器特征一致对齐层数3层分别位于主干早期、中期、输出附近对齐损失权重0.1早期层、0.2中期层、0.3深层线性衰减到0衰减启停步数30000步开始32000步结束总共约2000步完成退火优化器AdamW学习率1e-4权重衰减0.01数据使用的是通用图像数据集的一个中规模子集约几十万张图。这个规模下普通从头训练在256分辨率要跑出过得去的FID通常需要很多天加了表示对齐之后大约一半步数就能接近目标FID这是我最直观的感受。3.2 三个最容易翻车的参数第一个是预训练编码器的特征缩放feature scale。不同编码器输出特征的范数差异很大如果不做归一化投影头可能要花大量步数去学一个尺度变换浪费时间且训练不稳定。我的做法是拿到编码器后先在一个小批量数据上统计特征范数的均值然后把它归一化到1附近再喂给对齐损失。第二个是对齐损失的权重调度时机。权重衰减太早语义结构还没学稳衰减太晚高频退化已经发生无力回天。判断标准不能只看训练集loss要看验证集生成图像的细节保持情况。我在跑实验时发现衰减开始后大约5000步内是高频细节恢复的黄金窗口。如果这个窗口内图像锐度没有明显回升说明衰减动作做早了或者做慢了需要回退检查。第三个是投影头的学习率。投影头作为新初始化的模块其参数更新速度和主干不同。如果和主干用同一个学习率投影头在前期很容易产生震荡导致对齐信号噪声过大。我通常给投影头设置为主干学习率的5到10倍因为它要尽快稳定下来才能给主干提供一致的目标坐标。这里用大学习率不是盲目的投影头本身结构浅大学习率加速收敛的同时风险可控。3.3 两类监控指标怎么配合我的训练脚本里同时记录两类指标一类是对齐侧的包括各层余弦相似度、投影头输出范数变化另一类是生成侧的包括验证集FID和一组固定种子图像的视觉检查。这两个视角缺一不可。对齐侧指标告诉你模型和编码器之间的表示距离在怎么变化但它不能直接告诉你生成效果是否变好。有时候余弦相似度已经很高了生成图像却开始出现纹理坍缩说明模型过度拟合编码器的语义先验忽略了生成任务特有的细节要求。反过来图像看着不错但对齐侧指标迟迟不涨说明投影头可能没有正确地把两类特征放进同一空间权重和结构都需要微调。生成侧指标尤其是固定种子图像的逐阶段对比是我判断Early-Stopped时机最依赖的依据。我每隔固定步数保存一组相同种子下的采样图横向贴在同一个表格里。这种对比图比任何数值都直观你一眼就能看出细节什么时候开始丰富又是什么时候开始变得油腻或者过度平滑。无数次要调参的灵感都来自盯着这些图多看了两眼。4. 失效边界Works Until It Doesnt 到底指什么4.1 在什么条件下它确实很能打从自己的实验看表示对齐最有效的阶段是中前期训练也就是模型刚把粗糙结构学会、还没有充分细化纹理的那段时间。这时的模型就像一个有骨架没有肌肉的运动员对齐信号充当的是训练计划告诉它下一步该往哪个方向增加复杂度。在这个阶段REPA的加速效果可以用肉眼可见来形容——同一个步数下开启对齐的版本生成出来的图像在构图合理性和类别一致性上显著领先。数据规模和多样性也有讲究。几十万张图的中等规模下模型单靠像素损失要自己摸索语义结构浪费很多算力。表示对齐相当于提前注入知识对这类数据不够多、算力还要省的场景特别友好。换句话讲训练量越不够REPA带来的相对收益越明显。这也是它常被用在数据受限或者训练预算紧张场景的深层原因。它还非常适合接力训练先用表示对齐快速把模型推到一个语义合理的状态再关掉对齐做精细微调。这种两阶段策略比全程对齐更稳也比全程不对齐更快。我的经验是第一阶段大概占总预算的六成第二阶段占四成。第一阶段结束时的模型已经具备像样的构图和对象一致性第二阶段专心做纹理锐化和细节补全。4.2 第一次发现不 work的现场我第一次踩到失效边界是在一个风格化比较强的数据子集上做实验。前两万步一切正常FID曲线在下降固定种子的采样图也越来越干净。但在三万步附近验证集图像开始出现一种非常微妙的变化物体轮廓其实更清晰了但表面的细节像是被磨掉了一层皮肤纹理、树叶脉络、布料织物全都变得异常顺滑。这种顺滑不是美感意义上的柔化而是一种明显的信息丢失。最迷惑的地方在于训练损失和FID数值并没有同步恶化。如果只看这两个指标你会觉得训练一切正常。实际上这是因为FID对整体分布距离的敏感度高但对单张图的高频细节损失敏感度不高。一旦生成图像的分布整体变得平滑FID可能依然在降因为分布之间的距离在缩小只是缩小的方向是所有图一起变得无趣。这就是标题里Works Until It Doesnt最核心的现场方法在前期贡献巨大在后期却悄悄变成了一个低通滤波器压迫模型的高频表达能力。从那之后我对损失在降、FID在降、但图越来越没细节这种组合信号极其敏感基本能第一时间判断出对齐过当了。4.3 失效信号出现后我做的调整顺序一旦确认这个失效信号我按这个顺序做调整。第一步不是直接关掉对齐而是先冻结当前权重在验证集上手动采样一批图确认高频退化是不是全局性的还是只存在于某些类别。有时候只是个别类别和预训练编码器的语义空间偏差太大局部降权就能解决。第二步尝试把对齐权重减半继续训练一两千步观察高频细节是否恢复。如果恢复得不明显就把对齐层数从三层降到一层只保留最深层的那条约束。这个做法的逻辑是深层语义对齐的收益最大风险也最小而中早期层的对齐更容易压制高频信息。第三步才是完整的Early-Stopped把权重快速线性衰减归零让模型回到纯扩散损失的常规路径上。调整完之后有一个特别需要注意的地方不要立刻大幅调高学习率。刚从强对齐状态切换到纯扩散状态时模型的梯度分布会发生变化此刻用大学习率反而容易破坏已经形成的良好表示。我会把学习率调低到原来的0.3倍左右维持两三千步然后再恢复到正常水平。很多人在这一步做得太激进结果前期的对齐收益被一波优化冲垮非常可惜。5. 常见问题排查速查表5.1 问题表现象、原因、对策现象可能原因排查方向对策对齐损失下降但图像结构混乱投影头容量不足或学习率不当检查投影头输出特征是否稳定增加投影头宽度调大投影头学习率早期训练就发散对齐损失权重过大看训练前几百步的损失变化幅度权重砍半先跑通再逐步回升训练中途FID不再下降对齐信号与像素损失互相干扰查看各对齐层余弦相似度降低中期层权重或提前开启衰减图像色彩出现塑料感、细节平滑对齐过当高频信息被压制对比固定种子采样图的细节变化快速衰减对齐权重必要时完全关闭对齐相似度很快拉满但效果变差模型走捷径只学表层映射检查早期层对齐是否同样在上升增加更早期层的对齐约束权重关闭对齐后FID反弹衰减太急优化方向突变观察反弹幅度持续多久用更长的步数完成线性衰减投影头参数爆炸特征未归一化或学习率过大检查投影头输出范数对编码器特征做归一化降低投影头学习率5.2 从日志细节判断哪个环节出错日志不只是用来画loss曲线的更重要的是看不同损失项的相对变化趋势。我习惯每几百步打印一次总损失、扩散损失、对齐损失以及各层余弦相似度的滑动平均值。这些数字放在一起的时候能看出系统内部是否协调。有一个非常有价值的判断方法看扩散损失在对齐损失上升或下降时的响应方向。如果把对齐损失权重调大扩散损失同步下降说明对齐信号的引导方向和像素学习是一致的如果调大对齐权重之后扩散损失反而上升说明两个目标在打架此时不要硬扛而是应该降低权重或者换一个编码器特征层。后者是我在多个项目里反复遇到的坑——预训练编码器的最后一层特征往往高度语义化但空间细节几乎丢失和像素级扩散任务的需求天然冲突。另一个我常用的快速测试随机从验证集取出十几张图分别送入扩散模型和预训练编码器计算中间层特征的聚类情况。如果对齐已经生效同一个类别的图像特征会聚得比较紧如果类别边界模糊说明对齐还没有真正参与到模型的行为中。遇到这种情况优先检查投影头是否已经收敛再考虑调整数据采样策略。6. 写在最后我的个人体会表示对齐这类方法最大的魅力是它的前中期红利实在诱人——训练速度快了收敛曲线漂亮了生成图看起来也更早进入状态。但它同时也是双刃剑用得不好就变成给模型戴上了紧箍咒后期越训越滑。经过多次复现和调参我个人最大的体会是不要把REPA当作一个固定开关而要看成一门需要动态控制的工艺。什么时候拉什么时候停拉哪些层放多大权重每一个决定都取决于你的数据分布、模型尺寸和训练预算这三者的具体组合。最后再分享一个实操小技巧如果你不确定当前模型是不是已经出现高频退化可以把同一组固定种子的采样图在屏幕上一字排开每格标注对应的训练步数。只要这些图还保持着足以分辨的细节差异就不必急于停掉对齐一旦连续几百步采样图的细节差异越来越小说明高频信息已经趋于同一化这时候就应该果断启动衰减。这个小小的看图习惯帮我避开了无数次闷头调参数的弯路。