CVPR 2025 Oral · pp. 13–23 · arXiv:2501.08331v3

让噪声
沿着运动流动

Go-with-the-Flow 把光流编码进扩散初始噪声的跨帧相关结构。每一帧保持空间 i.i.d. 标准高斯边际，整段视频噪声带有时间相关性。视频模型通过 LoRA 适应这种新分布，随后用局部拖拽、参考视频或深度扭曲产生的 flow 控制运动。

Ryan Burgert et al.Netflix Eyeline StudiosCogVideoX-5BWarped noiseOptical flowLoRA rank 2048
CVPR 页面项目页面固定提交代码
Figure 1 三类运动控制
原论文 Figure 1。 局部多边形、参考视频 flow 与深度或渲染引擎 flow 都转为时间相关噪声，再初始化 T2V 或 I2V 扩散。
核心变化
只改噪声采样

架构与 pipeline 保持原形；视频模型仍执行真实 fine-tuning。

速度数字
2.14 ms

A100 40GB 上生成一张 \(1024\times1024\) 噪声图的预处理时间，不代表视频生成耗时。

保证范围
逐帧 Gaussian

每帧空间 i.i.d. \(\mathcal N(0,1)\)；跨时间相关性承载控制。

问题、输入与输出

现有视频控制经常要求额外网络、注意力修改、相机参数或稀疏轨迹。本文测试一个直接假设：把运动写进初始噪声的时间协方差，可让基础模型沿 flow 生成，同时保留每帧熟悉的标准高斯输入。

输入

  • 训练：视频、原字幕、相邻帧 forward/backward flow。
  • 局部控制：首帧、文本、polygon 的平移、旋转与缩放轨迹。
  • 迁移与相机控制：driving video、depth warp 或 3D renderer flow。

输出

  • 噪声算法输出下一帧噪声 \(q'\) 与 density \(p'\)。
  • 视频模型输出 T2V 或 I2V 视频。
  • degradation \(\gamma\) 连续调节 motion adherence。
Paper Verified。 CogVideoX-5B T2V/I2V 执行 30,000 次 LoRA fine-tuning。架构没有新增 control module，训练仍然存在。
Author Claim。 作者称方法兼容任意视频扩散模型；实证覆盖 CogVideoX 与 AnimateDiff 两种基础模型。

Algorithm 1：逐帧扭曲

Figure 2 完整 pipeline
Figure 2。 Flow extraction、noise warping、fine-tuning 与 inference。
\(D=[H]\times[W]\)
单帧像素网格，通道独立处理。
\(q,p\in\mathbb R^D\)
上一帧 noise 与 flow density。
\(f,f':D\rightarrow\mathbb Z^2\)
Forward 与 backward 位移场；连续光流先缩放，再按实现规则取整，因此需要有符号坐标并允许越界。论文写作 \(\mathbb N^2\)，无法表达负位移。
\(G=(V,V',E)\)
上一帧到下一帧的二分图。
\(R(v)\)
source \(v\) 产生的 Gaussian 子变量集合。
Contraction edges。 每个 \(v\in V\) 若 \(v+f(v)\in D\)，添加 \((v,v+f(v))\)。论文第 4 行条件写成 \(v+f(v')\in D\)，按变量域与动作语义应为 \(v+f(v)\)。
Expansion holes。 只对 incoming degree 为零的 \(v'\) 添加 backward edge。每个 source 至多一条 forward edge，每个 target 至多一条补洞 edge，所以 \(|E|\le2HW\)。坐标 rounding 与越界细节未完整规定。
Conditional split。 令 \(d=\deg_G(v)\)、\(S=\sum_{i=1}^{d}Z_i\)：
\[ X_i=\frac{q(v)}{d}+\frac{1}{\sqrt d}\left(Z_i-\frac{S}{d}\right),\quad Z_i\overset{\mathrm{i.i.d.}}{\sim}\mathcal N(0,1). \]
把随机 \(q(v)\) 与 \(Z_i\) 一起平均，才有 \(\mathbb E[X_i]=0\)、\(\operatorname{Var}(X_i)=1/d\) 与 \(\operatorname{Cov}(X_i,X_j)=0\)。给定 \(q(v)=q\) 后，结论变为 \(\mathbb E[X_i\mid q]=q/d\)、\(\operatorname{Var}(X_i\mid q)=(d-1)/d^2\)、\(\operatorname{Cov}(X_i,X_j\mid q)=-1/d^2\)。条件子变量因此相关，边际独立性来自随机 \(q\) 的共同贡献恰好抵消负协方差。degree \(d=0\) 的 source 必须跳过。
Density-weighted aggregation。
\[ \alpha_{v\rightarrow v'}=\frac{p(v)}{d(v)},\quad \widetilde q(v')=\sum_{v\rightarrow v'}\alpha_{v\rightarrow v'}X_{v\rightarrow v'},\quad p'(v')=\sum_{v\rightarrow v'}\alpha_{v\rightarrow v'}. \]
Unit-variance target。
\[ s(v')=\sum_{v\rightarrow v'}\frac{\alpha_{v\rightarrow v'}^2}{d(v)},\qquad q'(v')=\frac{\widetilde q(v')}{\sqrt{s(v')}}. \]
若 \(s(v')=0\)，直接采样 \(q'(v')\sim\mathcal N(0,1)\)；density 仍由 \(p'(v')=\sum\alpha\) 决定，没有 incoming edge 时为 0。首帧需先采样 \(q_0\sim\mathcal N(0,I)\) 并令 \(p_0\equiv1\)；论文 Algorithm 1 只定义单步输入，没有单独写初始化。当前外部实现以标准 Gaussian 初始化 noise、以 1 初始化 density，并在每一步把 density 除以均值、加 \(10^{-5}\)，再施加 \(0.9999\) 次幂。这些长期数值稳定操作没有写入论文算法；算法中的 \(s\) 是单个 target 的方差累计量，每个 target 开始时重置为 0。
Figure 3 expansion contraction density
Figure 3。 Forward edges 处理 contraction，backward edges 填 expansion 空洞；density 随分裂与聚合传递。

理论保证的范围

\[ q_t(\cdot,c)\sim\mathcal N(\mathbf0,I_{HW})\quad\text{for every fixed }t,c. \]

在 flow 与 density 不依赖当前 noise value 的条件下，每个固定帧与通道的空间像素 i.i.d. 标准高斯。跨帧联合分布有意相关：

\[ \operatorname{Cov}(q_t(v),q_{t+1}(v'))\ne0\quad\text{for flow-linked }(v,v'). \]
Our Interpretation。 完整 \(F\times C\times H\times W\) tensor 具有时间相关性，与基础模型原始时空 i.i.d. training distribution 存在分布变化。

训练、推理与 degradation

视频模型路径

CogVideoX-5B：需要 fine-tuning

  • T2V 与 I2V；4M 视频，至少 \(720\times480\)，约 10–120 秒。
  • CogVLM2 captions。
  • rank-2048 LoRA，learning rate \(10^{-5}\)，batch 8，30k iterations。
  • 8×A100 80GB，总计 40 GPU-days。
  • 沿用 denoising MSE；optimizer、scheduler、warmup、precision 与 seeds 未披露。
图像模型路径

逐帧 SR / relighting：training-free

  • RAFT 提取 input video flow。
  • Algorithm 1 产生逐帧 Gaussian、跨帧相关的 noise。
  • DeepFloyd IF 做 SR；DifFRelight 做 portrait relighting。
  • 预训练 image-to-image weights 保持冻结。
附录跨模型实验

AnimateDiff：同样执行 fine-tuning

附录在 WebVid 上训练 AnimateDiff，使用 8×A100 40GB、约 2 天，输入 12 帧、\(256\times320\)。论文只给 Figure 16 定性结果，没有对应量化表、优化器或学习率，因此这项实验支持跨 backbone 的可行性，无法支持训练成本或性能幅度的精确比较。

\[ Q_{\gamma}=\frac{(1-\gamma)Q+\gamma\zeta}{\sqrt{(1-\gamma)^2+\gamma^2}}, \qquad\zeta\sim\mathcal N(0,I),\quad\gamma\in[0,1]. \]

分母恢复单位方差。\(\gamma=0\) 保留完整 warp，\(\gamma=1\) 退化为独立 Gaussian。Local motion 常用 \(\gamma\in[0.5,0.7]\)，motion transfer 常用 \(\gamma\in[0.2,0.5]\)。

Figure 4 degradation
Figure 4。 \(\gamma\) 从 0.7 降到 0.5 时，output 更严格遵循 driving flow。

Image space noise 到 latent space：空间 \(8\times8\) mean pooling 后乘 8，时间每 4 帧 nearest。若 64 个输入像素独立且单位方差：

\[ \operatorname{Var}\left(8\cdot\frac1{64}\sum_{j=1}^{64}Q_j\right) =64\cdot\frac1{64^2}\cdot64=1. \]

推理以 warped latent 初始化 deterministic sampler，论文举 DDIM 为例。公开脚本默认 30 steps、guidance 6；scheduler 由安装的 Diffusers 与模型配置决定。

完整实验数字

Table 1 · Gaussianity、效率、SR 与 relighting

指标FixedRandomBilinearBicubicNearestPYoCoCaVHIWYNInfResOurs
Gaussianity
Moran’s I index ↓-0.000270.000190.300.240.260.00023-0.000790.00110.000360.00014
Moran’s I p-value ↑0.290.360.00.00.00.730.250.110.600.84
K-S index ↓0.0890.0750.340.370.170.130.0730.0620.0550.060
K-S p-value ↑0.120.190.00050.00040.040.080.270.420.500.44
Efficiency at 1024×1024 · A100 40GB
GPU time (ms) ↓<1<14.414.336.823.542.3155.22.612.14
Super-resolution · DeepFloyd IF · DAVIS 43 · 64² → 256²
LPIPS ↓0.290.290.600.620.550.280.280.290.280.29
SSIM ↑0.880.880.720.700.650.880.880.870.880.88
PSNR ↑29.3629.4128.6828.5528.5929.4029.3929.3129.3829.39
Warping error ↓163.84233.65165.90167.95244.72186.63220.28164.35190.82152.04
Relighting · DifFRelight · 4 subjects × 4 trajectories
LPIPS ↓0.330.310.400.410.730.350.350.360.350.33
SSIM ↑0.690.770.730.700.380.580.670.640.600.70
PSNR ↑28.9129.0228.8728.8228.2128.8328.8728.8228.8128.92
Warping error ↓86.65128.1147.5343.57164.4295.24106.7787.7287.9785.82
统计解释。 Moran’s I 的目标是绝对值接近零；表头的单向下降箭头可能误导负值排序。高 p-value 代表当前检验未拒绝零假设，无法单独证明 Gaussianity 或 independence。
指标取舍。 Ours 的 SR warping error 152.04 最优，LPIPS 0.29 未达到 0.28。Relighting 的 Ours warping error 为 85.82，bilinear 与 bicubic 达到 47.53、43.57；作者指出后两者依赖长条模糊，image quality 同时下降。
Figure 5 local motion
Figure 5。 Polygon cut-and-drag 与 SG-I2V、DragAnything。
Figure 6 camera turn
Figure 6。 Turnable camera motion 与 MotionClone。

Table 2 · Motion transfer 与 camera movement

方法FID ↓CoTracker box mIoU ↑Pixel MSE ↓CLIP-text ↑CLIP-image ↑FVD ↓Subject ↑Background ↑Motion smoothness ↑Temporal flicker ↑
Motion transfer T2V · DAVIS 43
DMT–0.85–0.310.95–0.860.920.940.91
MotionClone–0.75–0.320.93–0.780.890.860.81
Ours–0.70–0.330.98–0.880.930.970.89
Motion transfer I2V · DAVIS 43
MotionClone99.410.720.0680.310.941839.130.750.850.920.87
Ours78.620.740.0530.310.971211.370.880.920.980.93
Ours (prompt only)76.620.520.0880.310.961357.460.850.910.960.92
Camera movement transfer I2V · DL3DV random 100
MotionClone82.670.710.100.330.941111.920.740.850.910.86
Ours48.410.830.0460.320.97340.060.880.920.970.93
Ours (LoRA rank 256)110.420.790.0610.310.961200.350.840.910.960.93
Ours (无 noise degradation)55.160.840.0470.320.96453.240.860.910.960.93
Camera movement transfer I2V · WonderJourney 19
MotionClone177.870.810.100.320.961928.120.750.870.930.87
Ours128.270.850.070.310.981548.530.820.910.980.94

CoTracker 使用 tracking bounding boxes 的 mIoU，与 DAVIS segmentation mask mIoU 含义不同。T2V 中 DMT 的 mIoU 为 0.85，Ours 为 0.70；Ours 优势集中在 CLIP 与 VBench。I2V DAVIS 中 prompt-only 的 FID 76.62 略优于 Ours 78.62，但 motion mIoU 从 0.74 降到 0.52。

Figure 7 DAVIS I2V
Figure 7。 DAVIS I2V motion transfer。
Figure 8 WonderJourney
Figure 8。 WonderJourney camera transfer。
Figure 9 depth warp
Figure 9。 DepthPro depth map 的粗糙 warp 产生 flow；没有真实 6DoF trajectory ground truth。
Figure 10 first frame editing
Figure 10。 First-frame editing 定性比较，基线为 MotionClone 与 AnyV2V。

User study · 40 participants

主文报告 local cut-and-drag 的 overall win percentage 为 82%，turnable camera movement 为 90%。论文没有披露每道题的视频样本数、每人比较次数、随机化与显著性检验；40 是参与者总数，图中百分比的 response denominator 无法确定。

Figure 15a local study UI
15a。 Local object motion study interface。
Figure 15b camera study UI
15b。 Turnable camera study interface。
Figure 15c best overall
15c。 Which video is the best overall?
Figure 15d user intent
15d。 Object control intent alignment。
Figure 15e camera motion
15e。 Intended camera movement preservation。
Figure 15f consistency
15f。 Consistent and stable motion。
Figure 15g motion transfer quality
15g。 Motion transfer overall quality。

附录证明与勘误

\[ \mathbb E[X_i]=0,\qquad \operatorname{Var}(X_i)=\frac1{d^2}+\frac1d\cdot\frac{(d-1)^2+(d-1)}{d^2}=\frac1d. \]
\[ \operatorname{Cov}(X_i,X_j)=\frac1{d^2}+\frac1d\left(-\frac2d+\frac1d\right)=0,\qquad i\ne j. \]

\(X_i\) 都是 Gaussian 输入的线性组合，零协方差因此给出独立性；target 再除以 \(\sqrt s\) 得到标准 Gaussian。

Example 1 漏写 target renormalization

附录列出的 expansion noise 对应归一化前的中间量。按照 Algorithm 1 完整执行，\(d=2\) 时得到：

\[ q'_a=\frac q{\sqrt2}+\frac{Z_a-Z_b}{2},\qquad q'_b=\frac q{\sqrt2}+\frac{Z_b-Z_a}{2}. \]
\[ \frac{q'_a+q'_b}{\sqrt2}=q. \]
Paper vs. derivation。 总体算法与 proof 包含 target normalization；Example 1 展开式遗漏这一步。这里采用 Algorithm 1 的完整推导。
Figure 11 noise comparison
Figure 11。 大 expansion 下的 warped noise。
Figure 12 SR
Figure 12。 DeepFloyd IF video SR。
Figure 13 relighting
Figure 13。 DifFRelight comparison。
Figure 14 windmill
Figure 14。 Ours、MotionClone 与未 fine-tune CogVideoX 消融。
Figure 16 AnimateDiff
Figure 16。 WebVid 上 fine-tune AnimateDiff 的定性泛化。

Figure 17 附录不完整伪代码

flow = optical_flow(previous_frame, current_frame)
backward_flow = -flow
mark contraction sources and expansion holes
regaussianize and rebalance density weights
accumulate source particles at destinations
divide by sqrt(sum(weight squared))
merge expansion and contraction regions

Figure 17 是附录中的说明性、不完整伪代码，无法直接执行。它把 backward flow 近似为 forward flow 的相反数，并省略核心 regaussianization 实现；expansion mask 的第二个坐标还写成 \(y+dx\)，按语义应为 \(y+dy\)。

官方固定提交审查

审查官方迁移仓库 Eyeline-Labs/Go-with-the-Flow 的提交 018f35148b3afae9bf57aa915d79c4e2d055552c。

公开推理链

  • 输入重采样到 49 帧、\(480\times720\)，noise channels 为 16。
  • 0.5 倍 frame resolution 计算 flow，flow 再放大 8 倍。
  • 支持 CogVideoX 2B/5B T2V 与 5B I2V。
  • 默认 degradation 0.5、temporal nearest、30 steps、guidance 6、8 fps 输出。

复现缺口

  • README 的 fine-tuning code 仍在 TODO。
  • 核心 noise warp 通过未固定 commit 的外部 CommonSource 动态获取。
  • requirements 没有版本号。
  • 公开脚本启用自动安装与远程代码下载。
  • 训练 optimizer、schedule、precision 与 seeds 缺失。
CommonSource 静态审查。 只下载并阅读 005a67a3efdfcb30491515955101d0a8cfdd62d6（2026-05-29）快照，没有导入或执行远程代码；noise_warp.py SHA-256 为 47b35af8940760986dc42c30f2d922ab7bb3fc4d3bd189c160f30d37ebce833d。regaussianize 用第一 noise channel 的浮点值执行 torch.unique 识别同源组，没有保存显式 source ID；浮点精度与重复值会参与分组语义。该快照先 bilinear resize flow，默认 nearest 分支用 round() 将有符号连续位移量化；NoiseWarper.__call__ 把 flow[0] 乘 flowh/oflowh*scale_factor，把 flow[1] 乘 floww/ofloww*scale_factor。默认保持宽高比例的路径不暴露差异；非等比例 resize 时，x/y 分量与 height/width 比例的对应关系需要另行验证。Forward scatter 的越界粒子替换为初始状态，expansion 通过 -F 的 reverse remap 获取，remap 的边界语义由 rp.torch_remap_image 决定。Contraction 使用 scatter-add 聚合，并以平方权重和的平方根归一化；concat density 除以 counts 后调用 nan_to_num()，属于论文外额外数值处理。最终 latent noise 用 area resize、density-weighted 分子与平方 density 分母完成降采样，再乘 scale factor。主仓库没有固定 CommonSource commit，因此此快照证明当前可访问实现的行为，无法唯一重建论文训练时实际获取的历史版本。
Paper Verified。 LoRA checkpoint 与 warped latents 直接接入 CogVideoX pipeline，架构没有额外 control network。
Reproducibility。 固定主仓库提交没有记录核心库版本；训练代码缺失阻止 40 GPU-days 结果的端到端复现。
项目论文固定提交与依赖快照影响
Backward flow真实 \(f'\)主仓调用 RAFT 相邻帧 flow；CommonSource expansion 用 \(-F\) reverse remap遮挡与大运动时不等价于独立估计的 backward flow
空间处理\(8\times8\) mean pool × 8CommonSource 用 area resize，density-weighted variance normalization 后乘 scale factor当前 kernel 已审计，历史依赖版本仍不确定
Flow 量化与边界整数网格位移，允许越界bilinear resize 与尺度修正后 round()；越界 forward state 被替换为初始化值亚像素位移、边界和 expansion source 受实现规则控制
Density按 source degree 分散、target 累加初始化为 1；每步均值归一化、\(10^{-5}\) 偏移与 0.9999 次幂包含论文未披露的长期数值稳定启发式
时间处理每 4 帧 nearestnearest、blend、blend_norm、randn公开实现含额外分支
Fine-tuning30k、rank 2048代码未发布训练数据处理无法复核
Samplerdeterministic，例如 DDIMDiffusers scheduler 未显式固定安装版本影响配置

Reviewer Commentary

Strength

表示简洁

密集 motion 写入 initial noise，避开架构修改；算法提供线性边数与单帧 Gaussian 证明。

Strength

任务覆盖广

统一覆盖 object、camera、motion transfer、first-frame editing、SR 与 relighting。

Strength

指标完整

同时报告 image quality、temporal error、motion fidelity、text alignment 与 ablation。

Weakness

统计结论过强

有限 K-S 与 Moran tests 无法证明完整分布性质，理论依赖 flow 与当前 noise value 独立。

Weakness

代码不完整

训练代码缺失，核心库未固定，依赖未锁定。

Weakness

几何证据有限

没有真实 6DoF camera ground truth，严格相机轨迹保证尚未验证。

Research Extension。 用 flow uncertainty 预测时空自适应 \(\gamma\)：遮挡与低置信区域提高 degradation，高置信刚体区域降低 degradation；进一步联合约束逐帧边际、时间谱与 occlusion consistency。
Research Extension。 对 procedural material animation，可把 UV-space flow、shader parameter trajectory 或 differentiable renderer correspondence 转成 warped latent noise，研究纹理细节随形变保持与 renderer-in-the-loop repair。

Paper Verified Table 1/2、训练设置、用户人数、单帧 Gaussian proof。 Author Claim 任意视频模型兼容。 Our Interpretation proof 条件、Example 1 修正、统计与速度边界。 Research Extension uncertainty-aware degradation 与材质时序生成。

一手来源

  1. CVPR 2025 Open Access：正式 venue、作者、页码 13–23、paper 与 supplement。
  2. arXiv:2501.08331v3：22 页合订本与 source。
  3. 迁移后的官方项目页：CVPR 2025 Oral 与 gallery。
  4. 官方代码固定提交 018f351。
  5. DOI 10.1109/CVPR52734.2025.00011。