Rectified Flow · 论文精读

01 · MOTIVATION

连续时间模型的计算瓶颈，来自轨迹几何

Research gap

推理需要大量函数调用

扩散 SDE 与 probability-flow ODE 训练稳定，但高质量采样需要反复调用昂贵的 drift 网络。论文把少步误差直接联系到路径弯曲与时间速度不均匀。

Unified transport

生成与域迁移共享同一问题

输入是两个边际分布 \(\pi_0,\pi_1\)，目标是构造把前者推送到后者的 transport map。噪声到数据对应生成；数据域到数据域对应 translation 与 adaptation。

Core intuition

直线可由一步 Euler 精确积分

沿每条轨迹速度保持常数时，\(Z_1=Z_0+v(Z_0,0)\)。因此作者用 reflow 改写 coupling，让后续流的轨迹逐渐变直。

原论文 Figure 1，生成与图像迁移的少步轨迹 — **Figure 1 · 原论文图。**上两行是 Gaussian 到猫脸生成；下两行是人脸到猫脸迁移。1-rectified flow 已能少步工作，2-rectified flow 的单步结果明显改善。该图提供定性证据，无法单独证明任意数据与任意网络都能一步精确。

02 · FORMULATION

从随机配对到可模拟的确定性 ODE coupling

\(X_0\sim\pi_0\)起点样本；生成任务通常为标准 Gaussian。

\(X_1\sim\pi_1\)终点样本；生成任务为数据分布。

\((X_0,X_1)\)输入 coupling；无配对数据时通常独立采样。

\(X_t=(1-t)X_0+tX_1\)端点之间的随机线性插值。

\(v_\theta(x,t)\)神经速度场，只接收当前位置与时间。

\(Z_t\)由 ODE 生成的因果、Markov 轨迹。

\[ \min_{v}\int_0^1\mathbb{E}\!\left[\left\|(X_1-X_0)-v(X_t,t)\right\|_2^2\right]dt, \qquad X_t=(1-t)X_0+tX_1. \]

训练样本实际由 \((x_0,x_1,t)\) 构成：网络输入 \(x_t\) 与 \(t\)，监督目标是常向量 \(x_1-x_0\)。训练期间无需求解 ODE，也无需 likelihood、判别器或反向传播穿过 ODE solver。

\[ dZ_t=v_\theta(Z_t,t)dt,\qquad Z_0\sim\pi_0. \]

推理阶段才数值积分。反向迁移可以从 \(Z_1\sim\pi_1\) 逆向求解同一 ODE；在唯一解条件成立时，ODE 可逆性自然给出 cycle consistency。

原论文 Figure 2，线性插值与 Rectified Flow 的重新连线 — **Figure 2 · 原论文图。**线性插值路径允许交叉；ODE 的唯一解禁止同一时刻、同一位置出现不同方向。速度条件期望在交叉处聚合方向，等价于重新连接进入与离开的轨迹，同时保持各时刻的边际密度。

03 · THEORY

条件期望、连续性方程与凸代价下降

总体最优速度：条件均值

固定 \((x,t)\) 后，平方损失的 Bayes regressor 是条件均值：

\[ v_X(x,t)=\mathbb{E}[X_1-X_0\mid X_t=x]. \]

多个插值线段在同一 \((x,t)\) 相遇时，速度场取这些方向的平均。这个“局部平均”把需要未来端点的非因果插值，转换成只依赖当前状态的速度场。

Theorem 3.3：边际保持需要 rectifiability

论文定义 rectifiable：\(v_X\) 局部有界，且积分方程存在唯一解。对紧支撑、连续可微测试函数 \(h\)：

\[ \frac{d}{dt}\mathbb{E}[h(X_t)] =\mathbb{E}[\nabla h(X_t)\cdot v_X(X_t,t)]. \] \[ \partial_t\rho_t+\nabla\cdot(v_X\rho_t)=0. \]

\(X_t\) 的边际与 ODE \(Z_t\) 的边际满足同一连续性方程、共享初始条件；唯一性给出 \(\mathrm{Law}(Z_t)=\mathrm{Law}(X_t)\)。端点处便有 \(Z_0\sim\pi_0\)、\(Z_1\sim\pi_1\)。有限网络、有限数据和数值积分误差会破坏严格等式。

Theorem 3.5：所有凸 displacement cost 同时非增加

\[ \begin{aligned} \mathbb{E}[c(Z_1-Z_0)] &=\mathbb{E}\!\left[c\!\left(\int_0^1v_X(Z_t,t)dt\right)\right]\\ &\le\int_0^1\mathbb{E}[c(v_X(Z_t,t))]dt\\ &=\int_0^1\mathbb{E}[c(v_X(X_t,t))]dt\\ &=\int_0^1\mathbb{E}\!\left[c\!\left(\mathbb{E}[X_1-X_0\mid X_t]\right)\right]dt\\ &\le\int_0^1\mathbb{E}[c(X_1-X_0)]dt\\ &=\mathbb{E}[c(X_1-X_0)]. \end{aligned} \]

第一处不等式把整段速度的凸函数界在逐时刻代价之下；第二处来自条件 Jensen。中间等号使用 Theorem 3.3 的逐时刻边际相同。

Paper Verified

论文真正证明的内容

精确总体速度、ODE 解唯一、线性插值等条件下，rectified coupling 合法，且每个凸 \(c\) 的 \(\mathbb{E}[c(Z_1-Z_0)]\) 均不增加。

Boundary

全局 OT 结论缺失

高维 straight coupling 可能仍带旋转分量，指定 \(c\) 的最小值没有得到保证。Theorem 3.8 只说明严格凸 cost 的最优 coupling 必然 straight；逆命题在 \(d\ge2\) 一般不成立。一维情形可退化为唯一单调 coupling。

原论文 Figure 4，Rectified Flow 与 VP 和 sub-VP ODE — **Figure 4 · 原论文图。**线性 rectified flow 经过 reflow 后趋近直线；VP 与 sub-VP 的非线性 interpolation 轨迹保持弯曲。图示支持路径几何直觉，定理的凸代价与 straightening 保证只属于 canonical 线性 interpolation。

04 · REFLOW

重新生成端点对，再训练下一条流

索引标准化为 \(Z_0^0=X_0,\ Z_1^0=X_1\)：输入端点是第 0 组，由它训练出的第一条 flow 记作 \(Z^1\)。

01独立或已有 coupling

02训练 1-flow

03高精度求解生成 \((Z_0^1,Z_1^1)\)

04用新配对训练 2-flow

05最终阶段 distill

记 \(Z^{k+1}=\mathrm{RectFlow}((Z_0^k,Z_1^k))\)。reflow 会更换 coupling；distillation 则拟合既有 coupling 的端点映射。二者训练目标与语义不同。

\[ S(Z)=\mathbb{E}\!\left[\int_0^1\left\|(Z_1-Z_0)-\dot Z_t\right\|_2^2dt\right]. \] \[ V((X_0,X_1))=\mathbb{E}\!\left[\int_0^1\left\|(X_1-X_0)-\mathbb{E}[X_1-X_0\mid X_t]\right\|_2^2dt\right]. \]

\(S\) 测量 flow 速度沿轨迹偏离常速直线的程度；\(V\) 测量输入插值方向在交叉处的不确定性。Theorem 3.7 给出二者的 telescope bound：

\[ \sum_{k=0}^{K}\left(S(Z^{k+1})+V((Z_0^k,Z_1^k))\right) \le\mathbb{E}\left[\|X_1-X_0\|_2^2\right]. \] \[ \min_{0\le k\le K}\left(S(Z^{k+1})+V((Z_0^k,Z_1^k))\right) \le\frac{\mathbb{E}\left[\|X_1-X_0\|_2^2\right]}{K+1}=O(K^{-1}). \]

索引标准化：输入 coupling 是第 \(k\) 组端点，由它训练出的 flow 记作 \(Z^{k+1}\)；初始条件为 \(Z_0^0=X_0,\ Z_1^0=X_1\)。

一 Euler 步边界。精确直线且常速意味着 \(v(Z_t,t)=Z_1-Z_0\)，此时一步 Euler 精确。论文的有限网络只得到“nearly straight”；Table 1 显示未蒸馏 2-flow 单步 FID 12.21，而充分求解 FID 3.36，数值差距直接说明近似直线仍会留下单步误差。重训练次数增加还会积累速度估计误差，正文明确不建议无限 reflow。

原论文 Figure 3，reflow 的轨迹与 straightness — **Figure 3 · 原论文图。**玩具例子展示连续三次 rectification。右图同时画 straightness 与相对二次 transport cost；后者接近零依赖这个低维示例及离散 OT 参照，论文提醒高维该指标可能失效。

05 · NONLINEAR PATH

统一 PF-ODE 的一般插值框架

一般路径 \(X_t\) 只需逐样本时间可微，训练目标改为拟合瞬时导数：

\[ v_X(x,t)=\mathbb{E}[\dot X_t\mid X_t=x], \qquad \min_v\int_0^1\mathbb{E}\left[w_t\|v(X_t,t)-\dot X_t\|_2^2\right]dt. \]

任意正权重 \(w_t\) 不改变每个时刻的总体最优条件均值。Theorem 3.3 的边际保持仍成立；凸代价下降与 reflow straightening 依赖线性插值，因此一般路径缺少这两项保证。

PF-ODE 与 DDIM 可写成 \(X_t=\alpha_tX_1+\beta_t\epsilon\)，其中 \(\epsilon\sim\mathcal N(0,I)\)。VP ODE 对应 DDIM 的连续极限。作者指出其 \(\alpha_t,\beta_t\) 来自 SDE 推导，常产生弯曲轨迹和时间速度不均匀；canonical rectified flow 直接取 \(\alpha_t=t,\beta_t=1-t\)。

相同之处

都可通过回归随机 interpolation 的导数获得 velocity，并使 ODE 的每时刻边际匹配 interpolation。

差异来源

Rectified Flow 直接设计 ODE 路径；VP、sub-VP 与 VE 的 schedule 承接自扩散过程。论文的效率主张集中于线性、匀速路径的粗粒度求解。

06 · ALGORITHM

训练不求解 ODE，reflow 数据生成需要教师求解

Train

一次监督回归更新

采样端点 \((x_0,x_1)\) 与 \(t\sim\mathrm{Uniform}[0,1]\)。
计算 \(x_t=(1-t)x_0+tx_1\)。
计算 \(\|v_\theta(x_t,t)-(x_1-x_0)\|_2^2\)。
总体算法可使用通用 stochastic optimizer；论文实际在 CIFAR-10 使用 Adam，在 image translation 与 domain adaptation 使用 AdamW。

Sample

数值积分 velocity

Euler 使用 \(Z_{t+1/N}=Z_t+v_\theta(Z_t,t)/N\)。完整求解实验还使用 SciPy RK45，容差沿用 Score SDE 设置；官方代码配置给出 ode_tol=1e-5。

Reflow

教师产生新的 coupling

从 \(z_0\sim\pi_0\) 出发，用上一条 flow 求出 \(z_1\)，保存配对，再用相同回归目标微调。论文 CIFAR-10 附录使用 400 万对与每轮 300,000 fine-tuning steps。

Distill

固定离散时刻拟合端点

\(k\)-step 蒸馏从集合 \(\{0,1/k,\ldots,(k-1)/k\}\) 采样 \(t\)。单步时 \(t=0\)，附录把 L2 换成 LPIPS；最终映射仍写成 \(z_1=z_0+v(z_0,0)\)。

07 · EXPERIMENTS

完整数值：少步收益伴随充分求解退化

Table 1(a) · CIFAR-10，DDPM++ 同架构

方法	NFE ↓	IS ↑	FID ↓	Recall ↑
ODE · 单步 Euler \(N=1\)，括号内为 distillation 后
1-Rectified Flow (+Distill)	1	1.13 (9.08)	378 (6.18)	0.00 (0.45)
2-Rectified Flow (+Distill)	1	8.08 (9.01)	12.21 (4.85)	0.34 (0.50)
3-Rectified Flow (+Distill)	1	8.47 (8.79)	8.15 (5.21)	0.41 (0.51)
VP ODE (+Distill)	1	1.20 (8.73)	451 (16.23)	0.00 (0.29)
sub-VP ODE (+Distill)	1	1.21 (8.80)	451 (14.32)	0.00 (0.35)
ODE · RK45 自适应完整求解
1-Rectified Flow	127	9.60	2.58	0.57
2-Rectified Flow	110	9.24	3.36	0.54
3-Rectified Flow	104	9.01	3.96	0.53
VP ODE	140	9.37	3.93	0.51
sub-VP ODE	146	9.46	3.16	0.55
SDE · Euler 2000 步
VP SDE	2000	9.58	2.55	0.58
sub-VP SDE	2000	9.56	2.61	0.58

括号内外必须成对阅读：未蒸馏单步 2-flow 的 FID 为 12.21，蒸馏后才是 4.85。RK45 的 2-flow FID 3.36 衡量充分求解质量，无法当作单步结果。

Table 1(b) · 论文引用的跨架构结果

方法	NFE ↓	IS ↑	FID ↓	Recall ↑
GAN · 单步
SNGAN	1	8.22	21.7	0.44
StyleGAN2	1	9.18	8.32	0.41
StyleGAN-XL	1	—	1.85	0.47
StyleGAN2 + ADA	1	9.40	2.92	0.49
StyleGAN2 + DiffAug	1	9.40	5.79	0.42
TransGAN + DiffAug	1	9.02	9.26	0.41
GAN with U-Net · 单步
TDPM \(T=1\)	1	8.65	8.91	0.46
Denoising Diffusion GAN \(T=1\)	1	8.93	14.6	0.19
ODE · 单步 Euler \(N=1\)
DDIM Distillation	1	8.36	9.36	0.51
NCSN++ (VE ODE) (+Distill)	1	1.18 (2.57)	461 (254)	0.00 (0.00)
ODE · RK45 自适应完整求解
NCSN++ (VE ODE)	176	9.35	5.38	0.56
SDE · 完整 Euler
DDPM	1000	9.46	3.21	0.57
NCSN++ (VE SDE)	2000	9.83	2.38	0.59

公平性。Table 1(a) 给出同一 DDPM++ 架构的主要受控比较；Table 1(b) 明确是文献报告值，架构、数据增强与训练预算均可能不同。作者自己指出 GAN 结果经过 ADA 等专门优化，Rectified Flow 使用较朴素实现。

原论文 Figure 8，CIFAR-10 FID 与 Recall — **Figure 8 · 原论文图。**左图比较 Euler 步数；右图追踪 reflow 与训练迭代。小 NFE 区域随 reflow 改善，充分求解区域会因速度估计误差累积而退化，与 Table 1 的 1-flow/2-flow/3-flow RK45 FID 2.58/3.36/3.96 一致。

Table 2 · Domain adaptation accuracy

数据集	ERM	IRM	ARM	Mixup	MLDG	CORAL	Ours
OfficeHome	66.5 ± 0.3	64.3 ± 2.2	64.8 ± 0.3	68.1 ± 0.3	66.8 ± 0.6	68.7 ± 0.3	69.2 ± 0.5
DomainNet	40.9 ± 0.1	33.9 ± 2.8	35.5 ± 0.2	39.2 ± 0.1	41.2 ± 0.1	41.5 ± 0.2	41.4 ± 0.1

OfficeHome 上相对 CORAL 高 0.5 个百分点；DomainNet 比 CORAL 低 0.1 个百分点。Table 2 没有说明 ± 项的统计定义，也没有报告显著性检验，因此这些数值不能支持统计显著性判断。正文的措辞是“better or on par”。这里使用 100 步 uniform discretization，无法证明单步领域适配。

原论文 Figure 10，AFHQ Cat 轨迹与终点外推 — **Figure 10 · 原论文图。**沿每条轨迹计算 \(\widehat z_1^t=z_t+(1-t)v(z_t,t)\)。2-flow 的外推图随 \(t\) 变化很小，作为近直线的可视化诊断；1-flow 在较早时刻已经出现可识别图像。

原论文 Figure 14，图像迁移的单步和百步比较 — **Figure 14 · 原论文图。**无配对图像迁移比较 1-flow 与 2-flow 在 \(N=100\) 与 \(N=1\) 的结果。训练使用感知特征 Jacobian 加权的目标，意在保留主体 identity 并迁移 domain style。

FIGURE INDEX

其余原论文图的编号与用途

以下图片没有重复嵌入，保留原编号、位置与解读任务，方便回到 41 页本地 PDF 核查。

[Figure 5 Placeholder]

第 11 页：Rectified Flow、VP ODE、sub-VP ODE 与 constant-speed VP 在 \(N=1,2,5,100\) 时的玩具轨迹，展示路径弯曲与非均匀速度。

[Figure 6 Placeholder]

第 11 页：各方法的 \(\alpha_t,\beta_t\) schedule，对应 Figure 5 的时间速度解释。

[Figure 7 Placeholder]

第 23 页：两层、每层 64 单元的 MLP 在不同 L2 penalty 下的轨迹，以及 kernel estimator 的 bandwidth 敏感性。

[Figure 9 Placeholder]

第 24 页：CIFAR-10 的 straightness 随 reflow/training 变化，以及随机像素在 1-flow 与 2-flow 中的轨迹。

[Figure 11 Placeholder]

第 26 页：LSUN Bedroom、LSUN Church、CelebA-HQ 与 AFHQ Cat 的 256×256 定性生成样本。

[Figure 12 Placeholder]

第 27 页：拼接猫图的 reverse ODE latent、Gaussian prior 修正与 forward ODE 图像编辑示例。

[Figure 13 Placeholder]

第 28 页：Cat、Wild Animals、MetFace、CelebA Face 之间的双向 100-step 迁移样本。

[Figure 15 Placeholder]

第 29 页：不同 domain 的 1-flow 轨迹，以及 MetFace 到 Cat 的 1-flow/2-flow 对比。

[Figure 17 Placeholder]

第 39 页：在 Gaussian latent 端点之间插值，再通过生成器观察 latent space 连续性。

[Figure 18 Placeholder]

第 39 页：1-flow、2-flow、单步与 distilled model 的 latent interpolation、latent compositing 与尺度变化。

[Figure 19 Placeholder]

第 40 页：CIFAR-10 上 1-flow、2-flow、sub-VP 的轨迹与终点外推诊断。

[Figure 20 Placeholder]

第 40 页：不同 reverse/forward solver 步数组合的 latent embedding 与 image reconstruction。

[Figure 21 Placeholder]

第 41 页：更多 100-step、时间均匀采样的无配对图像迁移轨迹。

08 · REPRODUCTION

正文、附录与固定提交的配置

CIFAR-10

32×32，无条件生成；\(\pi_0=\mathcal N(0,I)\)。
DDPM++ U-Net；EMA 0.999999。
Adam，learning rate \(2\times10^{-4}\)，dropout 0.15。
reflow：400 万教师配对；每轮 fine-tune 300,000 steps。
单步 distillation 使用 LPIPS；评测 FID、IS、Recall。

Image translation

AFHQ、MetFace、CelebA-HQ；80% train、20% test；统一 512×512。
DDPM++ U-Net；ImageNet 预训练 classifier 的 latent feature \(h(x)\) 形成 Jacobian 加权 loss。
AdamW，\((\beta_1,\beta_2)=(0.9,0.999)\)，weight decay 0.1，dropout 0.1。
batch size 4，1000 epochs，EMA 0.9999。
学习率在 \(\{5\times10^{-4},2\times10^{-4},5\times10^{-5}\}\)、\(\{2\times10^{-5},5\times10^{-6}\}\) 中按最低训练 loss 选择。

Domain adaptation

DomainNet：6 domains、345 classes；OfficeHome：4 domains、65 classes。
先映射到预训练分类器最后 hidden layer，再在 latent 上训练 rectified flow。
AdamW，batch size 16，50k iterations，learning rate \(10^{-4}\)，weight decay 0.1，OneCycle schedule。
推理为 uniform 100 steps。

High-resolution

正文报告 256×256 的 LSUN Bedroom、LSUN Church、CelebA-HQ、AFHQ Cat 定性样本。没有 FID 表、训练时长或统一计算预算，证据层级低于 CIFAR-10 主实验。

原论文 Figure 16，多个 ODE 的少步生成 — **Figure 16 · 原论文附录图。**比较 VE、VP、sub-VP 与 1/2-rectified flow 在 1、2、3 步时的样本。图支持 2-flow 少步清晰度提升；定量判断应回到 Table 1 与 Figure 8。

09 · EVIDENCE

把定理、作者解释与研究推断分开

Paper Verified

有定理或实验直接支持

总体最优 velocity 是条件期望。
rectifiability 下逐时刻边际保持。
线性 interpolation 下所有凸 displacement cost 非增加。
reflow 的累计 straightness + intersection variance 有 \(O(K^{-1})\) 最小项界。
CIFAR-10 的 2-flow + 单步 distillation 报告 FID 4.85、Recall 0.50。

Author Claim

证据范围需要保留

“state of the art”针对 2022 年作者选择的一步方法集合。
高分辨率生成主要由定性图支持。
Image translation 主要由视觉样本支持，缺少身份保持与感知质量的量化评测。
DomainNet 的 41.4 与 CORAL 41.5 相当，无法宣称数值领先。

Our Interpretation

方法的关键资源转移

少步推理的代价被移到训练前后的教师 ODE 求解与大规模 pairing：论文 CIFAR 每次 reflow 生成 400 万对。部署端更快，完整训练流水线仍需要高计算与存储预算。

Research Extension

程序化材质生成

可把 renderer state、graph embedding 或多尺度材质特征作为 \(X_t\) 的几何空间，学习从随机 graph latent 到有效 graph latent 的 velocity。约束、可执行性和离散拓扑需要专门的 projection 或 graph repair；本文没有验证这些机制。

论文与 README 数字分层。README checkpoint 列表复述 1-flow/2-flow/3-flow 的充分求解 FID 2.58/3.36/3.96，以及蒸馏单步 FID 6.18/4.85/5.21；这些值与 Table 1 对应。README 没有提供未蒸馏单步 12.21/8.15 的完整上下文。后续 InstaFlow 属于独立扩展，本页没有把其 Stable Diffusion 结果并入 v1 证据。

10 · REVIEWER

方法极简，理论边界清楚，实验仍留有空白

Strengths

训练目标是普通监督回归，计算图简单，训练期无需 ODE solve。
生成、translation 与 adaptation 共用 transport 表述。
条件期望、连续性方程、Jensen 与 telescope proof 形成连贯理论链。
Table 1(a) 提供 DDPM++ 同架构比较，并明确区分单步、蒸馏和完整求解。

Weaknesses

定理依赖总体最优 velocity 与唯一 ODE 解，实际有限网络偏差没有界。
reflow 的 400 万教师对把计算移到训练流水线，缺少总训练成本报告。
高分辨率与 translation 主要依赖定性图。
CIFAR 表没有多 seed 方差；跨架构 SOTA 比较控制不足。
参数量、训练时间与部分 backbone 细节缺失。

Potential improvements

直接优化局部 curvature 或 one-step truncation error，同时监控充分求解质量。
用在线难例选择减少无效 reflow pairing。
对指定 transport cost 加入 gradient-field 或 curl regularization。
为离散 graph 输出构建 execution-aware projection 与 renderer feedback。
报告同算力、同架构、同增强、同 seed 的完整 Pareto 曲线。

复现时最容易混淆的四个量

量	测量对象	典型来源	不能替代
充分求解 FID	velocity 场对应的连续 ODE 质量	RK45，自适应 NFE	单步部署质量
未蒸馏单步 FID	直线程度与起点 velocity 误差	Euler \(N=1\)	蒸馏模型表现
蒸馏单步 FID	端点映射拟合质量	固定 \(t=0\)，LPIPS	原 flow 的连续轨迹质量
convex transport cost	coupling displacement 的凸函数期望	Theorem 3.5	FID、perceptual quality 或指定高维 OT 最优性

11 · SOURCES

一手资料与核查快照

arXiv v1：本页公式、定理、算法、表格、图与附录设置的主要依据；本地 PDF 41 页，SHA-256 d81790cb6988ef480002adcc84000d4f44855b11fb868001fd53aad133bc3a74。
官方仓库固定提交 5a1fd4d：README 的训练、reflow、distillation、环境与 checkpoint 说明，以及 CIFAR 配置。
ICLR 2023 OpenReview 记录：正式会议身份；本地 v1 内容与会议记录分开标注。
Score SDE 官方实现：论文与仓库说明 Rectified Flow 图像生成代码基于该评测与 DDPM++/NCSN++ 架构。

原论文 Figures 1、2、3、4、8、10、14、16 由本地 v1 PDF 按文字坐标裁切并内嵌；未使用视觉定位。页面的 MathJax 3.2.2 bundle、图片与样式全部内嵌，可离线打开。