用 15M 参数为 FLUX 注入可组合控制

输入、输出与冻结范围

输入：文本提示词、当前噪声 latent \(z_t\)、一个或多个条件图像 \(c_i\)。空间条件包括 Canny、Depth、OpenPose；主体条件提供身份参考。

输出：FLUX flow-matching 速度场预测，经 25 步官方推理示例或论文指定步数迭代为图像 latent，再由 VAE 解码。

训练参数：57 个注意力层中的条件 Q/K/V LoRA；双流块还含输出 projection LoRA。VAE、两套文本编码器与 FLUX 主干冻结。

共享投影与条件增量

\(t,n,c\) 分别表示文本、噪声与条件分支。共享矩阵 \(W_Q,W_K,W_V\) 来自预训练 FLUX。

正式论文 Eq. 2/3 的维度标注把 \(A_i,B_i\) 都写成 \(d\times r\)，此时 \(B_iA_i\) 无法相乘。与 LoRA 及代码一致的方向应为 \(A_Q\in\mathbb{R}^{r\times d_{\mathrm{in}}}\)、\(B_Q\in\mathbb{R}^{d_{\mathrm{out}}\times r}\)，K/V 同理；先降到 \(r\)，再升回输出维度。

单条件 Eq. 8

\(D\) 表示文本与噪声 token，\(C\) 表示条件 token。行索引 \(i\) 是 query，列索引 \(j\) 是 key。条件 query 不能读取去噪/文本 key；去噪/文本 query 可以读取条件 key。

正式论文 Eq. 10 的冲突

该条件允许 \(i\in C_k,j\in D\)，即条件 query 读取当前去噪状态。此时条件表示随扩散步改变，跨步复用第一步条件 K/V 缺少数学依据。论文同时宣称条件分支与 timestep 无关，二者在这个公式下无法同时成立。

AdaLN 条件恒定性

条件分支 embedding \(e_c\) 在代码中以 cond_temb 表示，并使用零 timestep 构造，所以不随 denoising step 改变；它仍使用同一张图生成期间固定的 pooled text projection 与 guidance。条件图像、提示词、guidance、LoRA 权重或条件数量发生变化时，缓存都需要失效。

缓存生命周期

管线在每次调用开始时遍历全部 attention processor 并执行 bank_kv.clear()；随后用 32 个 warm-up latent token 触发一次条件缓存。后续步只重新计算去噪/文本 Q/K/V，拼接缓存的条件 K/V，并复用第一轮保存的条件 attention 输出。官方示例结束后再次显式清空。

实现按“缓存是否为空”判断复用，没有缓存键来校验 prompt、guidance、条件图像、分辨率与 LoRA。只要绕过管线或在同一 processor 上直接调用 Transformer，就需要调用者主动清空。

packed 网格定义

令输出 packed token 网格为 \((h_o,w_o)\)，条件 packed token 网格为 \((h_c,w_c)\)。位置缩放比例与像素尺寸比例相同，但坐标单位始终是 packed token。

这些坐标先输入 RoPE，用来旋转 Q/K。实现没有对旋转后的 feature 直接增加坐标数值。

512 → 1024 示例

512×512 条件对应 \(32\times32=1024\) 个 packed token；1024×1024 输出对应 \(64\times64=4096\) 个 packed token，因此 \(s_h=s_w=2\)。

条件坐标末端是 62，输出网格坐标范围是 0 至 63。这个半开区间解释了论文 Eq. 13/14 把端点写作输出尺寸时容易产生的歧义，也避免把像素高度 512 与 packed 网格高度 32 混为同一个 \(H\)。

主体条件偏移

补充材料 Eq. 16 在主体条件坐标的高度通道加入固定偏移：

代码修改传给 RoPE 的 packed token 坐标。64 属于该坐标单位，含义是把主体条件放入独立位置区间；它没有加到已经旋转的 Q/K feature 上。

适用边界

PATP 依赖条件缩放后仍保留足够结构。极高输出分辨率会让固定 1024 个条件 token 覆盖更大跨度，局部控制变粗。补充材料 Figure 7 与 Limitations 明确报告极高分辨率下控制能力下降。

Flow-matching 目标

Eq. 15 中的 \(\epsilon\) 是由 torch.randn_like 采样的 Gaussian noise；训练目标是速度 \(\epsilon-x_0\)。论文原文把 \(\epsilon\) 解释为 predicted noise，和公式及代码不一致。

论文公开设置

• 基础模型：FLUX.1-dev，冻结主干。
• 每类空间或主体条件单独训练。
• 4×A100 80GB；每卡 batch size 1。
• 学习率 \(10^{-4}\)；100,000 optimization steps。
• 空间数据：MultiGen-20M；主体数据：Subject200K。
• 正式正文 §4.1：推理 25 sampling steps。

固定代码提交补充

• LoRA rank 128，network alpha 128；57 个 FLUX attention block。
• AdamW；bf16；训练条件 512，目标长边 1024。
• 基础模型、VAE、CLIP、T5 参数冻结，只训练名称含 _lora 的参数。
• 训练噪声由 Gaussian 采样；timestep density 与 loss weighting 复用 diffusers 的 SD3/FLUX 训练工具。
• 验证示例使用 20 steps、guidance 3、最大文本长度 512；公开推理示例使用 25 steps、guidance 3.5。

20/25 steps 版本冲突

正式 Table 1 caption 说明 1024×1024、25 denoising steps；§4.1 同样写 25 sampling steps。§4.3.2 正文却写单张 A100、20 sampling steps。代码的正式推理示例为 25，训练期 validation 为 20。

这些文字来自同一正式论文版本，缺少公开计时脚本与实验日志，无法判断 Table 1 的时间究竟对应 20 还是 25 步。网页保留冲突，不选择其中一个数值替代另一个。

Face control 训练数据

Face 条件模型使用经过整理的 LAION-Face 子集，以及作者收集的私有 multi-view human dataset。所有人物图像先由 InsightFace 执行人脸裁剪与归一化配准。私有数据规模、许可、筛选阈值与划分没有公开，因此该分支无法仅依靠公开资料完整复现。

Canny 与 Depth 测试

Table 2 使用 COCO 2017 validation 的全部 5,000 张图像，保留原始分辨率与长宽比例，并以 ground-truth caption 作为文本提示。对生成图像再次提取 Canny 或 Depth：Canny F1 比较提取边缘与输入边缘，Depth MSE 比较提取深度图与输入深度图。

Subject 测试

Table 3 使用 Concept101。每张参考图配合与主体语义一致的文本生成图像。CLIP-I 和 DINO-I 分别用 CLIP 与 DINO 图像编码器计算生成图和参考图特征的 cosine similarity，用于衡量身份保持。

通用质量指标

CLIP-Score 衡量生成图与文本提示的一致性；FID 衡量生成分布与参考真实图像分布的距离；MAN-IQA 衡量无参考图像质量。不同指标方向不同：F1、CLIP-Score、MAN-IQA、CLIP-I 与 DINO-I 越高越好，MSE 与 FID 越低越好。

Face + OpenPose

Table 4 的 Face Similarity 衡量生成脸与参考脸的相似度。MJPE 由 OpenPose 提取输入与生成图的人体关键点，计算对应关节的 Euclidean distance，先在每张图内求平均，再在数据集上求平均；数值越低越好。

Table 2/3 的非最优项

EasyControl 没有包揽全部指标：Depth 的 FID 为 20.394，OminiControl 为 18.536；Canny F1 为 0.311，OminiControl 为 0.314。Subject 的 CLIP-I 与 DINO-I 两项也都没有达到最高值。其结果更接近控制、文本一致性、质量和效率之间的综合取舍。

已对应论文的部分

• 条件 token 经与噪声 token 相同的 FLUX block、norm 与 FFN 处理。
• 条件 timestep embedding 固定为 0，支持跨 denoising step 缓存。
• LoRA mask 只选择指定条件块；rank 128。
• 空间坐标按输出/条件 latent 网格比例缩放。
• 主体坐标高度偏移 64。
• 多条件 mask 阻断条件间互读与条件读取去噪。
• 每次 pipeline 调用开始清空缓存，并在 warm-up 中填充。

实现边界与隐含约束

• LoRALinearLayer 的 mask 最后一维硬编码为 3072，绑定 FLUX.1-dev hidden width。
• 条件 token 数按 cond_size // 8 与 packing 常数计算，假设方形、固定 VAE 与 channel packing。
• 多 LoRA 的加载顺序由 README 要求 subject 在 spatial 前，表明组合语义依赖条件块顺序。
• 缓存容器没有输入签名；管线之外使用容易产生陈旧缓存。
• 缓存路径在后续步复用首轮条件 attention 输出，要求条件内部状态也保持恒定。
• 公开仓库没有论文 Table 1 的独立计时脚本，20/25 步冲突无法用代码复原。

新增参数口径

训练脚本在冻结主干后统计可训练 LoRA 参数，论文 Table 1 明确注明只计算 additional module。15M 表示一个条件模块，30M 表示两个模块的线性相加；FLUX.1-dev 约 12B 主干仍参与每一步去噪计算。

缓存所节省的计算

缓存消除条件分支重复的 Q/K/V、条件自身 attention 与随后的条件状态计算。去噪/文本 query 仍需对拼接后的全部 key 做 attention，因此 KV Cache 没有消除所有随条件 token 数增加的注意力成本。PATP 同时减少每个条件的 token 数，两者配合才形成 Table 1 的延迟下降。

Paper verified

• 新增条件 LoRA 参数量随条件数从 15M 增至 30M。
• 固定条件分辨率与 KV Cache 显著降低自身 ablation 的延迟。
• 四张量化表覆盖单条件 Canny、Depth、Subject 与多条件 Face+OpenPose。
• 补充材料明确展示冲突条件与极高分辨率失败案例。

Author claim

• “zero-shot multi-condition generalization”获得定量与视觉支持，但只覆盖有限的两条件组合。
• “plug-and-play”在四种 Style LoRA 上得到视觉展示，缺少更广泛模型族与强度变化的系统统计。
• “不损失生成质量”的表述没有缓存启用/禁用的逐指标等价性表。

Our interpretation

• 核心贡献是把条件表示设计成可缓存的静态子图，再用分支掩码保证这个静态性质。
• PATP 既提供跨分辨率坐标，也直接减少条件 token；效率收益难以完全归因于位置方法本身。
• CIL 的隔离选择与 CMA 的分支隔离共同形成多条件组合能力，单独视觉消融不足以估计两者交互。

Strengths

• 实现简洁，参数增量小，清楚利用 FLUX token 结构。
• 单条件训练模块可组合，具有实际部署价值。
• 正式补充材料提供完整定量表、数据设置、算法与失败案例。
• 缓存与条件时间隔离在代码中具有直接对应关系。

Weaknesses

• Eq. 2 的矩阵维度与 Eq. 10 的掩码条件存在正式论文错误。
• Table 1 的 20/25 steps 冲突影响延迟可复现性。
• 不同 baseline 使用 FLUX、SD1.5 与 SDXL，多条件 Table 4 的基础模型并不统一。
• 缺少训练时间、数据过滤、随机种子、置信区间与重复试验。
• 视觉消融多，数值因果隔离有限。

Research extensions

• 为缓存建立显式 key：condition hash、prompt、guidance、LoRA、分辨率、dtype 与模型版本。
• 学习可稀疏化的条件路由，在不引入条件间污染的前提下允许受控的条件协商。
• 用分层条件 token 保留局部细节，根据输出区域自适应增加条件分辨率。
• 设计跨步近似缓存，量化条件状态允许轻微 timestep 变化时的质量/速度曲线。
• 在相同 FLUX 主干、相同步数与相同硬件上重新测量各 baseline。