FramePack · 帧上下文打包与漂移预防

01 · Research motivation

长视频的两个失败源相互牵制

作者把失败拆成 forgetting 与 drifting。历史看得太少时，身份、场景与事件关系逐渐消失；历史看得更多时，早期生成误差也更容易被后续步骤记住并放大。FramePack 的贡献由两部分组成：固定预算的长期记忆，以及切断连续误差链的生成次序与训练表示。

\(O(1)\)

固定模型输入预算下，每个 streaming step 的历史上下文长度

重要性压缩

最近、最相似或被指定为关键的帧获得更多 token；远端历史接受更强 patchify 压缩。

Table 1 的全部消融配置

结构先于微调项

同一 sampling family 内的 kernel 与 tail 差异较小，sampling family 与历史表示带来更稳定的差异。

2.25%

Table 2 中 inverted sampling 的 clarity 首尾差

漂移显著下降

反向填充在四个 drift 指标上全部最小，同时保留了较高的人类偏好分数。

复杂度边界：论文与项目页的 \(O(1)\) 指每次 DiT 推理接收的压缩历史 token 预算不随已生成帧数增加。完整视频仍需逐段生成；历史存储、相似度检索和排序也有额外成本。尾部 ta 会让每个超长尾帧增加一个 latent pixel，因此该选项并不维持严格常数长度。

02 · Problem formulation

输入、输出与符号

条件历史

\(\mathbf{F}\in\mathbb{R}^{T\times h\times w\times c}\) 是 \(T\) 个历史 latent frames。论文中的 frame 与 pixel 均指 VAE latent 空间，而非最终 RGB 像素。

\(\mathbf{F}_0\) 表示排序后最重要的历史帧，\(\mathbf{F}_{T-1}\) 表示最不重要的历史帧。

待生成片段

\(\mathbf{X}\in\mathbb{R}^{S\times h\times w\times c}\) 是下一段未知 latent frames；next-frame 模式下 \(S=1\)，next-frame-section 模式下 \(S\) 较小。

\(L_f\) 是未压缩单帧上下文长度，480p 的 HunyuanVideo／Wan／Flux 约为 1560 tokens。

真正的优化目标

训练仍然微调现有 video diffusion transformer 去预测连续 latent 片段。FramePack 改写历史进入 DiT 的 tokenization、位置编码与顺序；漂移方法改写 inference 的时间访问顺序，或在训练时把历史 latent 映射到离散 codebook。论文没有提出新的 diffusion loss 公式，也没有把 endpoint planning 写成额外 reward 或 search objective。

03 · Frame context packing

几何级数把长历史压进有限 token 预算

核心操作发生在 transformer 输入层。每个历史帧使用不同的 3D patchify kernel；重要帧保留细粒度 token，越不重要的帧被越强地合并。

\[ \phi(\mathbf{F}_i)=\frac{L_f}{\lambda^{i}},\qquad \lambda\gt 1 \]

公式 1：\(\phi(\mathbf{F}_i)\) 是第 \(i\) 个历史帧的压缩后长度。以 \(\lambda=2\) 为例，重要性每下降一级，token 数减半。实际硬件只能使用离散 kernel，因此该式给出预算理想化描述。

\[ L=S L_f+L_f\sum_{i=0}^{T-1}\frac{1}{\lambda^{i}} =S L_f+L_f\frac{1-1/\lambda^{T}}{1-1/\lambda} \]

\[ \lim_{T\rightarrow\infty}L=L_f\left(S+\frac{\lambda}{\lambda-1}\right) \]

公式校正：论文公式 2 的极限在印刷时写成 \(S+\lambda/(\lambda-1)\)，遗漏了乘数 \(L_f\)。前两项都以 token 数计量，维度一致的极限应保留 \(L_f\)。该推导只适用于理想几何压缩与有限尾部策略。

论文 Figure 1：FramePack 的时间邻近、特征相似度排序和多种 GPU packing schedule

Figure 1 · 原论文。(a) 时间邻近排序；(b) 特征相似度排序；(c) progression with important start、symmetric progression、geometric progression、level duplication 与 temporal kernel。图中的方块表示逻辑 token 预算，帧图像并未在内存中拼接。

Kernel 与独立投影

3D kernel 记为 \((p_f,p_h,p_w)\)。相同压缩率可以由 \((1,8,8)\)、\((4,4,4)\)、\((16,2,2)\) 等组合实现。论文为常用的 \((2,4,4)\)、\((4,8,8)\)、\((8,16,16)\) 设置独立输入投影，更强压缩先下采样，再使用最大 kernel；新权重从预训练 patchify projection 插值得到。

RoPE alignment

不同 kernel 产生不同 token 网格。作者把 RoPE 在各通道位置上的复数 phase 进行 average pooling，使位置相位与压缩网格对应。需要访问不连续时刻的 endpoint sampling 则跳过空白时间索引，保留真实时间位置。

Tail 的三种处理

td：删除超出最小单位的尾部历史。
tc：对全部尾部做 global average pooling，再交给最后一个 kernel。
ta：每个尾帧池化到一个 latent pixel 并追加，长度随 \(T\) 增长。

任意预算

\(\lambda=2\) 适合幂次硬件。作者通过复制或删除 \(1/2^i\) 项调节总预算，例如复制 \(1/2\) 与 \(1/8\) 得到 2.625 倍单帧预算。它改变不同压缩级别的重复次数。

相似度与混合排序

\[ \operatorname{sim}_{\cos}(\mathbf{F}_i,\widehat{\mathbf{X}}) =\sum_p\frac{(\mathbf{F}_i)_p\cdot\widehat{\mathbf{X}}_p^{\top}} {\lVert(\mathbf{F}_i)_p\rVert\,\lVert\widehat{\mathbf{X}}_p\rVert} \]

公式 3 在 latent pixel \(p\) 上累计 cosine similarity；排序参照的是估计的下一片段 \(\widehat{\mathbf{X}}\)，并非未知真实帧。它适合重新访问旧场景，却需要保存并检索历史特征。

\[ \operatorname{sim}_{\mathrm{time}}(\mathbf{F}_i,\widehat{\mathbf{X}}) =\exp\left(-\left(\operatorname{time}(\mathbf{F}_i)-\operatorname{time}(\widehat{\mathbf{X}})\right)^2\right) \]

\[ \operatorname{sim}_{\mathrm{hybrid}}=\operatorname{sim}_{\cos}+\lambda_{\mathrm{time}}\operatorname{sim}_{\mathrm{time}} \]

公式 4 与 5 用平滑时间核约束相似度排序，减少相邻生成窗口之间的排序突变。正文只说明 world-model 与人脸身份场景的用途，定量结果被指向 supplementary；本次可访问的一手资料未提供该文件。

04 · Drift prevention

端点先生成，空隙再填充

论文 Figure 2：vanilla、anti-drifting、inverted、planned sampling 和 history discretization

Figure 2 · 原论文。阴影方块是当前 iteration 生成的帧，白色方块是输入历史。(b) 先建立首尾端点；(c) 从生成端点朝用户首帧反向填充；(d) 多 prompt 建立多个端点；(e) 用 K-Means codebook 离散化历史。

Vanilla causal

按照时间顺序生成，每个片段依赖先前生成片段。误差沿唯一因果链连续传播，适合 streaming，却最容易形成 observation bias。

Endpoint planning

首轮同时生成开始与结束片段，后续填补中间空隙。适用于运动范围较小、周期运动与火焰／水流等纹理运动。未来 anchor 已预生成，因此它不属于严格实时 causal streaming。

Inverted anti-drifting

image-to-video 的用户首帧质量最高。先生成远端 endpoint，再按反向时间次序填充，让每一轮都朝用户首帧逼近。该设计在主表的四项漂移指标上最强。

Multiple endpoints

使用不同 prompt 建立多个远端片段，再逐段填补。它支持更复杂叙事；endpoint 之间仍可能产生漂移，论文只声称在端点相距足够远的特定案例中误差积累变得很小。

History discretization

\[ \Phi\in\mathbb{R}^{(B\times T\times H\times W)\times C},\qquad \Omega\in\mathbb{R}^{K\times C} \]

\[ Q(\mathbf{F})_p=\arg\min_k\lVert\mathbf{F}_p-\Omega_k\rVert_2 \]

公式 6：在预计算 latent video pixels 上运行 K-Means，得到 \(K\) 个 \(C\) 维 codewords。每个历史位置存 codeword index，再查表得到 \(\Omega_{Q(\mathbf{F})}\)。训练时只替换 history，待扩散的输出片段仍是连续 latent。

\(K\) 的叙述存在内部冲突：Section 4.2 说明 \(K=1\) 会丢失记忆并消除误差传播，\(K\rightarrow\infty\) 接近无离散化并保留漂移；Section 5.3 却写“higher \(K\) gives stronger anti-drifting effects”。主文推荐 \(K=128\)，Table 2 使用 \(K=256\)。本次可访问公开材料未找到该参数的补充消融，无法从现有材料消除矛盾。

05 · End-to-end pipeline

从历史 latent 到下一段视频

01 · EncodeRGB 视频经 base model VAE 得到 \(T\) 个历史 latent frames。

02 · Rank依据时间邻近、特征相似度或混合分数排列历史帧重要性。

03 · Pack不同 3D patchify kernel 分配不同 token 长度，处理 tail 与 RoPE phase。

04 · DiffuseHunyuanVideo 或 Wan DiT 生成 \(S\) 个连续 latent frames。

05 · Schedule按 vanilla、endpoint、inverted 或 planned 顺序选择下一处空隙。

06 · Repeat生成帧进入历史；可在训练模型中先通过离散 codebook 表示。

能力边界：FramePack 没有 agent reasoning、tool calling、reward、reflection 或外部 environment loop。它是视频 diffusion 的条件组织、输入压缩与 sampling schedule。

06 · Experimental protocol

主文公开了评估协议，训练配方仍有缺口

Base models

HunyuanVideo 与 Wan
text-to-video 与 image-to-video
主文表格报告 HunyuanVideo
13B HunyuanVideo，480p LoRA throughput 示例

Training compute

实验使用 H100 clusters
单个 8×A100-80G node：window 2／3 时 batch 约 64
window 4／5 时 batch 约 32
这是单节点总 batch，页面未声称单 GPU batch 64

Test set

512 个真实用户 T2V prompts
512 个真实用户 I2V image-prompt pairs
long-video 默认 30 秒
short-video 默认 5 秒

Human study

每个 ablation 生成 100 个结果
每个 ablation 至少 100 次随机 A/B assessment
ELO-K32
ELO 差在 ±16 内按论文规则视为 tie

七个全局指标

Clarity

MUSIQ，基于 SPAQ；关注模糊与噪声等视觉质量。

Aesthetic

LAION CLIP-based aesthetic predictor。

Motion

VBench 修改的 RIFE，测量运动平滑性。

Dynamic

VBench 修改的 RAFT，测量动态程度；静止视频可能 motion 高而 dynamic 低。

Semantic

ViCLIP video-text score，测量视频与 prompt 的整体语义一致性。

Anatomy / Identity

VBench ViT 检测人体结构；ArcFace 配合 RetinaFace 测量人脸身份相似度。

首尾漂移指标

\[ \Delta^{M}_{\mathrm{drift}}(V) =\left|M(V_{\mathrm{start}})-M(V_{\mathrm{end}})\right| \]

公式 7 对任意质量指标 \(M\) 比较视频最前 15% 与最后 15% 帧。绝对值允许 forward 与 backward sampling 使用同一指标。它只测首尾差：若两端同样差，分数仍可能很低；真实剧情变化也可能提高差值。因此“直接反映 drifting severity”属于作者的操作性假设。

公开复现缺口：正文把 optimizer、learning rate、training steps、scheduler、warmup、weight decay、precision、gradient accumulation、训练时长、数据规模与过滤规则指向 supplementary；NeurIPS 会议 PDF、arXiv v3 PDF 与 arXiv 源包均未提供可访问的补充文件。论文 checklist 声称细节与代码足以复现，公开正文无法支持这项强结论。

07 · Table 1

40 个 FramePack 配置的完整消融

命名示例 td_f16k4f2k2f1k1_g9_x_f1k1：删除尾部；16 帧用 \((4,8,8)\)，2 帧用 \((2,4,4)\)，1 帧用 \((1,2,2)\)；每次生成 9 latent frames；跳过任意长度后保留一个 endpoint。表格完整保留论文四组、40 行、全部 13 项结果。

Variant	Clarity ↑	Aesthetic ↑	Motion ↑	Dynamic ↑	Semantic ↑	Anatomy ↑	Identity ↑	ΔClarity ↓	ΔMotion ↓	ΔSemantic ↓	ΔAnatomy ↓	ELO ↑	Rank ↓
Vanilla sampling
td_f8k8f4k4f2k2f1k1_g9	67.33%	65.94%	94.53%	92.91%	20.06%	66.97%	71.72%	3.25%	3.45%	7.45%	16.56%	1090	5
td_f64k8f16k4f4k2f1k1_g9	67.71%	66.71%	95.09%	93.91%	21.39%	66.56%	71.50%	3.22%	3.38%	7.25%	16.43%	1070	5
td_f512k8f64k4f8k2f1k1_g9	67.74%	66.44%	94.27%	92.91%	21.90%	67.73%	71.35%	3.18%	3.32%	7.05%	15.95%	1085	5
td_f512k16f64k8f8k2f1k1_g9	66.13%	64.52%	94.77%	94.18%	19.21%	65.72%	71.51%	3.25%	3.45%	7.85%	17.62%	1068	5
td_f16k4f4k2f1k1_g9	67.37%	65.05%	95.97%	91.66%	19.15%	65.38%	71.73%	3.22%	3.48%	6.65%	17.36%	1072	5
td_f16k4f2k2f1k1_g1	65.81%	64.39%	94.91%	94.92%	19.20%	64.16%	69.70%	3.43%	3.77%	9.81%	20.89%	1030	6
td_f16k4f2k2f1k1_g4	66.57%	64.99%	94.00%	82.85%	19.40%	65.97%	69.06%	3.36%	3.68%	8.55%	19.09%	1050	6
td_f16k4f2k2f1k1_g9	67.15%	65.29%	94.08%	92.97%	20.73%	66.46%	71.08%	3.18%	3.42%	7.45%	18.05%	1074	5
tc_f16k4f2k2f1k1_g9	67.62%	65.07%	94.02%	90.33%	21.71%	71.70%	71.01%	3.15%	3.25%	7.25%	17.21%	1088	5
ta_f16k4f2k2f1k1_g9	67.02%	66.44%	94.11%	91.09%	21.48%	71.92%	72.18%	3.12%	3.18%	7.05%	17.66%	1092	5
Anti-drifting endpoint sampling
td_f8k8f4k4f2k2f1k1_g9_x_f1k1	68.46%	66.95%	96.46%	75.55%	22.88%	85.10%	75.84%	2.95%	2.85%	5.95%	15.87%	1135	3
td_f64k8f16k4f4k2f1k1_g9_x_f1k1	68.21%	67.75%	95.74%	85.97%	22.79%	81.09%	76.29%	2.92%	2.98%	5.95%	15.99%	1140	3
td_f512k8f64k4f8k2f1k1_g9_x_f1k1	68.62%	67.72%	95.05%	76.50%	22.44%	82.01%	76.65%	2.88%	2.92%	5.75%	15.94%	1118	4
td_f512k16f64k8f8k2f1k1_g9_x_f1k1	68.35%	67.89%	97.73%	76.48%	22.75%	78.40%	76.16%	2.85%	2.85%	5.55%	14.04%	1115	4
td_f16k4f4k2f1k1_g9_x_f1k1	68.42%	67.59%	96.74%	74.37%	23.69%	79.14%	77.37%	2.82%	2.78%	5.35%	14.90%	1138	3
td_f16k4f2k2f1k1_g1_x_f1k1	65.32%	67.97%	95.26%	81.69%	19.97%	74.57%	77.93%	2.78%	2.72%	4.95%	14.80%	1080	5
td_f16k4f2k2f1k1_g4_x_f1k1	69.92%	67.49%	97.84%	71.90%	21.12%	74.84%	77.53%	2.75%	2.65%	4.95%	14.98%	1100	4
td_f16k4f2k2f1k1_g9_x_f1k1	69.51%	69.15%	96.97%	77.41%	23.03%	83.10%	69.25%	2.72%	2.58%	4.75%	13.73%	1142	3
tc_f16k4f2k2f1k1_g9_x_f1k1	69.62%	68.42%	96.45%	82.27%	23.08%	81.68%	69.08%	2.68%	2.52%	4.55%	13.54%	1145	3
ta_f16k4f2k2f1k1_g9_x_f1k1	69.21%	68.84%	97.87%	76.22%	22.77%	81.70%	75.23%	2.65%	2.45%	4.35%	13.76%	1150	3
Inverted anti-drifting sampling
f1k1_x_g9_f1k1f2k2f4k4f8k8_td	69.62%	67.87%	97.93%	88.79%	23.73%	86.99%	78.63%	2.55%	2.35%	4.15%	12.71%	1210	1
f1k1_x_g9_f1k1f4k2f16k4f64k8_td	69.56%	67.48%	97.42%	86.68%	24.48%	86.35%	78.06%	2.45%	2.25%	3.95%	12.52%	1215	1
f1k1_x_g9_f1k1f8k2f64k4f512k8_td	69.35%	67.89%	97.85%	88.21%	24.66%	76.99%	79.56%	2.35%	2.15%	3.75%	12.13%	1220	1
f1k1_x_g9_f1k1f8k2f64k8f512k16_td	69.20%	68.76%	99.11%	89.18%	24.35%	77.62%	79.88%	2.35%	2.05%	3.55%	11.10%	1235	1
f1k1_x_g9_f1k1f4k2f16k4_td	69.25%	67.40%	98.59%	89.01%	24.24%	77.31%	79.16%	2.45%	1.95%	3.35%	9.22%	1225	1
f1k1_x_g1_f1k1f2k2f16k4_td	69.74%	67.04%	98.09%	79.85%	24.89%	77.27%	80.86%	2.55%	2.15%	3.75%	11.37%	1150	3
f1k1_x_g4_f1k1f2k2f16k4_td	70.28%	68.11%	98.30%	79.45%	24.87%	77.95%	80.23%	2.45%	2.05%	3.75%	11.12%	1175	2
f1k1_x_g9_f1k1f2k2f16k4_td	70.73%	67.97%	98.11%	88.76%	25.79%	78.45%	84.01%	2.35%	1.95%	3.65%	11.98%	1228	1
f1k1_x_g9_f1k1f2k2f16k4_tc	70.48%	68.74%	98.16%	89.18%	27.01%	87.21%	81.04%	2.18%	1.85%	2.54%	11.71%	1230	1
f1k1_x_g9_f1k1f2k2f16k4_ta	70.81%	67.31%	98.15%	80.72%	25.60%	85.60%	82.76%	2.25%	1.77%	2.95%	9.85%	1232	1
Vanilla sampling + discrete history
td_f8k8f4k4f2k2f1k1_g9+D	69.12%	66.53%	96.91%	93.07%	24.79%	82.58%	73.34%	2.43%	2.74%	4.45%	14.37%	1225	1
td_f64k8f16k4f4k2f1k1_g9+D	69.35%	65.99%	97.21%	92.83%	22.43%	81.88%	72.90%	2.22%	2.44%	4.49%	13.74%	1170	2
td_f512k8f64k4f8k2f1k1_g9+D	69.26%	67.24%	96.28%	91.01%	24.63%	82.58%	71.07%	2.26%	2.01%	5.46%	13.00%	1169	2
td_f512k16f64k8f8k2f1k1_g9+D	69.93%	67.26%	97.60%	93.61%	23.87%	81.27%	73.39%	2.93%	2.92%	5.11%	15.70%	1139	3
td_f16k4f4k2f1k1_g9+D	69.49%	67.25%	96.95%	92.39%	23.40%	88.67%	72.08%	2.30%	2.63%	6.74%	13.51%	1223	1
td_f16k4f2k2f1k1_g1+D	68.16%	65.47%	95.94%	93.15%	23.97%	75.24%	71.78%	2.66%	3.70%	6.40%	16.83%	1145	3
td_f16k4f2k2f1k1_g4+D	68.16%	65.80%	95.26%	92.97%	22.97%	69.87%	71.91%	2.70%	3.73%	5.69%	17.06%	1142	3
td_f16k4f2k2f1k1_g9+D	69.78%	67.22%	96.91%	91.39%	24.40%	77.62%	74.95%	2.30%	2.49%	4.12%	14.11%	1222	1
tc_f16k4f2k2f1k1_g9+D	69.42%	66.24%	96.01%	92.53%	23.06%	79.15%	72.76%	2.87%	2.43%	5.51%	13.67%	1218	1
ta_f16k4f2k2f1k1_g9+D	68.51%	67.77%	96.90%	93.92%	23.24%	79.90%	70.01%	2.27%	2.41%	4.31%	15.85%	1216	1

原表 Rank 按作者给定区间保留。论文同时写 ELO 差在 ±16 内视为 tie，但 1092 与 1100 的差为 8，原表却分属 Rank 5 与 Rank 4；分组边界与 tie 传递规则没有完整说明。

消融支持的结论

四个组之间的差异远大于组内具体 packing schedule 差异。inverted 组总体取得更低 drift 与更高 ELO；discrete-history 组在保持较高 dynamic 的同时显著改善人类偏好。

消融仍未证明的内容

主表无法证明 feature-similarity packing、Wan backbone 或不同 \(K\) 的效果；这些结果只被指向 supplementary；本次可访问材料未找到相应结果。表中没有多随机种子误差条。

08 · Table 2

替代架构比较的全部 10 行

作者在 HunyuanVideo 默认 33 latent frames 上，以 half-context sliding window 实现各变体。Anchor、Causal 与 History guidance 被标为 resembling 实现，不能视为原方法官方 checkpoint 的直接统一评测。

Method	Clarity ↑	Aesthetic ↑	Motion ↑	Dynamic ↑	Semantic ↑	Anatomy ↑	Identity ↑	ΔClarity ↓	ΔMotion ↓	ΔSemantic ↓	ΔAnatomy ↓	ELO ↑	Rank ↓
Repeating image-to-video	56.73%	56.15%	94.34%	91.21%	17.74%	69.41%	73.06%	9.51%	3.92%	9.95%	19.88%	1015	5
Anchor frames (resembling StreamingT2V)	69.58%	67.35%	99.96%	74.97%	25.76%	85.01%	79.52%	2.85%	2.15%	3.45%	9.25%	1173	2
Causal attention (resembling CausVid)	62.88%	59.41%	96.98%	88.27%	19.15%	72.74%	75.32%	7.45%	3.15%	6.75%	15.96%	1087	4
DiffusionForcing (σtrain random, σtest = 0.1)	66.08%	65.76%	96.32%	91.59%	23.14%	75.93%	74.47%	4.84%	2.54%	3.33%	10.99%	1170	2
DiffusionForcing (σtrain random, σtest = 0.5)	67.41%	66.66%	92.93%	91.08%	24.03%	77.83%	76.42%	3.55%	2.39%	3.48%	9.40%	1174	2
DiffusionForcing (σtrain random, σtest = 0)	66.99%	64.73%	96.47%	90.45%	21.09%	80.62%	78.77%	8.41%	3.80%	8.47%	17.44%	1095	4
DiffusionForcing (σtrain = 0.1, σtest = 0.1)	66.19%	68.60%	94.89%	91.89%	22.49%	76.12%	78.27%	6.82%	3.79%	5.08%	10.78%	1149	3
History guidance (resembling HistoryGuidance)	68.05%	68.74%	97.01%	73.39%	24.88%	81.84%	83.42%	7.35%	2.21%	5.25%	12.78%	1152	3
Inverted anti-drifting (f1k1_x_g9_f1k1f2k2f16k4)	71.15%	68.71%	99.45%	89.29%	28.15%	86.53%	82.11%	2.25%	1.85%	2.68%	8.58%	1220	1
Vanilla + discrete history (f16k4f2k2f1k1_g9+D, K = 256)	70.01%	68.76%	95.65%	91.74%	28.37%	86.41%	82.22%	3.13%	2.05%	2.89%	8.74%	1224	1

清晰的取舍

Inverted 在四个 drift 指标上全胜，也有最高 clarity；它的 dynamic 89.29% 低于 discrete history 的 91.74%。Anchor 的 motion 99.96% 最高，History guidance 的 identity 83.42% 最高。

人类偏好

Inverted ELO 1220，discrete history 1224，差值位于 ±16 tie 区间。数据支持二者同属最高偏好组，无法支持人类显著偏爱其中一个。

09 · Paper vs. implementation

官方实现固定提交审计

官方仓库固定核查提交 97fe5dbe06ac1f337ece08935b1076a35eefeeb9。代码对应公开的 FramePack I2V 与 F1 桌面推理系统；它可以核查 packing、时间索引、反向拼接和显存移动，未提供论文完整训练程序。

机制	固定提交代码	实际行为
三级 patchify	diffusers_helper/models/hunyuan_video_packed.py:700-718	为 clean history 定义 \((1,2,2)\)、\((2,4,4)\)、\((4,8,8)\) 三个 Conv3d projections；2x 与 4x 权重由 base kernel 重复并分别除以 8 与 64 初始化。
RoPE 与 packed tokens	hunyuan_video_packed.py:839-895	current latents 与三档 clean latents 分别 patchify；2x／4x RoPE tensors 使用对应 3D padding 与 center downsampling，再将 tokens 和 RoPE frequencies 拼接。
Inverted index layout	demo_gradio.py:187-212	latent padding 从远端空隙递减，indices 被拆成用户首帧、blank gap、当前生成窗口、近端 history 与 2x／4x history，显式保留非连续时间位置。
Anchor 与反向拼接	demo_gradio.py:241-291	start_latent 始终加入 clean latents；每轮生成结果 prepend 到 history_latents，像素段也以前插方式合并，使最终时间顺序从 endpoint 朝用户首帧填充。
Forward F1 对照	demo_gradio_f1.py:222-276	history 被拆为 16／2／1 三档压缩，用户首帧加入 clean context；新 latents append 到历史末尾，形成正向生成顺序。
低显存管理	diffusers_helper/memory.py:12-133 demo_gradio.py:214-216, 278-294	DynamicSwap 按参数访问把权重移动到目标设备；采样前按保留显存阈值逐 module 搬入 transformer，采样后逐 module 移回 CPU，再完整载入 VAE 解码。

实现边界：提交中的桌面系统使用固定 1x／2x／4x history layout 和特定 padding duplication heuristic。它实现了论文核心推理结构，但不包含 Table 1 的全部 40 个训练配置、history discretization 训练、Wan 实验、feature-similarity benchmark 或论文训练超参数。README 与 GUI 默认值不能直接当作论文训练设置。

10 · Reproduction checklist

公开材料能够固定的复现条件

Model

HunyuanVideo 13B 或 Wan pretrained video DiT
为多个压缩率增加独立 patchify projections
从 base projection 插值初始化
LoRA finetuning，480p throughput 示例

Packing

明确 kernel 序列与 frame ordering
明确 td／tc／ta tail 处理
RoPE phase average pooling
随机访问时保留不连续时间位置

Sampling

明确 vanilla／endpoint／inverted／planned
记录每次生成 \(S\) 或 g9 的 latent frames
history discretization 记录 \(K\) 与 codebook 数据
区分 5 秒与 30 秒评价

Evaluation

512 T2V + 512 I2V inputs
首尾各 15% 计算 drift
七项 global metrics 与四项 drift metrics
ELO-K32、每 variant 至少 100 A/B assessments

仍需作者材料

optimizer、learning rate、训练步数、scheduler、warmup、weight decay、precision、gradient accumulation、checkpoint selection、训练时间、数据规模与过滤、prompt 细节、Wan 结果、feature-similarity world-model 结果、\(K\) 消融、随机种子、人类评估参与者与置信区间均未出现在公开正文。官方代码仓库提供可运行的桌面推理系统与模型入口，但公开仓库版本没有提供本次复现所需的完整训练补充材料。

低显存演示的实际含义：官方页面报告 RTX 3060 laptop 6GB 可运行 13B HY variant，并报告 RTX 4090 在指定实现中约 2.5 秒／帧、TeaCache 约 1.5 秒／帧。仓库通过模型 offload、逐段处理与 cache 控制显存；13B 全部权重并未同时常驻 6GB 显存。速度与质量受硬件、量化、attention kernel 和 cache 设置影响。

11 · Reviewer commentary

方法简洁且有实际价值，证据边界也很明确

Strengths

把长历史压缩写成可计算的 token budget，结构改动集中在输入层。
直接兼容 HunyuanVideo 与 Wan 等预训练 DiT。
端点次序与历史离散分别处理误差传播链和训练／推理历史差异。
主文公开 40 个 packing 配置与 10 个替代方法的完整数字。
同时报告动态、平滑、身份、人体结构、语义与人类偏好，能够观察取舍。

Weaknesses

本次可访问公开材料未提供训练配方、Wan、feature similarity 与 \(K\) 消融所依赖的 supplementary。
主表没有多随机种子、误差条或 metric confidence intervals。
首尾 drift 指标忽略中途质量退化，也会受剧情真实变化影响。
替代方法多为 resembling reimplementation，公平性取决于作者实现。
\(K\) 与 anti-drifting 强度的文字说明自相矛盾。
endpoint 方法依赖预先生成的未来 anchor，限制严格 causal streaming。

Potential improvements

使用分层检索把相似历史的存储与排序成本纳入完整复杂度；学习 frame-importance allocator 并对 token budget 做可微约束；把 history codebook 训练成任务自适应 tokenizer；用 uncertainty 检测生成错误，在错误进入长期记忆前重采样或降低其权重；加入中途 worst-window drift、loop closure、identity survival time 与 camera consistency 指标；针对 endpoint 的内容冲突设计 execution-aware gap filling；公开全部 training recipe、数据清单、评估脚本与 bootstrap confidence intervals。

Paper verified固定预算打包的理想几何级数有有限上界；主文 HunyuanVideo 实验中 inverted sampling 的四项首尾漂移指标最小，discrete history 保留了更高 dynamic，并与 inverted 同属 ELO 最高组。

Author claim作者把 bi-directional sampling 描述为解决漂移的根本途径，并称 drift metric 的幅度直接表征漂移严重度。实验支持降低首尾差，仍未覆盖所有运动、叙事和中途失败形式。

Our interpretationFramePack 的真正优势来自“可分配的记忆带宽”：模型无需把每个历史帧同等精细地记住，只需让局部运动保留高频 token，让远端身份、布局和颜色保留低频线索。

Research extension可以把历史帧视为 memory items，由 learned retriever 选择重要帧，再由 learned rate controller 分配多尺度 patchify。训练时用长期身份、几何 loop closure 与漂移 reward 共同约束选择策略。

12 · Sources & evidence

一手资料与版本边界

arXiv record · 2504.12626v3：正式标题、作者、版本日期与 14 页 PDF。
arXiv HTML full text：公式 1–7、Figure 1–2、Table 1–2、实验协议与 references；与本地 PDF 逐项核对。
NeurIPS 2025 conference paper：会议版本、NeurIPS 2025 身份与 checklist；共 21 页，其中正文和 references 14 页、checklist 7 页。
Official FramePack project page：方法概览、原图、6GB laptop 演示、速度说明、NeurIPS 2025 BibTeX 与长视频结果。
Official implementation · fixed commit 97fe5db：多级 patchify、latent indices、反向 anchor 拼接、模型 offload 与显存保留逻辑。
OpenReview forum：正式评审入口；自动访问当前受到 challenge page 限制，本页没有引用未读取的评审内容。

论文没有标注共同第一作者或通讯作者。Maneesh Agrawala 仅按现有 vault 记录保留为未核实的末位通讯候选。arXiv v3 源包只含正文 TeX、bibliography 与 Figure 1–2，NeurIPS 文件服务器未提供可访问的 Supplemental 文件，因此本页未虚构论文没有公开的训练设置。