CLAY — 论文深度精读

Research motivation

CLAY 试图建立可扩展的 3D 生成基础模型

论文将几何与外观拆成两个连续阶段：先用 3D 原生 latent diffusion 生成完整几何，再用多视图扩散生成 diffuse、roughness 与 metallic 材质。核心研究假设是：经过统一化的大规模 3D 数据、可扩展的 latent set 表示和纯 Transformer 去噪器，能够把 3D 原生生成推进到足以支撑多种控制方式的基础模型水平。

研究缺口

依赖 2D diffusion prior 的 SDS 路线拥有丰富外观知识，却常见 Janus、多视图不一致、长时间优化和几何控制薄弱；直接在 3D 数据上训练的路线更理解形状，受限于数据质量、表示成本与模型规模。

关键选择

几何生成完全在 3D latent space 中完成。外观由独立的 multi-view Material Diffusion 生成，再回投到 UV 空间。该分工让几何控制与 PBR 外观可以分别扩展。

实际贡献

多分辨率 VAE、最高 1.5B 参数的 coarse-to-fine DiT、527K 统一化训练对象、多种 2D/3D 条件适配，以及输出 2K PBR 贴图的资产增强流程。

Paper Verified论文以完整模型、条件模块、SOTA 对比和 150 人用户研究证明 CLAY 在所选测试集上的几何与外观优势；训练耗时、推理时间和模型规模均有明确报告。

Author Claim作者把模型称为“foundation model”，并将近邻检索差异解释为组合创新。实验显示了多条件适配和训练集近邻差异，但没有覆盖开放世界迁移、系统性组合泛化或训练数据记忆审计。

CLAY 总体框架 — **原论文 Figure 2。**中央是大规模几何生成器；左侧是文本与多种条件；右侧依次执行网格处理、PBR 材质生成和真实感渲染。这张图清楚显示系统仍由多个阶段组成。

Problem formulation

输入、输出与表示

输入几何\(\mathbf{M}\)：任意来源网格，经清洗和 remeshing 后用于训练。

表面点集\(\mathbf{X}\in\mathbb{R}^{N\times 3}\)：从网格表面采样的点坐标。

latent set\(\mathbf{Z}\in\mathbb{R}^{L\times 64}\)：VAE 编码后的无序 latent token 集合，\(L\in\{512,1024,2048\}\)。

空间查询\(\mathbf{p}\in\mathbb{R}^{Q\times 3}\)：decoder 查询坐标，输出 occupancy logits。

文本条件\(\mathbf{c}\)：CLIP ViT-L/14 编码的文本特征。

附加条件\((\mathbf{f},\mathbf{p})\)：条件特征与其 3D 坐标，例如 voxel、point cloud、bounding box。

几何输出在 \(512^3\) 查询网格上预测 occupancy，经 Marching Cubes 得到三角网格。

资产输出quad mesh、UV atlas，以及 2K diffuse / roughness / metallic 贴图。

Our InterpretationCLAY 的 latent token 没有固定二维或三维网格拓扑。每个 token 由表面点集合经 cross-attention 聚合得到；DiT 对 token 集合执行全局 self-attention，空间信息主要来自 positional embedding 和训练数据。这个表示适合改变 latent length，同时把高分辨率解码成本推到 occupancy 查询阶段。

Geometry model

多分辨率 VAE 与 coarse-to-fine DiT

CLAY VAE 与 DiT 网络 — **原论文 Figure 3。**VAE 把表面点集编码为 latent set，decoder 对空间坐标查询 occupancy；DiT 在加噪 latent 上预测 velocity，并通过文本 cross-attention 接收条件。

1. VAE 编码

\[\mathbf{Z}=\mathcal{E}(\mathbf{X})=\mathrm{CrossAttn}\!\left(\mathrm{PosEmb}(\widetilde{\mathbf{X}}),\mathrm{PosEmb}(\mathbf{X})\right)\]

\(\widetilde{\mathbf{X}}\) 是输入点集的四分之一规模下采样。它充当 query；完整点集提供 key/value，因此 latent length 为 \(L=N/4\)。训练时随机选择 \(N\in\{2048,4096,8192\}\)，使同一 VAE 覆盖三种几何分辨率。

2. Occupancy 解码

\[\mathcal{D}(\mathbf{Z},\mathbf{p})=\mathrm{CrossAttn}\!\left(\mathrm{PosEmb}(\mathbf{p}),\mathrm{SelfAttn}^{24}(\mathbf{Z})\right)\]

24 层 self-attention 先传播全局形状信息，查询点再通过 cross-attention 读取 latent，得到 inside / outside logits。VAE 的 model dimension 为 512、8 个 attention heads，共 82M 参数。

3. Latent diffusion

\[\boldsymbol{\epsilon}(\mathbf{Z}_t,t,\mathbf{c})=\left\{\mathrm{CrossAttn}\!\left(\mathrm{SelfAttn}(\mathbf{Z}_t\mathbin{\|}\mathbf{t}),\mathbf{c}\right)\right\}^{24}\]

时间嵌入 \(\mathbf{t}\) 与 noisy latent concatenation 后进入 24 个纯 Transformer blocks。公式省略了 projection 与 feed-forward layers。实现采用 pre-normalization、GeLU，feed-forward dimension 是 model dimension 的四倍。

论文明确报告的 diffusion 设置训练 scheduler 为 1000 个离散 timesteps、cosine beta schedule、zero-terminal-SNR beta rescaling，并以 v-prediction 为目标；推理使用 100 步、linear-space timestep spacing。论文没有给出 loss 的显式公式、noise offset、classifier-free guidance 数值或 sampler 名称。

4. Progressive scaling

训练先在 \(L=512\) 上学习粗结构，随后扩展到 1024，再扩展到 2048，并逐阶段降低学习率。Large 与 XL 还使用 head addition、head expansion 和 hidden-dimension expansion，把已经学习的权重扩展到更大模型。这里的“coarse-to-fine”同时涉及 latent length 与参数规模。

Table 1 · DiT 规格与训练超参数（完整重建）
Model	参数	层数	\(d_{\mathrm{model}}\)	heads	\(d_{\mathrm{head}}\)	latent length	batch size	learning rate
Tiny	227M	24	768	12	64	512	1024	1e-4
Small	392M	24	1024	16	64	512 / 1024	16384 / 8192	1e-5 / 5e-6
Medium	600M	24	1280	16	80	512 / 1024	16384 / 8192	1e-4 / 5e-5
Large	853M	24	1536	16	96	512 / 1024 / 2048	8192 / 4096 / 2048	1e-4 / 1e-5 / 5e-6
XL	1.5B	24	2048	16	128	512 / 1024 / 2048	4096 / 2048 / 1024	1e-4 / 1e-5 / 5e-6

Data standardization

527K 对象来自 ShapeNet 与 Objaverse

527K objects

过滤复杂场景与碎片化扫描后的完整几何训练集。论文没有给出两个源数据集各自保留数量和 train / validation / test 明细。

300K high quality

Large-P、XL-P、HD 阶段与所有条件适配使用的高质量子集。筛选阈值与逐类分布未公开。

40K+ PBR objects

从 Objaverse 选择、带高质量 PBR 材质的对象，用于 Material Diffusion。

几何统一化

输入网格可能非 watertight、方向不一致、面密度不均。CLAY 以 Unsigned Distance Field 作为中间表示，并在 isosurface extraction 前做 grid-based visibility computation：一个 grid point 若从所有方向都被遮挡，便标为 inside。这个规则倾向于最大化封闭体积，使 occupancy VAE 获得稳定训练目标，同时尽量保留 sharp edges、flat surfaces 和薄结构。

GPT-4V 标注

作者使用 GPT-4V 生成详细描述，并加入可控 prompt tags，例如 symmetric / asymmetric、sharp / smooth、low-poly / high-poly、simple / complex、character。Figure 10 显示这些标签能改变输出几何风格。论文没有公开完整 system prompt、图像视角数量、重试规则、人工复核比例和标注成本。

prompt tag 控制几何风格 — **原论文 Figure 10。**作者通过标注标签控制对称性、边缘、面数、复杂度与角色化倾向。这属于定性控制证据，页面中没有把它当成严格消融。

Asset enhancement

网格加工与 2K PBR 材质

Material Diffusion 与资产增强流程 — **原论文 Figure 5。**Marching Cubes 网格经过 quadrification 与 UV atlasing；四视图 Material Diffusion 预测多个 PBR modality，随后回投、inpainting 与 super-resolution，形成 2K UV textures。

01Triangle mesh\(512^3\) occupancy 与 Marching Cubes

02QuadrificationQuadriFlow / Blender 保留 sharp edge 与 plane

03UV atlas把可编辑网格展开为纹理空间

04Four viewsnormal map 进入 ControlNet

05PBR diffusiondiffuse、roughness、metallic 三分支联合去噪

06Back-project多视图结果回投 UV，Text2Tex 式 inpainting

072K outputReal-ESRGAN + MultiDiffusion 超分辨率

Material Diffusion 以 MVDream UNet 为基础，在最外层卷积加入三个带 skip connection 的分支，对多种材质属性并行去噪。新增层做 full-parameter fine-tuning，内部层使用 LoRA。ControlNet 用目标视角 normal maps 约束几何对应，IP-Adapter 提供图像外观条件。

证据边界论文展示了两个环境光照下的 rocket 对比，用移动高光说明 roughness / metallic 的物理响应；没有报告材质通道的数值误差、UV seam 指标、材质训练消融或跨材质类别分组结果。

PBR 材质比较 — **原论文 Figure 15。**MVDream、RichDreamer 与 CLAY 在两种 lighting probes 下的渲染。作者观察到 CLAY 的 metallic highlight 随环境照明移动；RichDreamer 的高光更像固化在 albedo 中。

Model adaptation

每种条件只训练额外 cross-attention

\[\mathbf{Z}\leftarrow\mathbf{Z}+\mathrm{CrossAttn}(\mathbf{Z},\mathbf{c})+\sum_{i=1}^{n}\alpha_i\,\mathrm{CrossAttn}_{i}(\mathbf{Z},\mathbf{c}_i)\]

原文本条件保留；第 \(i\) 个条件拥有独立的 trainable cross-attention module，其他参数冻结。标量 \(\alpha_i\) 直接调节对应条件的影响强度。

\[\mathrm{CrossAttn}_{i}\!\left(\mathbf{Z},\mathbf{f}+\mathrm{PosEmb}(\mathbf{p})\right)\]

具有空间含义的条件由 feature \(\mathbf{f}\in\mathbb{R}^{M\times C}\) 与 sparse coordinates \(\mathbf{p}\in\mathbb{R}^{M\times3}\) 共同表示。point cloud 条件直接设 \(\mathbf{f}=\mathbf{0}\)，仅让 positional embedding 编码点坐标。

CLAY 多模态控制 — **原论文 Figure 7。**Image / Sketch、Voxel、Multi-view、Point Cloud、Bounding Box 与 Partial Point Cloud 可以单独使用，也可以并行组合。

Table 2 · Conditioning modules（完整重建）
Conditioning	参数	\(M\)	\(C\)	Backbone	实现含义
Image / Sketch	352M	257	1536	DINOv2-Giant	DINO patch + global features
Voxel	260M	\(8^3\)	512	无	\(16^3\) occupancy 经 3D convolution 下采样
Multi-view images	358M	\(8^3\)	768	DINOv2-Small	view features back-project 到 3D volume
Point cloud	252M	512	512	无	512 个 sparse surface points
Bounding box	252M	8	512	无	8 个 box corners
Partial point cloud	252M	2048 + 8	512	无	partial points 与 extension box corners

LoRA style adaptation 直接作用于 DiT attention layers。论文用 rock 与 pocket-monster 两个特定数据集展示风格迁移，但没有给出 LoRA rank、训练样本数量、学习率或定量评测。

Training & inference

可复现设置与公开缺口

几何预训练

VAE：82M，dimension 512，8 heads，decoder 24 self-attention layers。
DiT：227M 至 1.5B，全部为 24 layers。
XL：256 × Nvidia A800，约 15 天，progressive training。
Tiny verification model：单节点 8 × A800。
完整数据：527K；P / HD 阶段：300K 高质量子集。
条件模块：基于 XL-P，每个模块独立训练 8 小时。

论文未公开

VAE reconstruction / KL loss 权重与训练超参数。
optimizer、weight decay、warmup、训练步数、gradient clipping 与 precision。
各阶段实际 token 数、训练耗时与 checkpoint 选择规则。
classifier-free dropout、guidance scale、sampler 与随机种子策略。
Material Diffusion 的 batch size、learning rate、LoRA rank 与训练时长。
数据许可证审计、过滤阈值和验证集去重协议。

推理链路

01 · 4 sLatent generation100-step DiT denoising

02 · 1 sVAE decodeadaptive dense occupancy sampling

03 · includedMarching Cubes\(512^3\) field → triangle mesh

04 · 8 sMesh processquadrification + UV atlas

05 · 32 sPBR generationfour views, back-projection, 2K texture

06 · total45 seconds单张 Nvidia A100

07Asset exportmesh + UV + PBR modalities

Experiments

规模、控制与外部方法比较

实验覆盖模型规模、多分辨率训练、多模态控制、SOTA 对比、材质定性对比和用户研究。最完整的定量证据集中在 Tables 3–5。

Table 3 · Text-to-3D 模型规模（16K text-shape validation pairs）

render-FID / KID 由每个 shape 的 8 个渲染视角计算；P-FID / KID 使用 PointNet++ 特征；CLIP(I-T) 使用 CLIP ViT-L/14；ULIP-T 使用 ULIP-2。下箭头越低越好，上箭头越高越好。

Model	Latent	render-FID ↓	render-KID ×10³ ↓	P-FID ↓	P-KID ×10³ ↓	CLIP(I-T) ↑	ULIP-T ↑
Tiny-base	1024	12.2241	3.4861	2.3905	4.1187	0.2242	0.1321
Small-base	1024	11.2982	4.2074	1.9332	4.1386	0.2319	0.1509
Medium-base	1024	13.0596	5.4561	1.4714	2.7708	0.2311	0.1511
Large-base	1024	6.5732	2.3617	0.8650	1.6377	0.2358	0.1559
XL-base	1024	5.2961	1.8640	0.7825	1.3805	0.2366	0.1554
Large-P	1024	5.7080	1.9997	0.7148	1.2202	0.2360	0.1565
XL-P	1024	4.0196	1.2773	0.6360	1.0761	0.2371	0.1564
Large-P-HD	2048	5.5634	1.8234	0.6394	0.9170	0.2374	0.1578
XL-P-HD	2048	4.4779	1.4486	0.5072	0.5180	0.2372	0.1569

Ablation interpretation规模扩大总体改善指标，但趋势并非逐行单调：Medium-base 的 render-FID / KID 高于 Tiny-base，这两项指标表现较差；XL-base 的 ULIP-T 略低于 Large-base。高质量子集和更长 latent 分别改善不同指标：XL-P 在 render metrics 最强，XL-P-HD 在 point-cloud metrics 最强，Large-P-HD 在 alignment metrics 最强。由于 P / HD 阶段同时改变数据和训练历程，该表不能单独分离“progressive expansion”“数据筛选”“latent length”的因果贡献。

Table 4 · Multi-modal-to-3D conditions

Condition	CD ×10³ ↓	EMD ×10² ↓	Voxel-IoU ↑	F-Score ↑	P-FID ↓	P-KID ×10³ ↓	ULIP-T ↑	ULIP-I ↑
Image	12.4092	17.6155	0.4513	0.4070	0.9946	1.9889	0.1329	0.2066
MVN	0.9924	5.7283	0.7697	0.8218	0.3038	0.2420	0.1393	0.2220
Voxel	0.5676	8.4254	0.6273	0.6049	2.6963	5.0008	0.1186	0.1837
Image-Bbox	5.4733	14.0811	0.5122	0.4909	1.5884	3.2994	0.1275	0.2028
Image-Voxel	0.7491	8.1174	0.6514	0.6541	2.4866	6.8767	0.1262	0.2017
Text-Image	7.7198	14.5489	0.4980	0.4609	0.7996	1.4489	0.1407	0.2122
Text-MVN	0.7301	5.4034	0.7842	0.8358	0.2184	0.1233	0.1424	0.2240
Text-Bbox	5.6421	14.6170	0.4921	0.4659	2.0074	4.0355	0.1417	0.1838
Text-Voxel	0.6090	7.4981	0.6737	0.6689	1.0427	1.0903	0.1397	0.2036

MVN 与 Text-MVN 对结构重建最有效；voxel 获得最低 CD，却在 P-FID / KID 与 semantic alignment 上较弱，说明 coarse occupancy constraint 与分布真实感存在明显取舍。Image-Bbox 比纯 Image 改善几何距离，但 P-FID 与 ULIP-I 下降，额外空间约束没有在所有指标上带来提升。

单图、MVN 与 Wonder3D NeuS 比较 — **原论文 Figure 12。**单图条件生成实体 panther head；Wonder3D 的多视图 normal 使 MVN 条件生成薄面具。该例说明条件选择会改变目标几何解释。

Table 5 · 与 SOTA 的定量比较

测试集由 GPT-4 生成 50 个文本 prompt，并使用 50 张图像分别评估 text-to-3D 与 image-to-3D。每个生成资产渲染 30 个 RGB views 与 30 个 normal views，再计算平均 CLIP 分数。

Task / Method	CLIP geometry	CLIP appearance	ULIP-T	ULIP-I	Time
Text · Shap-E	0.1761 (N-T)	0.2081 (I-T)	0.1160	—	≈10 s
Text · DreamFusion	0.1549	0.1781	0.0566	—	≈1.5 h
Text · Magic3D	0.1553	0.2034	0.0661	—	≈1.5 h
Text · MVDream	0.1786	0.2237	0.1351	—	≈1.5 h
Text · RichDreamer	0.1891	0.2281	0.1503	—	≈2 h
Text · CLAY	0.1948	0.2324	0.1705	—	≈45 s
Image · Shap-E	0.6315 (N-I)	0.6971 (I-I)	—	0.1307	≈10 s
Image · Wonder3D	0.6489	0.7220	—	0.1520	≈4 min
Image · DreamCraft3D	0.6641	0.7718	—	0.1706	≈4 h
Image · One-2-3-45++	0.6271	0.7574	—	0.1743	≈90 s
Image · Michelangelo	0.6726	—	—	0.1899	≈10 s
Image · CLAY	0.6848	0.7769	—	0.2140	≈45 s

提升幅度Text-to-3D 相比第二名 RichDreamer，CLAY 的 CLIP(N-T)、CLIP(I-T)、ULIP-T 分别提高约 3.0%、1.9%、13.4%；Image-to-3D 相比各列第二名，CLIP(N-I) 相对提高约 1.8%，CLIP(I-I) 约 0.7%，ULIP-I 约 12.7%。速度比较来自各方法报告或实现，硬件与运行协议没有完整统一。

**原论文 Figure 13。**Text-to-3D 定性比较。CLAY 的完整流程约 45 秒，包含约 5 秒几何与 40 秒材质；SDS baselines 约需 1.5–2 小时。

Image-to-3D 定性比较 — **原论文 Figure 14。**Image-to-3D 比较。Michelangelo 只输出几何，作者手工赋予近似颜色，因此其 appearance column 没有数值。

用户研究

150 volunteers

每人回答 15 个随机问题。测试材料来自 5 个 GPT-4 文本 prompt 与 15 张 Stable Diffusion 图像。

67.4% / 78.9%

Text-to-3D 的 appearance / geometry 偏好票选择 CLAY。

85.4% / 91.2%

Image-to-3D 的 appearance / geometry 偏好票选择 CLAY。

用户研究结果 — **原论文 Figure 16。**CLAY 在四项主观偏好中占最高比例。论文没有给出参与者背景、显著性检验、置信区间、界面随机化细节或同一问题的重复评分分布。

多样性证据

CLAY 与训练集近邻样本 — **原论文 Figure 11。**作者用 ULIP cosine similarity 检索训练集 top-3 nearest geometries，并展示生成结果与近邻不同。该检查能排除最直接的近邻复制，不能排除局部部件记忆或跨样本组合记忆。

CLAY 多条件生成样例 — **原论文 Figure 9。**图像、草图、bounding boxes、multi-view normals、point clouds、voxels 与 partial geometry 的样例集合。

Reviewer commentary

证据支持的优点、局限与研究方向

Strengths

latent set 允许在同一 VAE 与纯 Transformer 中改变分辨率，扩展路径清晰。
统一化数据、模型规模、条件模块与生产型资产后处理形成完整系统。
Tables 3–5 同时覆盖分布、几何、语义、速度与主观偏好。
PBR 分离 diffuse / roughness / metallic，能在移动光照下表达 view-dependent highlight。
条件通过 residual cross-attention 并行注入，模块化程度较高。

Weaknesses

大量核心训练 recipe 未公开，完整复现门槛很高。
OpenCLAY 仓库只有展示资产和 README，没有训练或推理实现。
几何、remeshing、UV 与材质是串联系统，单个阶段误差会累积。
Table 3 缺少控制变量消融，数据质量、latent length 与 progressive parameter expansion 互相混杂。
材质只有定性比较，没有通道级 ground-truth metric 或 seam analysis。
用户研究缺少统计置信区间和参与者构成。

Potential Improvements

统一 geometry / topology / material latent，联合建模 PBR 资产。
把 renderer feedback 与 mesh validity 反馈引入 test-time search。
为 spatial conditions 学习可校准的 uncertainty，防止条件冲突。
使用 execution-aware decoding 预测 watertightness、self-intersection 与 UV quality。
建立材质通道级 benchmark，测量 relighting fidelity 与 seam error。
发布去重、许可证与记忆审计，建立训练数据可追溯性。

Research Extension对于 procedural material generation，可以把 CLAY 的 multi-view PBR diffusion 作为外观 proposal，再由可执行 material graph 搜索器拟合 diffuse / roughness / metallic 的多光照响应。奖励同时包含多视图 rendering similarity、graph complexity、参数可编辑性和跨环境光照一致性。这样能把 CLAY 的高质量像素材质转换成可解释、可调节的程序化材质图。

Paper vs. Implementation官方 OpenCLAY 仓库截至本次核查只提供 README 与 assets，没有模型代码、权重、数据处理脚本、训练配置或评测脚本。论文中的系统能力与产品 Rodin 的在线能力不能当作公开实现的复现证据。

作者明确承认的局限

系统尚未端到端联合生成 geometry 与 material；仍需 remeshing、quadrification 和 UV unwrapping。Text-only 对 composed objects 较脆弱，例如 “a tiger riding a motorcycle”，作者归因于组合对象训练样本和细粒度描述不足。未来方向包括统一几何与 PBR、生成一致 topology，以及扩展到 dynamic objects。

Sources & provenance

身份与一手资料

arXiv:2406.13897 — v1 PDF 与 TeX source，19 页；本文方法、表格、公式和图像的主要依据。
官方项目页 — 作者角色、SIGGRAPH 2024 Journal & Real-time Live、Honorable Mention 与项目展示。
ACM DOI 10.1145/3658146 — ACM Transactions on Graphics 43(4), Article 120, 2024。
官方 OpenCLAY 仓库 — 展示资产与 README；本次核查未发现实现代码。
Longwen Zhang 个人主页、Wei Yang 个人主页 — 作者顺序、venue 与通讯标记交叉核对。