Image Neural Field Diffusion Models

Image Neural Field Diffusion Models-图像神经场扩散模型

图像神经场扩散模型重点

1. **扩散模型的优势**：稳定训练、覆盖训练分布模式、无需额外训练即可解决逆问题。
2. **连续图像分布学习**：通过在图像神经场上训练扩散模型，可以渲染任意分辨率的图像。
3. **方法概述**：将训练图像下采样到固定分辨率，编码得到潜在表示，通过解码器生成特征图，再通过神经场渲染器生成高分辨率图像。

图像神经场扩散模型工作原理

1. **训练过程**：
- 下采样训练图像到固定分辨率，编码得到潜在表示。
- 解码器生成特征图，通过神经场渲染器生成高分辨率图像。
- 使用卷积局部图像函数（CLIF）提高生成能力，确保尺度一致性。

2. **高分辨率生成**：
- 扩散生成64×64潜在表示，并在2048×2048分辨率输出（256×256块）。

3. **文本到图像生成**：
- 使用CLIF渲染微调Stable Diffusion，实现2048×2048分辨率的文本到图像生成。

图像神经场扩散模型应用领域

1. **任意尺度高分辨率图像反演**：解决多尺度条件定义的高分辨率图像问题，无需额外训练任务。
2. **布局到图像生成**：无需额外训练任务，即可进行布局到图像生成。

这个新方法展示了扩散模型在生成高分辨率和多尺度一致性图像方面的显著优势。