
Imagen
简介
Google Research 的文字生成图像扩散模型,用 T5 编码提示词
详细介绍
Imagen 由 Google Research 的 Brain 团队提出,走的是扩散模型路线:先用一个只在文本语料上预训练过的大语言模型(T5)把提示词编码成向量,再交给级联扩散模型逐步去噪出图。
论文里最值得记的一条结论是,把编码文本的语言模型换大,对画质和图文贴合度的提升,比把图像扩散模型换大更明显。文生图这条链路上,读懂文字的环节比画画本身更吃参数。
评测数字方面,Imagen 在 COCO 上拿到 7.27 的 FID,而且模型从未在 COCO 上训练过;人工评审认为它的样本在图文对齐上与 COCO 真实数据相当。团队另外做了 DrawBench 这套评测集,比较不同模型在颜色、数量、空间关系、文字渲染等刁钻提示上的表现,参与对比的有 VQ-GAN+CLIP、Latent Diffusion Models 与 DALL-E 2。
- Imagen 家族后来又长出两条支线:Imagen Video 做视频生成,Imagen Editor 做按文本指令的局部编辑。imagen.research.google 这个页面是研究展示页,挂的是论文和 DrawBench 入口,不是面向公众开放的在线作图产品。