科技魔方

利用NeRF 谷歌研究通过简单文本生成3D图像

AR/VR

2022年10月10日

  对于谷歌日前介绍的Dreamfusion,只需输入简单的文本提示,这个利用2D数据训练出来的模型可以为你生成相应的3D图像。

  Dreamfusion是生成性3D人工智能系统Dream Fields的进化。对于Dream Fields,它利用了NeRF生成3D视图的能力,并将其与CLIP评估图像内容的能力相结合。文本输入后,未经训练的NeRF模型从单个视点生成随机视图,并通过CLIP进行评估。反馈用作NeRF模型的校正信号。这个过程从不同的视角重复多达20000次,直到生成与文本描述匹配的三维模型。

  DreamFusion与DreamFields之间最大的不同是计算损失的方法。最新的DreamFusion采用了谷歌预训练的2D文本图像扩散模型Imagen来计算损失。

  研究人员引入一个新的图像采样方法SDS,它是在参数空间而不是像素空间中进行采样。在生成图像的过程中,里面的参数会经过优化,成为扩散模型的一个训练样本,而经过扩散模型训练之后的参数具备多尺度特性,更利于后续的图像生成。

  另外,扩散模型不需要反向传播,这是因为扩散模型能够直接预测更新的方向。所以,三维生成不需要三维数据进行培训。相反,Dreamfusion使用Imagen从不同角度生成的对象的2D图像学习3D表示。

  与DreamFields相比,Dreamfusion可以基于文本输入创建更高质量、深度和法线的可重照明3D对象。同时,使用Dreamfusion创建的多个3D模型可以合并到一个场景中。

  谷歌研究团队写道:“我们的方法不需要3D训练数据,同时不需要对图像扩散模型进行修改,这证明了预处理图像扩散模型的有效性。”

+1

来源:映维网

推荐文章