科技魔方

研究员提出3D-GPT:更有效、直观地创作3D模型资源

AR/VR

2023年10月24日

  澳大利亚国立大学、牛津大学和北京智源人工智能研究院的研究人员开发了一种名为“3D- GPT”的新型人工智能系统。据介绍,它可以根据用户提供的文本描述生成3D模型,而与传统的3D建模工作流程相比,3D-GPT提供了一种更有效、更直观的方式来创建3D asset。

  相关论文指出,3D- GPT将LLM大型语言模型定位为熟练的问题解决者,能够“将程序性3D建模任务分解为accessible segment,并为每个任务指定合适的代理”。它利用了专注于理解文本提示和执行建模功能等不同方面的多个AI代理。

  关键代理包括解析文本指令的“任务调度代理”,添加初始描述中缺少的细节的“概念化代理”,以及设置参数并生成驱动3D软件(如Blender)的代码的“建模代理”。

  通过分解建模过程和分配专门的人工智能代理,3D- GPT能够解释文本提示,用额外的细节增强描述,并最终生成与用户设想相匹配的3D asset。

  研究人员解释说:“它增强了简洁的初始场景描述,将它们变成详细的形式,同时根据后续指令动态调整。”

  系统针对特定提示进行了测试,比如“一个雾蒙蒙的春天早晨,露水亲吻的花朵点缀在郁郁葱葱的草地上,周围是萌芽的树木。”

  在实验中,3D- GPT能够生成具有逼真图形的完整3D场景,并且准确反映文本中描述的元素。

  当然,图像的质量尚不够逼真,但早期的结果表明,这种基于代理的方法有望简化3D内容的创建。模块化体系结构同时允许独立地改进每个代理组件。

  研究人员写道:“我们的研究证实,3D-GPT不仅可以解释和执行指令,提供可靠的结果,同时可以与人类设计师有效合作。”

  通过生成代码来控制现有的3D软件,而不是从零开始构建模型,3D- GPT为建模技术的不断进步提供了一个灵活的基础。

  研究人员总结道,他们的系统“突出了LLM在3D建模方面的潜力,为未来场景生成和动画的发展提供了一个基本框架”。

  这项研究可能会彻底改变3D建模行业,将过程变得更高效、更亲民。随着我们进一步进入元宇宙时代,3D内容创作将成为催化剂,而像3D- GPT这样的工具将会对游戏、虚拟现实、电影和多媒体体验等一系列行业的创作者和决策者提供巨大的价值。

  需要强调的是,3D- GPT框架目前依然属于早期阶段,存在一定的局限性,但它的发展标志着人工智能驱动的3D建模向前迈出了重要一步,并为未来的发展开辟了令人兴奋的可能性。

+1

来源:映维网

延展资讯