科技魔方

首个人体动捕基模型SMPLer-X面世 可捕捉身体甚至面部动作

大模型

2023年10月30日

  首个人体动捕基模型SMPLer-X在NeurIPS2023上亮相。本研究首次针对人体全身姿态与体型估计任务引入了SMPLer-X,通过使用来自多个数据源的450万个实例进行训练,成功刷新了七个关键榜单的最佳性能。

  SMPLer-X不仅能够进行身体动作捕捉,还可以输出面部和手部动作,甚至估计体型。这一模型的强大性能得益于大量的数据和大型模型,即使在未知环境中也表现出出色的通用性。

  研究人员在研究中进行了数据扩展、模型缩放以及微调策略的探索,以进一步提高模型性能。通过对32个不同的学术数据集进行排名,SMPLer-X在关键榜单上实现了最佳性能,并展示了数据缩放和模型缩放的有效性。

  这个研究还强调了数据集的泛化性研究,指出在模型训练中使用10万个实例数量级的数据集可以获得高性价比。此外,对不同数据集的采集场景和标注也进行了详细研究,强调了生成数据集和伪标签数据集的重要性。

  总的来说,SMPLer-X的提出和研究为人体动捕领域带来了重要的突破,为学术社区提供了强大的全身人体动捕大模型。该研究的代码和预训练模型已经开源,为更广泛的应用提供了便利。这一成果不仅可以用于角色动画制作,还在许多其他领域具有潜在的应用前景。

+1

来源:站长之家

延展资讯