华盛顿大学的研究人员开发了一种AI方法来解决3D限制
忘记动画面孔和深度伪造视频,研究人员已经推出了一种新的人工智能方法,可以使用现有的个人静止图像生成“活的”行走的 3D 模型。该技术为交互式博物馆展示等铺平了道路,只需要一张静态图像、绘画甚至卡通涂鸦,主题相当清晰即可工作。
从静止图像创建 3D 模型通常需要从多个角度显示对象的多张照片。Facebook 和华盛顿大学的研究人员开发了一种 AI 方法来解决该限制,从而可以从仅具有对象的一个摄像机角度的单个静止图像生成相当准确的 3D 模型。
照片唤醒算法的工作原理是识别图像中的人(或卡通),然后对其进行屏蔽以将其与图像的其余部分分开。该蒙面对象应用了一个 3D 模板,然后将其投影回 2D。来自图像的纹理(颜色)被应用到这个 3D 模板,根据来自图像的数据生成模型的背面,然后将两者缝合以创建适当的 3D 模型。
结果是一个 3D 模型,可以动画化以在 3D 空间中行走、跑步、坐下或跳跃。该模型似乎从输入图像中剥离出来,该图像被自动编辑以填充对象最初所在的空白处。
目前这些模型并不完全真实——其中一些类似于旧的任天堂 64 游戏角色——但它同样令人印象深刻,尤其是简单的艺术品。该技术可用于多种应用,包括增强现实,让照片和艺术品栩栩如生。例如,博物馆可以将该技术与应用程序结合使用,为参观者提供对流行内容的交互式查看。
但是,目前存在一些限制,包括照片唤醒最适用于从正面显示主体的图像。值得注意的是,AI 能够处理手臂在身体前方弯曲的一些图像,为该肢体设置动画,使其自然移动,但研究人员表示,该方法还不能处理交叉双腿或大部分部位的对象。身体被堵住了。