随手涂鸦,一键秒变动画!Meta整活「火柴人」宇宙,能跑能跳还能加背景,18万张图训练

2023-05-11 12:33 232 阅读 ID:1047
新智元
新智元

小时候,小编最喜欢上的就是美术课。

给我一盒24色的水彩笔,我能坐一下午不带起来的。

因为,对于每个人来说,从小到大,在白纸上肆意涂抹、创造、发挥的感觉都是非常美妙的。

可以理解为情绪的宣泄口,也可以饱含对未来的畅想。

今天,Meta推出了一个全新的AI系统,可以把我们随手在纸上画的涂鸦变成活灵活现的动漫。

小时候就幻想过自己笔下的人物能跳出纸张动起来,而Meta帮我们实现了这个美好幻想。

                                              论文地址:https://arxiv.org/abs/2303.12741

18万张!数据集

而实现的过程也没那么复杂。


Meta有一个包含18万张的日常随手绘画的数据集,还有一整套动画的代码。而该数据集也是全球首个以涂鸦这种艺术品为特征的带注释数据集。

这里有一个概念要搞明白。

人们通过绘画来表达自己这点不假,但是绘画和绘画也是有不同的。对于AI来说,重要的是学习。如果没有含义明确的表达,那么对AI来说学习起来就会比较困难。

所以才有了这么一个18万张涂鸦的大数据集。有了这么一个数据集,研究人员就可以开发出相应的工具,更容易、准确地分析不同涂鸦中的内容。  

其实,早在2021年底,Meta就发布了他们开发的动画图画演示,并在互联网上邀请用户上传各自的图片。

然后,用户就会收到一小段由自己上传的绘画中人物的动画。

据统计,当时有大约320万人访问了该网站,上传了大约670万张图片。之后出于质量和隐私的考虑,Meta的人类审查员对这些图片进行了筛选。

当时,Meta只能做到让涂鸦中的人物做一组简单的动作,用户们反馈说希望能上线更多功能。比如能让包含多个人物的涂鸦作品也动起来,又比如让涂鸦人物做一些更高难度的动作,或者眨眨眼什么的。

而像下图中,这些能蹦蹦跳跳的GIF图片,则是在Meta开放源代码以及数据集之后,产品创造性和教育性目的扩展的一个例子。

有了这些资源,研究人员也就可以进一步补充分析这些涂鸦的方法,以此来扩展原有的功能。

甚至还可以给小人添加背景,让涂鸦在环境中舞蹈。

能跑能跳,活灵活现

上面提到过,涂鸦这种形式涉及的内容过于千奇百怪,每个人笔下的涂鸦都是独一无二的。


那么在这种情况下,如何训练模型就是问题的关键所在。

Meta表示,常见的两种方法,第一种是使用带注释的画作来训练新模型。但这种办法的问题在于,带注释的画作太少了,人们上传的可能仅仅是一张涂鸦而已,并不带有注释。这样一来,训练神经网络的素材就没有那么多。

第二种方式则是通过合成的方式作画,比如说把照片用素描的形式重做。但这种方式也存在问题。

生成法进行训练需要大量的样本数据来学习,上述的办法也许做不到捕捉绘画与照片之间所有的差别。此外,用这种方法来生成供学习的数据,可能无法捕捉到一些绘画才有的细节,比如纸张折痕、用橡皮擦去的线条、阴影等等。

最终,Meta选择的办法是把整个任务进行拆分,包括一系列子任务,人物检测、涂鸦分割、姿势预测,以及生成动画。

在用户选择上传涂鸦到系统上以后,他们可以自行选择边框位置(确定范围),确定人物关节的位置等等,最后可以选择一个动作来生成动画。  

甚至,可供选择的动作还有很多,这就看用户个人了。

Meta的系统结合了用拍摄的照片上训练的计算机视觉模型,同时由于涂鸦和照片之间的差别,Meta进一步使用18万张的数据集微调模型。

而有了这个数据集和生成动画的代码以后,Meta相信随手创作的绘画领域未来会激发更多的创作者加入。

那么这个数据集是怎么建立的呢?

和21年的项目差不多,Meta建立数据集的方式还是靠用户上传。

Meta在隐私这方面做得不错,人们可以选择上传图像+注释用于Meta的研究,同时Meta对这些上传的信息持有非常谨慎的态度,尽可能减少了数据被滥用的可能。

此外,对上传数据的筛选工作也十分重要。因为这一次的项目主打的就是把涂鸦变成动画,所以非涂鸦的图像要被Meta的审查员筛掉。

包含泄密、粗俗文字的内容更不用说,必须筛掉。

人人都是创作家

有了这么个好用的工具,人人都可以成为一名艺术创作家。

毕竟,能看到自己笔下的人物栩栩如生的动起来,能当一回神笔马良,想必也是一件很酷的事情吧!

参考资料:

https://ai.facebook.com/blog/ai-dataset-animation-drawings/

https://www.engadget.com/meta-has-open-sourced-an-ai-project-that-turns-your-doodles-into-animations-183807106.html

免责声明:作者保留权利,不代表本站立场。如想了解更多和作者有关的信息可以查看页面右侧作者信息卡片。
反馈
to-top--btn