大叔也能“变”萌妹？1张动漫头像就可以，说话唱歌样样行

肖骁的量子位报告来自奥菲寺| QbitAI，微信官方账号

你只需要一个动漫头像就能让你的第二任妻子“说话”:

你甚至可以摇头，像虚拟主播一样唱歌:

不仅如此，动漫头像还可以模拟你的口型和头部动作，实时“唱”出想要的效果:

这对阴茎刺痛的玩家来说是个福音。

而且，不想露面的主播还有新的免费“虚拟主播”可以选择。

那么，用什么原理让模型达到这个效果呢？

用3D模型，让2D头像动起来

该模型的核心思想是将图片和姿态参数输入系统，以“改变”输入图片中卡通人物的姿态。

听起来很简单，但实际上并不容易实现。

第一，对应的数据集不好找；第二，网络架构和培训不好建。

那么[呢？

经过思考， 此外，还需要设计模型注释来“圈出”模型的头部、发型、配饰等“需要旋转”的地方。

卡通人物变化后的眼睛和嘴巴形状也需要分别提取，以考虑各种人物表情的变化。

根据3D角色的实际动画效果，可以设计相应的网络:让角色从角色的两个主要动作中“动”出来，即变换表情和旋转脸。

也就是说，首先要控制眼睛和嘴巴的张开程度，然后尽量让卡通人物的头部“向上翻”。

首先，改变你的表情。

这一步比较简单，只需要找到一个张开嘴和眼睛的卡通头像，然后用算法让主角眨眼，改变口型。

而控制面部旋转的算法就比较复杂了，因为只有头部是随着面部旋转而旋转的，而且还随着发型和配饰而旋转。

首先找到需要旋转的部分，完成旋转，然后控制输出图像的颜色对应输入像素，最后组合效果。

从摇头和前后摆动的角度来看，效果很好。

然而，这不是[/h/】。经过优化算法，最新的模型不仅可以形象地表达愤怒、厌恶和沮丧，还可以改变瞳孔和眉毛的形状，人物看起来更加逼真。

效果如何？

应用于单个2D头像的效果相当好:

它不仅可以通过视频人脸检测实时模拟人物的口型和表情；

也可以利用已有的视频角色控制它“说话”“唱歌”，成为“虚拟主播”:

但仅从3D模型的渲染效果来看，偶尔会出现一些错误，需要适当调整。

例如...黄头发男孩身上的剑会“随着他的头移动”:

虽然头部的旋转很完美，但原本应该在背后的剑也随着头部旋转了...

例如，当头部旋转时，辫子被“剪掉”:

但是，这些在细节上还是问题。

也就是说，如果训练数据和人物外貌有很大差异，就会出现这种情况:

如果你是兽人玩家，可能需要准备自己的数据集，训练一个模型。

在学习期间，他还在SIGGRAPH和其他峰会上发表了许多计算机科学系的论文。

项目地址:https://pkhungurn.github.io/talking-head-anime/

参考链接:https://www.cs.cornell.edu/~ pra mook/https://www . Reddit . com/r/machine learning/comments/la f8i/RP _ talking _ head _ animation _ from _ a _ single _ image _ 2 _ more/

-结束-

签署量子比特qbitai标题号

关注我们，第一时间了解前沿技术趋势

为广大动漫党漫迷提供更多精彩的大叔也能“变”萌妹？1张动漫头像就可以，说话唱歌样样行相关内容,御宅族看动漫作为一个消遣方式，本身也就是要从中得到快乐和放松,类用心做的剧情。

关键词：头部   模型   效果   人物   头像   表情   算法   动漫

【动漫情报】：看动漫作为一个消遣方式，本身也就是要从中得到快乐和放松{启能动漫}。 http://www.chinonelectronic.com/19/66472.html

很赞哦！ ()