本篇文章2348字，读完约6分钟
机器的心
机心报道
参加:小鸡蛋魔王
有了这个模式，你也可以有冷酷的漫画形象。 同时，是独特的久保带人style！ 也许你可以用这种方法找到《真人版》的川上富江？
奥巴马、周杰伦都可以一键切换高冷漫画的脸。
漫画是很多人童年的回忆，除了古典的《银魂》、《连衣裙》、《火影》之外，久保带人的作品《死神》也很受欢迎。 最近，来自北航的6名研究者发表了漫画脸部转换模型“mangagan”，实现了从真人照片到漫画脸部的完美转换。
你可以合理怀疑几篇论文的作者是久保带人的粉丝。
本文提出的“漫画”基于生成对抗网络( gan )的非对照到漫画的转换手法。 用于训练漫画的数据集也来源于受欢迎的漫画作品久保带人的“bleach”，因为包含漫画人的脸部特征、特征点、身体等要素，所以生成结果中也有很强的久保带人风格。
论文链接: arxiv/pdf/2004.10634v1.pdf
标准漫画的脸是怎么制作的？
漫画生成漫画脸的整体流程。
一般来说，mangagan有两个分支。
一个分支通过gtn ( geometrictransformationnetwork )学习几何学映射。
另一个分支是通过外观转换互联网( atn )学习外观映射。
最后用合成模块将两者融合，生成漫画的脸。
假设p表示照片，m表示生成的漫画脸，两者之间没有对关系。 给出一张照片p∈p，mangagan学习映射
把p转移到样品中
( m∈m )然后，在m上加上漫画风格和脸的相似度。
图中( f )的步骤用gtn画出夸张的几何线，明确五官的几何分布位置。 图中( e )的步骤是用atn生成包括眼睛、鼻子、嘴在内的所有脸的特征。 然后通过合成模块融合几何轮廓和面部特征，输出漫画面部m∈m。
外观转换: atn
atn是multi-gan结构的互联网，包含四个局部gan，分别用于转换眼睛、嘴、鼻子、头发四张脸的位置。 与各部位的gan相比，有自己的训练策略和编码器，改善性能。
眼睛和嘴有漫画脸的灵魂，但是是最难转换的部分，随着表情的变化，这两个部位的特征也发生变化。
为了对眼睛和嘴的部位实现更好的非配对数据匹配，研究者将cyclegan和逆映射( reverse mapping )结合起来，进行了三个改进。
第一，与sp loss l_sp一起设计sp(similaritypreserving )模块，以提高相似度。
第二，训练编码器e^eye用于提取p^eye的树干，训练编码器e^mouth用于提取p^mouth的轮廓线。
第三，提出了结构平滑损失l_ss，帮助网络生成笔触平滑的漫画脸。
用不同的改善方法得到的眼睛和嘴的区域视情况而定。
上图的第5列和第11列显示了使用sp模块的改善效果。 第6列和第12列分别显示了使用编码器的e^eye和e^mouth的改善效果。 第4列和第10列显示了结构平滑损失带来的改善效果。
鼻子和头发的生成比较简单，大部分动画角色的鼻型都很相似。 因为这项研究使用基于progan的体系结构生成鼻子。 头发部分采用apddrawinggan，用头发分割方法分割大致的头发区域，用肖像画分割方法除去多余的背景区域，可以生成漫画风格的头发格式。
几何转换: gtn
在变换脸部特征点时，脸部特征的组合模式会限制结果的多样化。 例如，脸型相同的人可能有不同的眼睛鼻子大小和位置，但gan在接受全球脸部特征点训练时可以遵循固定或类似的组合模式。 因为这个研究者也把“几何学特征”分解为脸型、位置、大小三个属性，使用三个sub-gan分别转换。
gtn pipeline。 几何新闻分为三个独立的属性:位置、大小和面部形状，使用n_loc、n_siz和n_sha三个sub-gan分别转换。
最终，如图5(b )所示，根据预先定义的脸颊和额头的比例，生成漫画的脸整体的几何学特征。
最后一步:融合
这一步的目的是融合面部特征和几何学特征生成漫画面部。
如上图所示，首先，根据几何特征调整各脸部特征模块进行定位。
接下来，通过对3次Hermite插值多项式( pchip )进行分段，保存得到平滑曲线的脸形状，通过拟合生成脸特征点的曲线来描绘脸型。
而且模型提供了10种漫画耳朵，而不是用照片重新生成。 因为耳朵的格式对表情影响不大。
另外，研究者收集了8种漫画角色本体，用于与生成的漫画脸进行组合。
最后可以输出漫画的结果了。 这个模型提供了快速微调尺寸和位置的工具，以及鼻子、耳朵、骨骼等组件的切换工具，客户可以根据个人喜好调整，制作喜欢的漫画脸。
mangagan的效果怎么样？
该研究所使用的实验数据集由漫画数据集、照片数据集、人物数据集三部分组成。 漫画数据集来自流行的漫画作品“死神”，包括第448双眼睛、109鼻、179口、106张正面漫画脸。
研究者以mangagan和9种漫画脸生成sota方法为对象，效果如下图所示。
可以看出用其他方法生成的漫画的脸上有扭曲和离奇的线，或者脸上有莫名的影子。 这是因为在生成过程中忽略了几何特征的转换。 对此，mangagan生成的脸很漂亮，没有多余的部分。
其次是跨域转换级别的mangagan和其他方法。 为了公平，cyclegan和unit首先转换整个脸部，然后转换各自的脸部特征。 最终的效果如下图所示。
很明显，其他做法在匹配照片和漫画时容易产生问题，更关心两者的黑暗区域是否匹配，但没有改变脸的形状和笔触。 mangagan的生成结果接近理想的漫画脸，脸的形状清晰，眉毛的形状光滑，嘴也简化了，几乎完全符合手写漫画人物的脸的特征。
原作标题:“将周杰伦的脸放入漫画，北航队在mangagan上画了新版《死神》。
阅读原文。
