收藏本站
《浙江大学》 2017年
收藏 | 手机打开
二维码
手机客户端打开本文

基于样例学习的风格化脸部动画生成方法研究

金秉文  
【摘要】:来源于历史悠久的绘画艺术的风格化绘制技术对于风格化动画、游戏以及文化遗产保护和传承都具有非常重要的意义,是一个非常重要的研究方向。而与风格化绘制具有相当紧密的联系的风格化动画,因为包含时间这个新维度,使其比静态的风格化绘制技术有了更强的表现力,在计算机图形学领域也是一个很有价值的研究领域。基于样例的人脸风格化动画生成是该领域的重要研究课题之一,是风格化人物动画生成的一个关键。然而,为了实现从样例中学习多样的风格并自动生成人脸风格化动画,仍然需要解决许多问题。本文结合计算机图形学、计算机视觉和机器学习等领域的技术,在绘制和动画生成两个方面,都提出了基于样例的新方法,以提高用计算机技术制作多种不同的人脸风格化动画时的制作效率。具体的研究工作如下:1.提出了风格化脸部动画样例表达和候选样例检索方法样例表达是设计基于样例的方法的基础。为了模拟风格化绘制的艺术化加工过程,提出应该基于成对的照片和风格化图像作为风格化绘制的样例;为了弥补二维关键帧缺乏三维信息而难以在自动生成中间帧时处理遮挡的问题,提出基于主帧样例来补充三维信息的方法。候选样例检索时需要设计合适的评价算法来对候选样例的匹配度进行评价,但不同艺术家有各自独特的评价方法,因此提出了一个基于样例学习的匹配度评价方法。样例表达和候选样例检索方法成为后续的基于样例的方法能够成功实施的基础。2.提出了基于主帧样例学习的中间帧生成方法中间帧生成的自动化是传统关键帧动画技术的一个关键问题。解决该问题的一个核心是为二维关键帧弥补三维信息。同时,为了不给传统制作流程增加额外的样本收集成本,提出了基于主帧样例学习的方法来自动建立关键帧对应关系。之后,针对不同视点下的关键帧插值问题,提出基于四个视点的View-morphing方法,在保持手绘风格的前提下,自动生成具有正确的视点变化效果的中间帧。3.提出了基于实例推理的风格化绘制方法绘制风格的多样性一直是风格化绘制的一个难题。为了从尽可能少的样例中学习到画家的独特绘制风格,借鉴了人工智能领域的实例推理技术,提出了一个新的基于样例的人脸风格化绘制方法。在该方法中,采用生成并评价的机制来预测每一个候选实例的匹配程度,进而获取最匹配的实例;采用基于样例学习的参数估计模型,实现自动实例调整。该方法能够学习多种不同的脸部肖像画绘制风格。4.提出了二三维结合的人物动画生成方法动画是大众喜欢的一种艺术表达形式,敦煌壁画是中华民族最重要的文化遗产之一,所以,以动画为载体展现敦煌壁画非常利于吸引大众的注意力,对这类文化遗产的保护和传承很有意义。壁画的动画化要求在动画中模仿壁画的二维手绘风格,虽然使用基于样例的风格化绘制技术和基于主帧样例的中间帧生成技术可以模拟艺术家的风格得到二维脸部风格化动画,但是,目前二维动画资源和人力都比较稀缺,而三维动画则不同。同时,二维和三维动画技术又有各自的优势。所以,提出了一个结合二三维动画资源的人物动画生成方法。该方法能够利用三维动画资源驱动二维风格化资源产生运动,在保持二维手绘风格的同时生成动画。同时,还能允许用户简单平滑地控制动画的风格更加接近于二维还是三维。本文的工作对基于样例的人脸风格化动画技术的若干关键问题进行研究,提出了一些新的有效的解决方法。这些方法丰富了本领域的研究,而且,对不同风格的动画制作的人力成本的降低起到了推进作用。
【关键词】:风格化绘制 风格化动画 脸部动画 基于样例的动画生成
【学位授予单位】:浙江大学
【学位级别】:博士
【学位授予年份】:2017
【分类号】:TP391.41
【目录】:
  • 摘要3-5
  • Abstract5-17
  • 第1章 绪论17-48
  • 1.1 研究背景17-23
  • 1.2 风格化绘制研究概述23-38
  • 1.2.1 交互式风格化绘制过程的模拟技术26-27
  • 1.2.2 基于三维模型的风格化绘制技术27-32
  • 1.2.3 基于参考图像的风格化绘制技术32-38
  • 1.3 风格化动画研究概述38-42
  • 1.4 本文工作42-48
  • 第2章 风格化脸部动画技术综述48-70
  • 2.1 脸部表情动画生成技术48-57
  • 2.1.1 二维表情动画技术48-50
  • 2.1.2 结合三维约束的二维表情动画技术50-51
  • 2.1.3 真实感表情动画技术51-57
  • 2.2 风格化动画生成技术57-66
  • 2.2.1 二维风格化动画技术57-61
  • 2.2.2 三维风格化动画技术61-63
  • 2.2.3 二维半风格化动画技术63-64
  • 2.2.4 基于样例的风格化动画技术64-66
  • 2.3 本章小结66-70
  • 第3章 风格化脸部动画的样例表达和候选样例检索70-88
  • 3.1 引言70-73
  • 3.1.1 样例表达研究概述70-72
  • 3.1.2 候选样例检索研究概述72-73
  • 3.2 问题描述73-74
  • 3.2.1 样例表达73
  • 3.2.2 候选样例检索73-74
  • 3.3 样例表达74-77
  • 3.4 样例预处理77-79
  • 3.4.1 生成夸张矢量场78
  • 3.4.2 生成中性肖像画78-79
  • 3.5 候选样例检索79-81
  • 3.5.1 特征定义80-81
  • 3.5.2 匹配度评价模型定义81
  • 3.6 构建样例库81-84
  • 3.7 实验结果84-86
  • 3.8 本章小结86-88
  • 第4章 基于主帧样例学习的中间帧生成88-113
  • 4.1 引言88-90
  • 4.2 问题描述90-92
  • 4.3 从主帧中学习先验知识92-94
  • 4.4 基于样例学习的视点识别94-99
  • 4.4.1 线绘图特征提取95-96
  • 4.4.2 线绘图像特征自动选择96-98
  • 4.4.3 支持向量机98-99
  • 4.5 基于样例学习的笔画标记99-102
  • 4.5.1 笔画特征提取99-100
  • 4.5.2 训练支持向量机集100-101
  • 4.5.3 对比实验101-102
  • 4.6 笔画采样点对应关系102-103
  • 4.7 三维模型指导的笔画插值方法103-108
  • 4.7.1 View Morphing105-106
  • 4.7.2 Four-View Morphing106-108
  • 4.8 实验结果108-111
  • 4.9 本章小结111-113
  • 第5章 基于实例推理的风格化绘制113-134
  • 5.1 引言113-114
  • 5.2 问题描述114-115
  • 5.3 基于实例推理的风格化绘制框架115-117
  • 5.4 构建实例库117
  • 5.5 面向实例获取的匹配度评价117-122
  • 5.5.1 训练数据生成118-119
  • 5.5.2 学习匹配度评估模型119-122
  • 5.6 面向自动实例调整的参数估计122-123
  • 5.7 通过CBR合成期望的风格化人脸草图123-127
  • 5.7.1 基于实例的草图迭代生成125-126
  • 5.7.2 夸张126-127
  • 5.8 实验结果127-133
  • 5.9 本章小结133-134
  • 第6章 二三维结合的人物动画生成方法134-161
  • 6.1 引言134-135
  • 6.2 问题描述135-137
  • 6.3 二三维动画资源137-140
  • 6.4 创建2.5D模型140
  • 6.5 建立2.5D和3D模型的对应关系140-144
  • 6.5.1 生成对应信息141-142
  • 6.5.2 合成新视点下的笔画142-144
  • 6.6 驱动混合模型生成动画144-145
  • 6.6.1 由3D动画的驱动2.5D动画144-145
  • 6.6.2 混合2.5D和3D动画145
  • 6.7 基于Kinect深度数据的多视点人脸草图生成145-155
  • 6.7.1 精确标定Kinect149-155
  • 6.8 实验结果155-160
  • 6.9 本章小结160-161
  • 第7章 总结和展望161-166
  • 7.1 本文工作总结161-163
  • 7.2 后续工作展望163-166
  • 参考文献166-198
  • 攻读博士学位期间主要的研究成果198-199
  • 致谢199

中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026