2024年3月31日发(作者：寻梓楠)
3D图像融合技术还原人脸的创新
1、什么是人脸三维重建
人脸三维重建就是建立人脸的三维模型，它相对于二维人脸图像多了一个维度，在电
影，游戏等领域应用广泛。目前获取人脸三维模型的方法主要包括三种，软件建模，仪器
采集与基于图像的建模。
(1)软件建模作为最早的三维建模手段，现在仍然是最广泛地在电影，动漫行业中应用。
顶顶大名的3DMax就是典型代表，作品如下图。
(2)由于手工建模耗费大量的人力，三维成像仪器也得到了长期的研究和发展。基于结
构光和激光仪器的三维成像仪是其中的典型代表，我们熟知的iphoneX中的人脸识别就是
基于结构光进行三维人脸重建，正因如此才有iphonex中的三维人脸表情包。这些基于仪
器采集的三维模型，精度可达毫米级，是物体的真实三维数据，也正好用来为基于图像的
建模方法提供评价数据库。不过由于仪器的成本太高，一般的用户是用不上了。
(3)基于图像的建模技术（image based modeling），顾名思义，是指通过若干幅二
维图像，来恢复图像或场景的三维结构，这些年得到了广泛的研究。
我们这里说的人脸三维重建，就特指基于图像的人脸三维重建方法。人脸三维重建的
研究已经有几十年的历史，但是基于图像的快速高精度三维人脸重建还没有工业落地，需
要研究人员继续努力。
2、什么是3DMM模型
基于人脸图像的三维重建方法非常多，常见的包括立体匹配，Structure From
Motion(简称SfM)，Shape from Shading(简称sfs)，三维可变形人脸模型(3DMM)，本
文就重点讲述3D Morphable models(简称3DMM)，其相关的传统方法和深度学习方法
都有较多的研究。
2、1基本思想
3DMM，即三维可变形人脸模型，是一个通用的三维人脸模型，用固定的点数来表示
人脸。它的核心思想就是人脸可以在三维空间中进行一一匹配，并且可以由其他许多幅人
脸正交基加权线性相加而来。我们所处的三维空间，每一点(x,y,z)，实际上都是由三维空间
三个方向的基量，(1,0,0)，(0,1,0)，(0,0,1)加权相加所得，只是权重分别为x,y,z。
转换到三维空间，道理也一样。每一个三维的人脸，可以由一个数据库中的所有人脸
组成的基向量空间中进行表示，而求解任意三维人脸的模型，实际上等价于求解各个基向
量的系数的问题。
人脸的基本属性包括形状和纹理，每一张人脸可以表示为形状向量和纹理向量的线性
叠加。
形状向量Shape Vector：S=(X1,Y1,Z1,X2,Y2,Z2,、、、,Yn,Zn)，示意图如下：
纹理向量Texture Vector：T=(R1,G1,B1,R2,G2,B2,、、、,Rn,Bn)，示意图如下：
任意的人脸模型可以由数据集中的m个人脸模型进行加权组合如下：
其中Si，Ti就是数据库中的第i张人脸的形状向量和纹理向量。但是我们实际在构建
模型的时候不能使用这里的Si，Ti作为基向量，因为它们之间不是正交相关的，所以接下
2024年3月31日发(作者：寻梓楠)
3D图像融合技术还原人脸的创新
1、什么是人脸三维重建
人脸三维重建就是建立人脸的三维模型，它相对于二维人脸图像多了一个维度，在电
影，游戏等领域应用广泛。目前获取人脸三维模型的方法主要包括三种，软件建模，仪器
采集与基于图像的建模。
(1)软件建模作为最早的三维建模手段，现在仍然是最广泛地在电影，动漫行业中应用。
顶顶大名的3DMax就是典型代表，作品如下图。
(2)由于手工建模耗费大量的人力，三维成像仪器也得到了长期的研究和发展。基于结
构光和激光仪器的三维成像仪是其中的典型代表，我们熟知的iphoneX中的人脸识别就是
基于结构光进行三维人脸重建，正因如此才有iphonex中的三维人脸表情包。这些基于仪
器采集的三维模型，精度可达毫米级，是物体的真实三维数据，也正好用来为基于图像的
建模方法提供评价数据库。不过由于仪器的成本太高，一般的用户是用不上了。
(3)基于图像的建模技术（image based modeling），顾名思义，是指通过若干幅二
维图像，来恢复图像或场景的三维结构，这些年得到了广泛的研究。
我们这里说的人脸三维重建，就特指基于图像的人脸三维重建方法。人脸三维重建的
研究已经有几十年的历史，但是基于图像的快速高精度三维人脸重建还没有工业落地，需
要研究人员继续努力。
2、什么是3DMM模型
基于人脸图像的三维重建方法非常多，常见的包括立体匹配，Structure From
Motion(简称SfM)，Shape from Shading(简称sfs)，三维可变形人脸模型(3DMM)，本
文就重点讲述3D Morphable models(简称3DMM)，其相关的传统方法和深度学习方法
都有较多的研究。
2、1基本思想
3DMM，即三维可变形人脸模型，是一个通用的三维人脸模型，用固定的点数来表示
人脸。它的核心思想就是人脸可以在三维空间中进行一一匹配，并且可以由其他许多幅人
脸正交基加权线性相加而来。我们所处的三维空间，每一点(x,y,z)，实际上都是由三维空间
三个方向的基量，(1,0,0)，(0,1,0)，(0,0,1)加权相加所得，只是权重分别为x,y,z。
转换到三维空间，道理也一样。每一个三维的人脸，可以由一个数据库中的所有人脸
组成的基向量空间中进行表示，而求解任意三维人脸的模型，实际上等价于求解各个基向
量的系数的问题。
人脸的基本属性包括形状和纹理，每一张人脸可以表示为形状向量和纹理向量的线性
叠加。
形状向量Shape Vector：S=(X1,Y1,Z1,X2,Y2,Z2,、、、,Yn,Zn)，示意图如下：
纹理向量Texture Vector：T=(R1,G1,B1,R2,G2,B2,、、、,Rn,Bn)，示意图如下：
任意的人脸模型可以由数据集中的m个人脸模型进行加权组合如下：
其中Si，Ti就是数据库中的第i张人脸的形状向量和纹理向量。但是我们实际在构建
模型的时候不能使用这里的Si，Ti作为基向量，因为它们之间不是正交相关的，所以接下