艺阳科技网站建设,最强商城系统,wap网站排名,购物网站大全棉鞋[paper | code | proj] 本文提出INSTA。INSTA是一种backward mapping方法。该方法基于NeRF建立标准空间#xff0c;形变空间#xff08;任意表情#xff09;通过映射回标准空间#xff0c;实现渲染。为实现形变空间中任意点向标准空间的映射#xff0c;对形变空间中的任意…
[paper | code | proj] 本文提出INSTA。INSTA是一种backward mapping方法。该方法基于NeRF建立标准空间形变空间任意表情通过映射回标准空间实现渲染。为实现形变空间中任意点向标准空间的映射对形变空间中的任意点1找到最近邻三角面片2通过该三角面片和对应标定空间中的三角面片计算形变梯度3通过形变梯度将该点映射回标准空间给定一段单目RGB肖像视频该视频记录了目标人物的不同表情和视角实现对未见表情和视角的渲染。 快速可变形神经辐射场
任务设置给定单目视频、相机内参、FLAME meshes 、FLAME表情系数和FLAME相机位姿生成基于神经辐射场NeRF表征的可控制头部虚拟人本文方法属于Backward Mapping。本文基于NeRF建立标准空间为了渲染特定面部表情将形变空间中采样的点映射回标准空间中。相较而言经典的Dynamic NeRF是将不同时间的点映射回标准空间。 体渲染 其中是透明度是密度是位置的颜色。任意点在预测其密度和颜色时会受该帧对应的3DMM表情系数影响。 标准空间
本文通过计算形变梯度deformation gradient将形变空间中点映射到标准空间中。
给定第个形变空间中的任意点其FLAME最近邻三角面片triangle是对应标准空间中的FLAME三角面片是通过三角面片切向量tangent vector、双切向量bitangent vector和法向量normal vector计算旋转矩阵通过三角面片顶点可以计算位移通过旋转矩阵和位移矩阵可以计算Frenet坐标系统帧和两者大小都是 考虑到三角面片在形变空间和标准空间中的差异本文通过对应三角面片的面积比计算各向同性的放缩变量最终形变梯度定义如下 为了避免变化的不连续性本文额外执行了相邻面片转换的指数加权平均 其中A是T的相邻面片其中心点为。值得一提的是所有顶点的位置都以米为单位FLAME的度量单位
为了加速渲染本文借助经典的bounding volume hierarchy (BVH)提高最近邻三角面片的搜索速度。同时为了减缓FLAME中高度密集区域的三角面片搜索本文简化了研究和眼睛区域 训练目标
任意点颜色为 其中 借助FLAME模型实现脸部区域的深度损失 最终损失为 实验
实验结果 消融实验
