吉林省建设信息网电话,桔子seo查询,wordpress 显示文章标题,烟台网站设计制作公司电话Point-Based Multi-View Stereo Network是一篇点云重建领域的文章#xff0c;其工作内容为通过输入多张不同角度的图片#xff0c;提取不同的点云特征#xff0c;再进行融合#xff0c;从而生成最终的点云。1.介绍Point-MVSNet的大致流程如下#xff1a;首先生成一个粗略的…Point-Based Multi-View Stereo Network是一篇点云重建领域的文章其工作内容为通过输入多张不同角度的图片提取不同的点云特征再进行融合从而生成最终的点云。1.介绍Point-MVSNet的大致流程如下首先生成一个粗略的深度图通过MVSNet这是另一篇文章提出的网络结构不过它是通过cost volume的方式进行重建的。然后把深度图转换为点云再通过事先生成的深度图与ground truth之间的差值通过迭代的方式进一步优化点云。Point-MVSNet的亮点为该网络把3D几何先验知识和2D纹理信息融合到一个叫做特征增强点云中feature-augmented point cloud然后在为每一个点估计它的3D flow什么是3D flow难道是一个点的3D属性的抽象表示2.方法粗略深度图预测论文采用MVSNet模型来生成一个粗略的深度图。通过给予MVSNet图片和相关的相机参数MVSNet生成一个3D cost volume代价块所谓代价块是指每一个像素其实都有一个代价值这个代价是通过代价聚合cost aggregation的方式计算来的假想此处有一个WxHxD的三维矩阵W和H分别是图像的宽高D是深度范围一般这个D都是在实验中假定的一个范围比如5-10之类的这个三维矩阵的每一个值都是一个像素点在不同深度值下的代价如果说某一个像素点在 的深度值下它的代价最小那么就取 作为该像素点的深度值每一个像素点的深度值确定了之后这张图片的深度图也就确定了。2D-3D特征融合在网络里面使用的点特征是由从多尺度条件下提取出来的图像2D特征和归一化的3D坐标组成的这就是所谓的2D-3D特征融合。这里的2D特征就是通过卷积网络金字塔结构提取出多尺度的图像特征赋予每个点更大的感受野和上下文信息一张图片 的2D特征就是 这些不同尺度下的特征图是需要融合在一起再去和坐标信息融合的。而且这里还不止一张图片是不同角度的多张图片每一张图片还提取出了多尺度的特征图融合不同角度的图像特征使需要用到不同角度的相机参数这样才能把特征图wrap到一个统一的方向就是一些旋转矩阵和平移向量组成的相机外参以及相机内参再和特征图做矩阵乘法。多张图片在同一个尺度下的特征融合公式如下 。j代表了不同尺度。然后再和点云的坐标位置进行融合公式如下文中提到的动态特征提取的意思就是得出来的 输入到point flow中得到深度残差然后这个深度残差往回输入到点云中进一步更新点云的位置然后再通过更新后的点云输入到point flow得到深度残差。这个过程文中迭代了两次。PointFlowPointFlow是论文中的核心模块工作内容为为unprojected point点通过深度图外加相机参数通过非映射的方式生成的点生成一系列假设点利用这些点构造出一个有向图在进行边卷积进一步提取邻域特征。然后经过MLP判断unprojected point的偏移位置偏移向量由各假设点带权平均得到。假设点的生成Point Hypothesis Generation对每一个unprojected point都会沿着参考相机的方向生成一系列不同偏移的点就是在投影出来的点的前前后后生成一些点。公式如下 代表参考相机的方向 代表偏移距离。最后会有2m1个假设点。边卷积Edge Convolution如上图所示论文通过KNN的方法生成一个有向图。边卷积可以先简单理解为提取出边的特征后面研究DGCNN的时候再做详细记录。 是一个可学习的非线性函数 是一个逐渠道的对称聚合操作对称操作主要是max pooling、average pooling和weighted sum等方法可以把多个特征聚合到一起所谓对称是指输入的顺序并不影响结果。如上图所示边卷积过后的点云跳连接到一起。Flow Prediction如上图所示Point Flow输入增强点云输出深度残差图。内部使用了三个EdgeConv层来聚合不用尺度下的点特征特征金字塔刚好也是3层再通过快连接把EdgeConv的结果组合成一个局部点特征。最后通过MLP来转换点特征输出每一个unprojected point在假设点上的概率值最终的unprojected point的偏移是由每一个假设点带权平均得到的。Training loss损失函数的公式如下所示 代表迭代次数
