网站开发编码选择一般是,做网站去哪里做好,园林景观设计公司名称大全,网站原型设计流程前言 本节我们将学习相机标定和对极几何两部分的内容。 在相机标定部分#xff0c;我们将学习直接线性变换#xff08;Direct Linear Transform, DL#xff09;,张正友标定法#xff08;Zhang’s Method#xff09;和 Perspective-n-Point (PnP) 这三种方法。 在对极几何部…前言 本节我们将学习相机标定和对极几何两部分的内容。 在相机标定部分我们将学习直接线性变换Direct Linear Transform, DL,张正友标定法Zhang’s Method和 Perspective-n-Point (PnP) 这三种方法。 在对极几何部分我们将了解极平面、基线、极点和极线等概念以及相机相对位姿估计和对极约束。 一、相机标定
1.1 相机内外参 内参描述相机本身的属性同一相机内参固定 外参描述相机的姿态、位置随时间变化 让我们来回顾一下相机的成像过程 1.2 相机标定概述
通过实验的方法计算和估计相机内外参数的过程称为相机标定(Camera Calibration)
相机标定的应用有 • 矫正透镜畸变内参标定 • 建立相机成像几何模型实现三维重构 相机标定的意义 • 相机标定是非常关键的环节标定结果的精度直接影响相机工作产生结果的准确性 • 做好相机标定是做好后续工作的前提 下面讲解三种相机标定的常见方法
• 直接线性变换 (Direct Linear Transform, DLT)——同时估计内外参
• 张正友标定法 (Zhang’s Method)——估计内参
• Perspective-n-Point (PnP)——估计外参
1.3 直接线性变换DLT 1.3.1 基本设定
• 已知部分参考点在图像坐标系和世界坐标系下的坐标
• 求解相机的内参矩阵、外参与 1.3.2 世界坐标系到图像坐标系的映射 1.3.3 关于矩阵M自由度的解释 1.3.4 DLT算法的基本思路和流程 1.3.5 小结
• DLT方法通过计算未标定数据 (Uncalibrated Camera)的映射参数矩阵来计算相机内外参
• 需要已知至少6个观测点的世界坐标和图像坐标
• 当已知观测点近似落在同一平面时DLT求解不稳定
1.4 张正友标定法 【参考文献】 Zhang, A flexible new technique for camera calibration, IEEE TPAMI, 2000 1.4.1 标定工具标定板
相机标定往往需要观测点在世界坐标系中的坐标但是世界坐标不易测量
因此引入二维标定板 • 由规则的黑白棋盘格构成尺寸已知 • 网格点可以被角点检测算法自动、准确检测出 • 在标定板上建立世界坐标系标定板位于Z0平面网格点作为观测点 二维标定板的优势如下
观测点世界坐标易得 Z0降低了求解复杂度
1.4.2 从世界坐标系到图像坐标系的映射 • 用于描述两个平面之间的映射关系
• 共有3 × 3 9个元素但由于齐次性自由度为8 1.4.3 求解内参矩阵 1.4.4 张氏标定法基本思路和流程
在标定板上建立世界坐标系并以不同的位姿对其拍摄3张以上图像(可以晃动标定板或改变相机姿态) 利用角点检测算法对每张图中标定板上的网格点进行检测每张图选取4个以上网格点作为标定点并读取标定点的图像坐标和世界坐标 利用3张图像的观测点列出3个方程组通过SVD分解计算3个单映矩阵 利用三个单映矩阵 列出6个关于矩阵 的方程并利用SVD分解求出 由于 −⊺− ,对求出的 进行cholesky 矩阵分解 ⊺→ −⊺ 1.5 PnP
1.5.1 基本设定
• 已知至少3个参考点在图像坐标系和世界坐标系下的坐标相机的内参矩阵
• 求解外参与即估计相机在世界坐标系下的位置 1.5.2 基本思路 二、对极几何
2.1 对极几何(Epipolar Geometry)简介
• 以上三种相机标定方法均需图像中观测点的世界坐标
• 相比于世界坐标观测点的图像坐标更容易获取
• 给定同一场景的两张图像能否仅根据对应点的图像坐标估计相机的相对姿态
• 利用对极几何约束 2.2 对极几何的基本设定 • , 是同一场景拍摄的两张图像, 是拍摄时的相机中心 • 相机的相对运动/姿态为 , • 换言之以相机的相机坐标系为世界坐标系相机的外参是, • 空间中的点在两图中投影为, • 平面 称为极平面 (Epipolar Plane), 称为基线(Baseline)基线与 , 的交点 , 称为极点 (Epipole)极平面与两张图像的交线 (, ) 称为极线 (Epipolar Line) 2.3 极线的物理意义
在仅已知投影点坐标的情况下无法获得3D点的具体未知只能推断出点在投影射线上 直线在图像上的投影就是极线 所以空间中投影在图像上位置上的点在图像上对应点位于直线上 换言之图像上的一个点与图像上的一条直线对应
2.4 极线的解析式 【对极约束】 2.5 相机相对位姿估计与对极约束
给定两张图8个以上对应点可以通过8点法求解线性齐次系统求出基础矩阵然后如果相机已经进行标定即 已知可以求出本质矩阵并进一步求出两个相机的相对位姿 由于本质矩阵的齐次性无法只通过对应点估计出相对位姿的绝对尺度 如果已知两个相机的相对位姿可以求出基础矩阵进而获得极线的位置。点在图像上的对应点搜索空间可以从整幅图像缩小到极线上
总结 本节我们学习了相机标定和对极几何的基本概念。重点需要掌握直接线性变换和张正友标定法的基本流程知道这两种方法需要几个观测点和几张图像能完成标定。还需要知道对极几何中极平面、基线、极点和极线的基本概念并在图中对应。最后需要掌握极线解析式的推导过程知道两个约束关系以及其代表的物理含义知道相机的相对位姿估计。
