外贸网站建设公司服务,做淘客网站用备案吗,网站备案icp过期,网站拥有者查询13 Scene planes and homographies
本章主要讲述两个摄像机和一个世界平面之间的射影几何关系。
我们假设空间有一平面 π \pi π#xff0c;平面上的一点为 x π x_{\pi} xπ。 x π x_{\pi} xπ分别在两幅图像 P , P ′ P, P P,P′上形成了 x , x ′ x, x x,x′。
那…13 Scene planes and homographies
本章主要讲述两个摄像机和一个世界平面之间的射影几何关系。
我们假设空间有一平面 π \pi π平面上的一点为 x π x_{\pi} xπ。 x π x_{\pi} xπ分别在两幅图像 P , P ′ P, P P,P′上形成了 x , x ′ x, x x,x′。
那么我们可以从两个方面来讨论首先从对极几何的角度来说 x x x在 P ′ P P′上决定了一条直线也就是极线。极线是由 x x x出发的射线在 P ′ P P′上投影形成的。第二从homography角度来说 x x x可以在 P ′ P P′上唯一确定一个点因为从 x x x出发的射线和空间平面 π \pi π的交点可以求出来也就是 x π x_{\pi} xπ知道了 x π x_{\pi} xπ自然可以唯一确定 x ′ x x′。 文章目录 13 Scene planes and homographies13.1 Homographies given the plane and vice versa13.1.1 Homographies compatible with epipolar geometry 13.2 Plane induced homographies given F F F and image correspondences13.2.1 Three points13.2.2 A point and line 13.3 Computing F F F given the homography induced by a plane13.4 The infinite homography H ∞ H_{\infin} H∞ 13.1 Homographies given the plane and vice versa
现在我们来讨论一下单应性与平面之间的关系。空间内任意的一个平面可以唯一确定单应性反之亦然。需要注意的是空间内的平面不可以包括摄像机的光心如果包括了光心单应性就变成了退化的情况。
我们首先给出一个结论
假设两个摄像机的投影矩阵分别是 P [ I ∣ 0 ] , P ′ [ A ∣ a ] P[I|0],P[A|a] P[I∣0],P′[A∣a]空间内的平面表示为 π T X 0 , π ( V T , 1 ) \pi^T X 0, \pi(V^T, 1) πTX0,π(VT,1)由该平面确定的单应性就是 x ′ H x xHx x′Hx并且 H A − a v T H A-av^T HA−avT。
13.1.1 Homographies compatible with epipolar geometry
单应性与对极几何的关系。假设我们从空间平面上随机选择4个点把他们投影到两幅图像就会形成4对对应点。这4对对应点就确定了一个单应性矩阵 H H H。而且这4对对应点是满足对极几何约束的i.e. x ′ T F x 0 x^T F x 0 x′TFx0。这种情况叫对极几何与单应性是相容consistent or compatible的。
假设我们从第一幅图像中随机选择四个点第二幅图像也随机选四个点可以利用它们计算出一个单应性矩阵不一定能满足对极几何的约束这种情况叫对极几何与单应性不相容。
现在我们考虑相容的情况。那么对应点之间可以表示为 x ↔ H x x \leftrightarrow Hx x↔Hx带入对极几何的关系式我们就得到 ( H x ) T F x x T H T F x 0 (Hx)^T F x x^T H^T Fx 0 (Hx)TFxxTHTFx0。
根据此式我们可以得出一个结论
单应性矩阵 H H H与基本矩阵 F F F相容当且仅当 H T F H^T F HTF是一个斜对称矩阵skew-symmetric我们将其表达为 H T F F T H 0 H^T F F^T H 0 HTFFTH0 H H H的自由度是8-53。 由于以上关系是一个隐性的约束我们接下来给出一个显式表达式。
结论 13.3
给出由两幅图像确定的基本矩阵 F F F其对应的单应性矩阵 H H H可以表示为 H A − e ′ V T HA-eV^T HA−e′VT F [ e ′ ] × A F[e]_\times A F[e′]×A。
引理 13.4
一个变换 H H H是两幅图像的单应矩阵当且仅当这两幅图像确定的 F F F可以分解成 [ e ′ ] × H [e]_\times H [e′]×H e ′ e e′是第二幅图像的极点。
根据以上介绍我们知道单应性矩阵 H H H是由空间内某一平面 π \pi π确定的那么在已知 H H H的情况下我们如何求出平面 π \pi π求解方程组 λ H A − a v T \lambda HA-av^T λHA−avT就行。
13.2 Plane induced homographies given F F F and image correspondences
从基本矩阵和图像对应点来计算单应性矩阵。在前文我们是利用空间中的平面来计算单应性矩阵在本节中我们直接从两幅图像中的对应元素来计算单应性矩阵。这是因为三维空间的平面可以用三个不共线的点来计算或者用一条直线和一个点。这些元素都可以直接从两幅图中的对应元素推导出来。对应元素应该满足一些性质
对应元素要满足对极几何的约束三维空间中的元素会出现退化的情况这是因为元素之间共面或者共线
我们首先讨论从三个对应点来计算单应性矩阵的情况。
13.2.1 Three points
假设我们知道空间中的三个点 X i X_i Xi在两幅图像上形成的投影并且我们已知基本矩阵 F F F我们可以这样计算单应矩阵 H H H
首先空间点 X i X_i Xi的坐标可以计算出来12章的三角化知道了三个点的位置那么它们所在的平面就可以被计算出来3.3-P66已知平面就可以根据13.1节的方法来计算 H H H这种方法叫显式法。
其次我们也可以用四个点来计算 H H H第四个点就是极点。所以我们可以有这样的方程组 x ′ H x , e ′ H e xHx, eHe x′Hx,e′He这种方法叫隐式法。
那么这两种方法有啥区别我们应该用哪一种答案是我们应该用显示法因为隐式法包含了退化的情况。为什么呢因为如果有两个点和极点共线那么 H H H就算不出来了参见4.1.3 P91。同时如果点和极点几乎共线那么隐式法会给出一个非常差的结果但是显式法没有这个问题它可以处理点和极点共线的情况。
我们下面来形式化的表示一下。
结论13.6 给定一个基本矩阵 F F F和三对对应点 x i ↔ x i ′ x_i \leftrightarrow x_i xi↔xi′由这三对点所在平面构成的 H H H可以表达为 H A − e ′ ( M − 1 b ) T HA-e(M^{-1}b)^T HA−e′(M−1b)T。 A [ e ′ ] × F A[e]_\times F A[e′]×F b b b是一个三维向量每一维可以表达成 b i ( x i ′ × ( A x i ) ) T ( x i ′ × e ′ ) / ∣ ∣ x i ′ × e ′ ∣ ∣ 2 b_i (x_i \times (Ax_i))^T (x_i \times e)/||x_i \times e||^2 bi(xi′×(Axi))T(xi′×e′)/∣∣xi′×e′∣∣2 M M M是 3 × 3 3 \times 3 3×3的矩阵, 每一行是 x i T x_i^T xiT。
一致性条件 每一对对应点都会对 H H H增加一个约束该约束可以表达为 e ′ × x i ′ e ′ × A x i F x i e \times x_i e \times Ax_i Fx_i e′×xi′e′×AxiFxi这个等式左边 e ′ × x i ′ e \times x_i e′×xi′的几何意义是通过 x i ′ x_i xi′的极线右边 F x i F x_i Fxi就是 x i x_i xi在第二幅图像中的极线。所以整个式子的意思就是 x i ′ x_i xi′在 x i x_i xi对应的极线上。
存在噪声的情况 一般情况下图像中都包含噪声那么我们就用迭代的方法来优化 x , x ′ x,x x,x′的位置12.1节P318然后用12.6节的极大似然估计来求3D空间点的坐标和 H H H。
13.2.2 A point and line
点和线来估计 H H H。本节先将线对应关系再讲点对应关系。
线对应 两幅图像中的对应线确定了三维空间中的一条对应线。三维空间中的线位于一族平面上不是一个平面。这一族平面对应于一族 H H H。
结论 13.7 由一对对应直线 l ↔ l ′ l \leftrightarrow l l↔l′ 确定的一族平面对应了一族单应性矩阵 H H H它可以表达为 H ( μ ) [ l ′ ] × F μ e ′ l T H(\mu) [l]_{\times} F \mu el^T H(μ)[l′]×Fμe′lT
从这个式子我们可以看出 H H H只取决于 μ \mu μ这一个参数。我们回忆一下13.1节 H H H同样有一个表达式该表达式是在已知两个摄像机矩阵 P K [ I ∣ 0 ] , P ′ K ′ [ R ∣ t ] PK[I|0],PK[R|t] PK[I∣0],P′K′[R∣t] 和空间平面 π ( n T , d ) T \pi(n^T,d)^T π(nT,d)T的情况下给出的。 H K ′ ( R − t n T / d ) K − 1 HK(R-tn^T/d)K^{-1} HK′(R−tnT/d)K−1
这个式子由三个参数决定因为 n T n^T nT是一个三维向量。对比上文的两个式子我们可以看出由直线确定的 H H H只需要一个参数由平面确定的 H H H需要三个参数也就是说直线将参数的维度从3压缩到了1。
线和点的对应 从上文我们知道线对应关系可以确定 H ( μ ) H(\mu) H(μ)那么怎么确定 μ \mu μ的取值呢我们用点对应 x ↔ x ′ x \leftrightarrow x x↔x′ 来确定。
结论13.8 已知 F F F和一对对应点 x ↔ x ′ x \leftrightarrow x x↔x′一对对应线 l ↔ l ′ l \leftrightarrow l l↔l′ H H H可以表达为如下式子 H [ l ′ ] × F ( x ′ × e ′ ) T ( x ′ × ( ( F x ) × l ′ ) ) ∣ ∣ x ′ × e ′ ∣ ∣ 2 ( l T x ) e ′ l T H[l]_{\times} F \frac{(x \times e)^T(x \times ((Fx) \times l))} {||x \times e||^2 (l^Tx)} el^T H[l′]×F∣∣x′×e′∣∣2(lTx)(x′×e′)T(x′×((Fx)×l′))e′lT
应用这个公式的前提是 x , x ′ x, x x,x′得满足对极几何约束那么在有噪声的情况下我们首先就得用算法12.1P318先优化一下。 H ( μ ) H(\mu) H(μ)的几何解释 H ( μ ) H(\mu) H(μ)首先满足 x H ( μ ) x ′ xH(\mu)x xH(μ)x′。我们将 H ( μ ) H(\mu) H(μ)的表达式带入可以得到 x ′ H ( μ ) x ( [ l ′ ] × F μ e ′ l T ) x [ l ′ ] × F x xH(\mu)x ([l]_{\times} F \mu el^T)x [l]_{\times}Fx x′H(μ)x([l′]×Fμe′lT)x[l′]×Fx
最后得到的结果跟 μ \mu μ没关系只和 F F F有关系。所以我们说对极几何为 l ↔ l ′ l \leftrightarrow l l↔l′上的每一点都确定了对应关系。这个结论很显然。因为 F F F本来就是描述两幅图像上点对应关系的只不过现在的点都在 l , l ′ l, l l,l′上了。
退化的单应矩阵 如果说三维空间中的平面包括了摄像机的光心那么 H H H就属于退化的情况。在退化情况下 H H H就不是满秩矩阵如果 r a n k ( H ) 2 rank(H)2 rank(H)2 H H H投影结果就是一条直线。 r a n k ( H ) 1 rank(H) 1 rank(H)1 H H H投影结果就是一个点。如果我们从 H ( μ ) H(\mu) H(μ)的情况考虑那么退化就可以表达成 μ → inf \mu \rightarrow \inf μ→inf或者 μ → 0 \mu \rightarrow 0 μ→0。
13.3 Computing F F F given the homography induced by a plane
我们讨论如何在已知 H H H的情况下求解 F F F。前几章我们讲述的是已知 F F F怎么求解 H H H。现在我们反过来求已知 H H H的情况下如何求解 F F F。
主要思路就是构造一个平面 π \pi π X X X不在 π \pi π上。那么 x x x和 π \pi π有一个交点 x π x_{\pi} xπ该交点向 P ′ P P′投影得到 x ~ ′ \tilde{x} x~′。 x ~ ′ \tilde{x} x~′肯定和 x ′ x x′不一样除非 X X X在 π \pi π上。那么我们用 x ~ ′ , x ′ \tilde{x}, x x~′,x′做叉乘得到的线段肯定过极点 e ′ e e′再找另外一个 x ~ ′ \tilde{x} x~′重复一遍就得到第二条过极点 e ′ e e′的极线两个极线交点就是极点 e ′ e e′知道了 e ′ e e′就可以用 [ e ′ ] × H F [e]_{\times} H F [e′]×HF求出 F F F。
所以最简单的办法就是找出6对对应点其中有4对共面的。用这4对点来计算 H H H 求解方程组 x i ′ H x i x_iHx_i xi′Hxi然后用 x 5 , x 6 x_5,x_6 x5,x6求出两条直线 ( H x 5 ) × x 5 ′ (Hx_5) \times x_5 (Hx5)×x5′ ( H x 6 ) × x 6 ′ (Hx_6) \times x_6 (Hx6)×x6′两个直线做叉乘就是极点 e ′ e e′, 所以 F [ e ′ ] × H F[e]_{\times} H F[e′]×H。
投影点的深度 一个世界平面内的点 X ( x T , ρ ) T X(x^T,\rho)^T X(xT,ρ)T投影在第一幅图像上形成了 x x x第二幅图像上形成了 x ′ H x ρ e ′ xHx\rho e x′Hxρe′根据上一节的模型我们知道 x ′ , e ′ H x x, e Hx x′,e′Hx三点共线。 ρ \rho ρ可以被看做偏离 H H H相对程度的一个指标那么它就可以被认为是 X X X与平面 π \pi π之间的距离。 ρ 0 \rho0 ρ0表明 X X X在平面 π \pi π上 ρ \rho ρ的符号就可以表明 X X X位于平面的哪一边。
两个平面求F 假设我们知道两个平面 π 1 , π 2 \pi_1,\pi_2 π1,π2那么他们确定两个单应矩阵 H 1 , H 2 H_1,H_2 H1,H2。这两个单应矩阵足以确定 F F F其实他们是超定了。我们可以构造一个矩阵 H H 2 H 1 HH_2 H_1 HH2H1这是第一幅图像到自己的映射。那么极点 e e e在 H H H的映射下是不变的。那么 F [ e ′ ] × H i , i 1 , 2 , e ′ H i e F[e]_{\times} H_i, i1,2, eH_ie F[e′]×Hi,i1,2,e′Hie H H H的另外一个性质是有相同的两个特征值。因为 H 1 , H 2 H_1,H_2 H1,H2在空间中会相交然后形成一条直线。这个直线往第一幅图像中投影得到的投影直线在 H H H的映射下是不变的。所以这个 H H H有一条固定的直线还有一个固定点也就是极点 e e e。
13.4 The infinite homography H ∞ H_{\infin} H∞
无穷远处的单应矩阵。
定义 13.10 H ∞ H_{\infty} H∞ 是由无穷远处平面 π ∞ \pi_{\infty} π∞定义的单应矩阵。
我们回忆参数化的 H H H表达式 H K ′ ( R − t n T / d ) K − 1 HK(R-tn^T/d)K^{-1} HK′(R−tnT/d)K−1由三个参数确定那么 H ∞ lim d → ∞ H K ′ R K − 1 H_{\infty} \lim_{d \to \infty} H KRK^{-1} H∞d→∞limHK′RK−1
由上式可以看出 H ∞ H_{\infty} H∞ 并不依赖于图像之间的平移只和旋转、内参有关系。
如果我们考虑两幅图之间对应的点我们可以由下式 x ′ K ′ R K − 1 K ′ t / Z H ∞ x K ′ t / Z xKRK^{-1} Kt/Z H_{\infty} x Kt/Z x′K′RK−1K′t/ZH∞xK′t/Z Z Z Z就是点相对于第一幅图像的深度。从上式中我们可以看出无穷远处的点( z ∞ z\infty z∞)是由 H ∞ H_{\infty} H∞映射到图像上的。如果平移 t t t是零那么我们就可以得到 H ∞ H_{\infty} H∞这相当与摄像机绕自己光心进行旋转。所以如果摄像机绕自己光心进行旋转那么 H ∞ H_{\infty} H∞就是关于图像上任意深度点的一个单应矩阵。
如果我们考虑到 e ′ K ′ t eKt e′K′t那么 x ′ H ∞ x e ′ / z xH_{\infty}xe/z x′H∞xe′/z我们对比书中式13.9 x ′ H x ρ e ′ xHx\rho e x′Hxρe′可以看出来 1 / z 1/z 1/z就相当于 ρ \rho ρ所以说逆深度可以解释为点相对于无穷远平面 π ∞ \pi_{\infty} π∞的距离。
消失点和消失线 无穷远处平面上的点是由 H ∞ H_{\infty} H∞映射到图像上的这些点就是消失点。所以 H ∞ H_{\infty} H∞在两幅图像中的消失点 v ′ , v v, v v′,v之间建立了映射 v ′ H v vHv v′Hv所以 H ∞ H_{\infty} H∞可以由三个不共线的消失点计算也可以由对应的消失线计算13.2.2节。
仿射重建和度量重建 回忆chapter 10知道了无穷远平面 π ∞ \pi_{\infty} π∞可以把投影重建升级成度量重建。 H ∞ H_{\infty} H∞会出现在重建过程中因为我们如果指定 P [ I ∣ 0 ] , P ′ [ H ∞ ∣ λ e ′ ] P[I|0],P[H_{\infty}|\lambda e] P[I∣0],P′[H∞∣λe′]重建过程就是仿射重建。
假设我们规定 π ∞ \pi_{\infty} π∞的坐标是 ( 0 , 0 , 0 , 1 ) (0,0,0,1) (0,0,0,1) H ∞ H_{\infty} H∞可以直接从摄像机矩阵中来决定。我们假设 P [ M ∣ 0 ] , P ′ [ M ′ ∣ t ] P[M|0], P[M|t] P[M∣0],P′[M′∣t]那么无穷远平面上的一点 X ( x ∞ T , 0 ) T X(x^T_{\infty},0)^T X(x∞T,0)T就会被映射到 x P X M x ∞ , x ′ P ′ X M ′ x ∞ xPXMx_{\infty}, xPXMx_{\infty} xPXMx∞,x′P′XM′x∞所以 x ′ M ′ M − 1 xMM^{-1} x′M′M−1, 那么 H i n f t y M ′ M − 1 H_{infty} MM^{-1} HinftyM′M−1。 H ∞ H_{\infty} H∞还可以被用来进行两个相机之间的标定。假设 π ∞ \pi_{\infty} π∞上的绝对圆 Ω ∞ \Omega_{\infty} Ω∞映射在两个图像上分别表示为 ω , ω ′ \omega, \omega ω,ω′他们之间存在如下关系 ω ′ H ∞ − T ω H ∞ − 1 \omegaH_{\infty}^{-T} \omega H_{\infty}^{-1} ω′H∞−TωH∞−1那么我们如果知道 ω \omega ω就可以计算 ω ′ \omega ω′然后分解它就知道了第二个相机的内参。
立体匹配 H ∞ H_{\infty} H∞还可以用来缩小立体匹配时极线搜索的范围。因为 x x x和无穷远平面由一个交点记为 X ∞ X_{\infty} X∞它往图像二上投影得到 x ∞ ′ x_{\infty} x∞′那么与 x x x匹配的 x ′ x x′肯定位于 e ′ e e′与 x ∞ ′ x_{\infty} x∞′ 之间所以我们不用搜索整个极线。
