宁波快速建站公司,icp网站备案系统,网站聊天系统怎么做,网站做流量的论坛贴吧简介
github 利用预训练的2D文本到图像模型来合成来自不同姿势的一系列图像。为了将这些输出提升为一致的3D场景表示#xff0c;将单目深度估计与文本条件下的绘画模型结合起来#xff0c;提出了一个连续的对齐策略#xff0c;迭代地融合场景帧与现有的几何形状#xff0…简介
github 利用预训练的2D文本到图像模型来合成来自不同姿势的一系列图像。为了将这些输出提升为一致的3D场景表示将单目深度估计与文本条件下的绘画模型结合起来提出了一个连续的对齐策略迭代地融合场景帧与现有的几何形状以创建一个无缝网格
实现流程 Iterative 3D Scene Generation
随着时间的推移而生成场景表示网格 M ( V , C , S ) M(V,C,S) M(V,C,S)V——顶点C——顶点颜色S——面集合输入的文本prompts { P t } t 1 T \{P_t\}^T_{t1} {Pt}t1T相机位姿 { E t } t 1 T \{ E_t \}^T_{t1} {Et}t1T遵循渲染-精炼-重复模式对于第 t 代的每一步首先从一个新的视点渲染当前场景 r 是没有阴影的经典栅格化函数 I t I_t It\是渲染的图像 d t d_t dt 是渲染的深度 M t M_t Mt 图像空间掩码标记没有观察到内容的像素
使用文本到图像模型 在深度对齐中应用单目深度估计器 F d F_d Fd b来绘制未观察到的深度 利用融合方案将新内容 { I ^ t , d ^ t , m t } \{ \hat{I}_t,\hat{d}_t,m_t \} {I^t,d^t,mt} 与现有网格结合起来
Depth Alignment Step
要正确地结合新旧内容就必须使新旧内容保持一致。换句话说场景中类似的区域如墙壁或家具应该放置在相似的深度
直接使用预测深度进行反向投影会导致3D几何结构中的硬切割和不连续因为后续视点之间的深度尺度不一致
应用两阶段的深度对齐方法使用预训练的深度网络Irondepth: Iterative refinement of single-view depth using surface normal and its uncertainty将图像中已知部分的真实深度d作为输入并将预测结果与之对齐 d ^ p F d ( I , d ) \hat{d}_pF_d(I,d) d^pFd(I,d)
(Infinite nature: Perpetual view generation of natural scenes from a single image) 优化尺度和位移参数,在最小二乘意义上对齐预测和呈现的差异来改进结果 通过 m 屏蔽掉未观察到的像素提取对齐深度 d ^ ( y d ^ p β ) − 1 \hat{d}(\frac{y}{\hat{d}_p}\beta)^{-1} d^(d^pyβ)−1在蒙版边缘应用5 × 5高斯核来平滑 d ^ \hat{d} d^
Mesh Fusion Step
在每一次迭代中插入新的内容 { I ^ t , d ^ t , m t } \{ \hat{I}_t,\hat{d}_t,m_t \} {I^t,d^t,mt} 到场景中将图像空间像素反向投影到世界空间点云中 K ∈ R 3 x 3 K \in R^{3 x 3} K∈R3x3 是相机位姿参数WH是图像宽高。使用简单的三角测量将图像中的每四个相邻像素{(u, v) (u1, v) (u, v1) (u1, v1)}形成两个三角形。
估计的深度是有噪声的这种简单的三角测量会产生拉伸的3D几何形状。
使用两个过滤器来去除拉伸的面
首先根据边长对面进行过滤。如果任意面边缘的欧几里得距离大于阈值 δ 边缘则删除该面。其次根据表面法线与观看方向之间的夹角对面进行过滤 S 是面集合 i 0 , i 1 , i 2 i_0,i_1,i_2 i0,i1,i2 为三角形的顶点指数, δ s n \delta_{sn} δsn为阈值 m ∈ R 3 m \in R^3 m∈R3 是归一化法线 v ∈ R 3 v \in R^3 v∈R3 为世界空间中从相机中心到三角形起始平均像素位置的归一化视角方向这是避免了从图像中相对较少的像素为网格的大区域创建纹理
最后将新生成的网格补丁和现有的几何形状融合在一起所有从像素中反向投影到绘制蒙版 m t m_t mt 中的面都与相邻的面缝合在一起这些面已经是网格的一部分,在 m t m_t mt 的所有边缘上继续三角剖分方案但使用 m t m_t mt 的现有顶点位置来创建相应的面
Two-Stage Viewpoint Selection
一种两阶段的视点选择策略该策略从最优位置采样每个下一个摄像机姿态并随后细化空区域
Generation Stage 如果每个轨迹都从一个具有大多数未观察区域的视点开始那么生成效果最好。这会生成下一个块的轮廓同时仍然连接到场景的其余部分
将摄像机位置 T 0 ∈ R 3 T_0∈R^3 T0∈R3 沿注视方向 L ∈ R 3 L∈R^3 L∈R3 进行均匀的平移: T i 1 T i − 0.3 L T_{i1}T_i−0.3L Ti1Ti−0.3L如果平均渲染深度大于0.1就停止或者在10步后丢弃相机这避免了视图过于接近现有的几何形状
创建封闭的房间布局通过选择以圆周运动生成下一个块的轨迹大致以原点为中心。发现通过相应地设计文本提示可以阻止文本到图像生成器在不需要的区域生成家具。例如对于看着地板或天花板的姿势我们分别选择只包含单词“地板”或“天花板”的文本提示
Completion Stage 由于场景是实时生成的所以网格中包含了没有被任何相机观察到的孔通过采样额外的姿势后验完成场景
将场景体素化为密集的均匀单元在每个单元中随机取样丢弃那些与现有几何太接近的为每个单元格选择一个姿态以查看大多数未观察到的像素根据所有选择的相机姿势绘制场景
清理绘制蒙版很重要因为文本到图像生成器可以为大的连接区域生成更好的结果
首先使用经典的绘制算法绘制小的孔并扩大剩余的孔移除所有落在扩展区域并且接近渲染深度的面对场景网格进行泊松曲面重建。这将在完井后关闭任何剩余的井眼并平滑不连续性。结果是生成的场景的水密网格可以用经典的栅格化渲染
Result Limitations
方法允许从任意文本提示生成3D房间几何形状这些文本提示非常详细并且包含一致的几何形状。然而方法在某些条件下仍然可能失败。首先阈值方案可能无法检测到所有拉伸的区域这可能导致剩余的扭曲。此外一些孔在第二阶段后可能仍未完全完井这导致在应用泊松重建后出现过平滑区域。场景表示不分解光线中的材料光线会在阴影或明亮的灯中烘烤这是由扩散模型产生的。
