基于图象的三维重建-分层重建方法.ppt

基于图象的三维重建 -分层重建方法,中国科学院自动化研究所 模式识别国家重点实验室,1、什么是分层重建？ 2、分层重建的主要步骤和任务 3、如何进行分层重建,主要内容,什么是基于图象的三维重建 ？,I1,I2,I3,X,P1,P2,P3,PM,IM,重建问题可行吗？,仅仅 已知图象,重建算法,能得到什么？,分 层 重 建,三种空间之间的相互关系,射影变换,仿射变换,刚体变换,射影变换,仿射变换,刚体变换,交比不变，共线、共面性不变,平行线变为平行线，不能保持垂直关系，单比不变,平行线变为平行线，垂线变为垂线，线段的长度不变,不同空间下的若干性质,交比(cross ratio)和单比,A,B,D,C,Hartley 的重要发现,U,X,XE,欧氏空间,?,基于图象的重建结果与欧氏空间已知点的关系,存在且仅存在一个A矩阵，使得下列关系成立,PiE = Pi A XE = A-1 X,欧几里得空间下射影矩阵的形式,不同空间下重建的定义,如果,则,当A为射影变换矩阵时，称此时的重建为射影重建 当A为仿射变换矩阵时，称此时的重建为仿射重建 当A为刚体变换矩阵时，称此时的重建为欧氏重建,PE,XE,X, P,U,PE，XE 欧氏空间,欧氏变换 欧氏重建,射影变换 射影重建,仿射变换 仿射重建,对应点自动建立,对应点自动建立,对应点自动建立,对应点自动建立,原 始 图 像,对 应 点 匹 配,从三个不同角度显示射影重建的结果,从三个不同角度显示欧氏重建的结果,贴 纹 理 显 示,射影重建,给定 M 幅图象，N个对应点:,求M个投影矩阵,和N个空间点,使得下列关系式成立,射影空间投影矩阵的具体形式,仿射空间投影矩阵的具体形式,仿射空间投影矩阵与射影空间投影矩阵之间的关系,根据Hartley的理论，,从,注意：A 对所有 的 Pi 都一样,仿射重建,在射影重建的基础上如何确定A矩阵,欧几里得空间下射影矩阵的形式,欧氏空间投影矩阵与仿射空间投影矩阵之间的关系,分层重建小结,射影 重建,仿射 重建,欧氏 重建,K,重建算法,射影重建 基于二幅图象的方法 基于因式分解的方法 （ Factorization),仿射重建 基于模约束的方法 ( Modular Constraint ) 基于摄像机平移运动的方法,欧氏重建 线性方法,射影重建,基于二幅图象的重建方法,1、计算第一、第二幅图象之间的基础矩阵 F， 第二幅图象的外极点 e； 2、可以证明，,3、利用P1，P2，计算空间点 X的坐标,4、利用已得到的 X 求其它 Pi.,I1,I2,X,F，e,P1,P2,P1,P2,其它Pi,基于二幅图象的重建方法,基于因式分解的射影重建方法,由于,?,基于因式分解的射影重建方法（续）,关键问题是求合适的 ， 使得W矩阵的秩为 4,目前文献中有二种方法计算合适的,1、Sturm and Triggs 方法 （ECCV96，建立 之间的连接关系（使用图象间的 F 矩阵和 外极点e) 2、Ueshiba and Tomita方法（ECCV98），利用SVD分解，极小化从第5个以后的奇异值。,1、,2、,仿射重建 （模约束方法）,仿射重建 （摄像机平移运动方法）,平移运动,然后利用射影重建方法进行重建，所得结果为仿射空间下的重建,欧氏空间的重建 （Metric Reconstruction),