数学建模论文-相机定位.docx
数码相机定位摘要本文是双目定位的具体模型和方法进行了研究，分别给出了针孔线性模型、椭圆线性回归模型、RAC模型等并对其进行研究。对于问题一，在针孔线性模型的基础上，通过对数码相机内外部参数的标定，确定靶标到靶标像的坐标转化关系，建立其坐标转换模型。对于问题二，利用图像处理所得的像素模拟图表确定20组特征点的坐标在世界坐标系和图像坐标系的坐标，代入上述转换关系来确定系数矩阵M，进而求得圆心在像平面的像坐标，然后利用畸变校正模型对结果进行校正。结果为左上圆（119.0938，69.6890）、中间圆(155.7689,72.4757)右上圆(234.6404,78.4603)、左下圆(105.4604,185.3796)右下圆(214.5271,184.9706)。对于问题三，建立椭圆线性回归模型对靶标的像进行拟合，得到的图像中心坐标即为圆心在像平面的像坐标。结果分析还表明该方法的精度和稳定性都比较好。结果如下：左上圆（120.0039，69.2536）、中间圆(155.1462,73.0654)右上圆(236.2001,77.8279)、左下圆(103.4572,182.3599)右下圆(216.8469,179.6788)。模型三与模型一的结果相差最大为2.945%。很好地验证了模型一的结果的准确性对于问题四，利用RAC模型，确定出单个相机的外部参数，得出其旋转矩阵和平移向量，即完成单个相机的定标，然后利用其几何转化由相机各自的旋转矩阵和平移向量求解出两个相机的相对位置。 关键词：针孔线性模型 像素模拟图表 畸变校正 曲线拟合 RAC模型 一问题的重述与分析已知：一靶标和用一位置固定的数码相机摄的它的像，如题目中图3所示。其中靶标如下，取1个边长为100mm的正方形，分别以四个顶点（对应为A、C、D、E）为圆心，12mm为半径作圆。以AC边上距离A点30mm处的B为圆心，12mm为半径作圆，如题目中图1.1所示。 图1.1求解：（1） 建立数学模型和算法以确定靶标上圆的圆心在该相机像平面的像坐标, 这里坐标系原点取在该相机的光学中心，x-y平面平行于像平面；（2） 对由图2、图3分别给出的靶标及其像，计算靶标上圆的圆心在像平面上的像坐标, 该相机的像距（即焦点到像平面的距离）是1577个像素单位(1毫米约为3.78个像素单位)，相机分辨率为1024×768；（3） 设计一种方法检验你们的模型，并对方法的精度和稳定性进行讨论；（4） 建立用此靶标给出两部固定相机相对位置的数学模型和方法。 问题分析：空间物体表面某点的3维几何位置与其在图像中对应点之间的相互关系,是由摄像机成像的几何模型决定的。这些几何模型参数就是摄像机参数。在计算机视觉应用中,比如从计算机图像坐标中导出3维信息( 2D3D)和由已知3维信息导出2维计算机图像坐标( 3D2D)等,摄像机参数起着重要作用。问题一：本题中属于已知3维信息导出2维计算机图像坐标( 3D2D)的情形。一般来说，当应用场合所要求的精度很高且摄像机的参数不经常变化时，传统标定方法为首选。传统的摄像机标定是在一定的摄像机模型下，基于特定的实验条件，如形状、尺寸已知的标定物，经过对其进行图像处理，利用一系列数学变换和计算方法，求取摄像机模型的内部参数和外部参数（分为最优化算法的标定方法、利用摄像机透视变换矩阵的标定方法、进一步考虑畸变补偿的两步法和采用更为合理的摄像机模型的双平面标定法）。我们采用摄像机的线性模型，是指经典的小孔模型。首先通过直接线性定标(DLT)，以最基本的针孔成像模型为研究对象，忽略具体的中间成像过程，用一个3×4 阶矩阵建立起空间物点与二维像点的直接对应关系。然后，选取特征点的坐标，利用特征点的坐标的对应关系，求解出摄像机内外参数，进而求出靶标上圆的圆心在该相机像平面的像坐标。 之后，对求取的误差较大的坐标建立畸变补偿模型，进行误差修正。问题二：利用第一问的模型，对由图2、图3分别给出的靶标及其像，带入已知量，计算靶标上圆的圆心在像平面上的像坐标,问题三：对靶标的像，通过二值化和边界拟合,得知圆或椭圆的方程,进而获取圆或椭圆的几何中心，和问题二的求解结果做对比，来验证模型一的准确性，并对方法的精度和稳定性进行讨论。 问题四：求解双相机的外部参数，确定两相机的相对位置。二模型假设假设 ：（1）针孔模型物体表面的反射光都经过一个针孔而投影到像平面上，即满足光的直线传播条件，畸变在误差允许范围之内。（2）图目中给出的图像数据均准确。 三符号说明符号表示的意义（ ）任意物点P在世界坐标系中的坐标（x,y,z）P点在相机的坐标系中坐标（x,y）P点在图像物理坐标系中坐标()P点在图像像素坐标系中的坐标（）光轴与图像平面的交点在图像像素坐标系中的坐标（，）实际的图像点的坐标 四模型的建立与数据处理 4.1问题一的处理。模型一：针孔线性模型1。1. 坐标系建立 图4.11在假设基础上建立三个坐标系：三维空间坐标系（也称世界坐标系）、相机平面坐标系以及像平面坐标系。（1）世界坐标系（）以靶标中心为原点o，以靶标平面为xw-yw平面，单位为毫米。（2）摄像机坐标系(xoy)：由针孔假设可知物点和光学中心的连线与像平面的交点即为像点。以小孔摄像机模型的聚焦中心为原点，以摄像机光轴为zc 轴建立的三维直角坐标系。x，y 一般与图像物理坐标系的xf,yf 平行，且采取前投影模型。（3）图像坐标系，分为图像像素坐标系和图像物理坐标系两种。图像物理坐标系，其原点为透镜光轴与成像平面的交点，X 与Y 轴分别平行于摄像机坐标系的x 与y 轴，是平面直角坐标系，单位为毫米。图像像素坐标系计算机图像（帧存）坐标系，固定在图像上的以像素为单位的平面直角坐标系，其原点位于图像左上角, xf,yf 平行于图像物理坐标系的X 和Y轴。对于数字图像，分别为行列方向。2.坐标系变换关系定义了上述各种空间坐标系后，就可以建立两两不同坐标变换之间的关系。（1） 世界坐标系与摄像机坐标系变换关系由以上假设及物理成像规律可知，世界坐标系中的点到摄像机坐标系的变换可由一个正交变换矩阵R 和一个平移变换矩阵T 表示为： (1)齐次坐标可表示为： （2）其中，T=是世界坐标系原点在摄像机坐标系中的坐标，矩阵R 是正交旋转矩阵,其矩阵元素满足下列条件：所以正交矩阵实际上只含有三个独立变量，再加上T共有六个参数决定了数码相机光轴在空间坐标系中的位置，这六个参数成为数码相机的外部参数。（2） 图像坐标系与摄像机坐标系变换关系如图1 所示，摄像机坐标系中的任意一物点P 在图像物理坐标系中像点Pu 坐标为 （3）齐次坐标表是为 （4） 将上式的图像坐标系进一步转化为图像坐标系 （5） 齐次坐标表示为： （6） 其中，是图像中心（光轴与图像平面的交点）坐标， 分别为一个像素在X 与Y 方向上的物理尺寸，其中=d =13.78。，分别为X 与Y 方向上的采样频率，即单位长度的像素个数。由此可得物点P 与图像像素坐标系中像点P 的变换关系。 （7） 四个参数 只与摄像机内部结构有关，因此称为摄像机内部参数。（3）世界坐标系与图像坐标系变换关系（共线方程）世界坐标系与图像坐标系变换关系： （8）齐次坐标表示为： （9） 上式就是摄影测量学中最基本的共线方程。说明物点、光心和像点这三点必须在同一条直线上。这是针孔模型或者中心投影的数学表达式。根据共线方程，在摄像机内部参数确定的条件下，利用若干个已知的物点和相应的像点坐标，就可以求解出摄像机的六个外部参数，即摄像机的光心坐标和光轴方位的信息。（9）式也可写成 （10）方程（10）描述了三维世界坐标点（，1）与相应图像点(u,v,1) 之间的关系。也可写成 （11） 如果已知三维世界坐标和相应的图像坐标，将变换矩阵看作未知数，则共有12 个未知数。又因为世界坐标系的X-Y平面与物体所在平面坐标系重合，即=0，所以它的系数对结果不影响可设为0，因此只有八个参数。 （12）对于每一个物体点，都有如上的两个方程，因此可以取n个物体点用matlab对系数进行拟合取得最佳值。然后把求得的系数及圆心坐标（）带入（12）式，即求得圆心在像平面的像坐标。 4.2问题二的处理在第一问模型基础上根据题靶标和靶标的像，求算靶标上圆的圆心在像平面上的像坐标，可分三步进行。第一，读取靶标的像图，确定边界点的位置。 用matlab中的imread图像处理工具读取像图，得到像图中每个像素点亮度值的矩阵。对上述矩阵进行二值化处理，将数据导出至excel中，然后调整最合适的行宽和列高并对中间图像部分进行涂色得到像素模拟图表（见附件附表一）。该像素模拟图表的优点在于，它可以利用excel的表格对图像的像素进行模拟，直观展现出每个像素点位置及亮度情况。第二，利用靶标、像素模拟图中边界点的坐标对应关系，对（11）式系数进行拟合，然后求出圆心的坐标。根据物理成像原理可知原图中的边界点在像图中仍为边界点。选取五个圆的上下左右四个边界点共20个点作为特征点如下： 图4.2.1 选取点散点图（x-y）单位：毫米 图4.2.2 对应像点散点图（u-v），单位：像素表一：具体坐标数据表点xyuv点xyuv1-506212055115038233922-625010470126250248763-50381198413-50-321061714-38501346914-62-50911855-20621575815-50-621041966-32501427316-38-501191827-2038155861750-322161738-850170711838-5020218695062237651950-62212196103850222802062-50226182将以上数据代入模型一的（12）式对m11、m12、m14、m21、m22、m24、m31、m32、m34这八个系数进行线性拟合，由于参数矩阵乘以任意不为零的常数对结果没有影响，故制定m34=1。计算结果如下：M=带回到式（12）求得圆心坐标，结果如下：表二： x y u v-5050102.431359.96474-2050140.556365.441585050236.66779.24834-50-50104.3022183.534450-50248.8581214.9644 第三，结果检验及校正。根据附表一的模拟图像，可以近似比对圆心坐标结果，可知误差仍在允许的范围之内。但是实验表明线性模型不能很准确地描述成像的几何关系，尤其是在使用广角镜头时，在远离图像中心处会有较大畸变。建立畸变补偿模型如下模型。模型二：畸变矫正模型2。描述畸变可用下列公式Atkison 1980,Wen 1990： （13）其中（x，y）为由小孔线性模型计算出来的图像坐标点的理想值，（，）是实际的图像点的坐标，x与y是非线性畸变值，它与图像点在图像中的位置有关，可用以下公式表达： （14） 其中x或y是非线性畸变，第一项为径向畸变，第二项成为离心畸变，第三项成为薄棱镜畸变，式中k1、k2、p2、p2、s1、s2成为非线性畸变参数。一般情况下，上述模型中的第一项径向足以描述非线性畸变，有人曾指出由于在考虑非线性畸变时对摄像机定标需要使用非线性又划算法，引入过多参数往往不仅不能提高精度，反而引起解的不稳定。据此基础上我们只考虑径向畸变，从而将上式化简如下： =x+x（x，y） =x+y（x，y） （15）线性模型的内部参数与非线性畸变的k1、k2、p2、p2、s1、s2一起构成了摄像机内部参数。对于摄像机内部参数的求解，很多前辈已给出许多颇有成效的求解办法，限于本文重点及篇幅影响，我们根据所得的像素模拟图表给出一个简易方便的求法如下基于模型一的算法先求出圆O的四个特征点的实际坐标（x，y），然后利用像素模拟图表确定它们的近似理想坐标（，），代入式（15）求出k1、k2的平均值，然将圆心的世纪坐标带入求得矫正之后的理想坐标。计算结果如下：k1=2.29463 ；k2=2.94359 表三：实际x实际y校正后x校正后 y119.041837869.68875676119.093869.689155.663540672.47534247155.768972.47567234.312139378.459801234.640478.46034105.3504523185.378995105.4604185.3796214.1336744184.9693953214.5271184.9706 4.3问题三的处理 模型三：曲线拟合模型在图1.1椭圆按从左到右、从上到下的顺序，名称依次定为：左上圆、中间圆、右上圆、左下圆、右下圆。对于靶标反映在Excel的数据，我们选取各个椭圆上的边界点，建立椭圆线性回归模型，利用Matlab工具箱中的regress函数，得到五个椭圆的拟合方程，进而可以求得其圆心。圆或椭圆的二次曲线方程的一般式为3： (16)且椭圆的中心M0 ( x0 , y0) ,可自下式解求： (17)为编程方便，将一般性方程转化为：（其中a,b,c,d,e为参数） (18) 选取的特征点的位置如图： 图4.3.1拟合数据结果：表四：左上圆参数参数估计值参数置信区间b1122.9093119.4701 126.3486b20.00670.0066 0.0068b3-1.5056-1.5637 -1.4475b40.00610.0059 0.0064b50.00060.0005 0.0007R2=1.0 F=7.255*105 p=0.0000椭圆方程表达式为：表五：中间圆参数参数估计值参数置信区间b1183.7679174.9895 192.5463b20.00610.0059 0.0064b3-1.9129-2.0261 -1.7996b40.00600.0056 0.0064b50.00070.0005 0.0010R2=0.99999 F=2.836*105 p=0.0000椭圆方程表达式为：表六:右上圆参数参数估计值参数置信区间b1306.6568285.1330 328.1807b20.00430.0040 0.0046b3-2.2820-2.4655 -2.0985b40.00460.0042 0.0050b50.00140.0012 0.0016R2=1 F=4.6468*105 p=0.0000椭圆方程表达式为：表七：左下圆参数参数估计值参数置信区间b1119.1105118.0652 120.1558b20.00260.0026 0.0026b3-0.5257-0.5458 -0.5056b40.00210.0020 0.0021b50.00050.0004 0.0006R2=1 F= 4.2931*106 p=0.0000椭圆方程表达式为：表八：右下圆参数参数估计值参数置信区间b1204.7470198.2117 211.2823b20.00230.0022 0.0023b3-1.0545-1.1157 -0.9934b40.00210.0020 0.0023b50.00080.0007 0.0009R2=1 F= 2.2826*106 p=0.0000椭圆方程表达式为：由椭圆的圆心计算公式和椭圆曲线拟合式子，计算得出相应的各个椭圆的圆心坐标：表九：椭圆名称X（单位：像素）Y（单位：像素）左上圆120.003969.2536中间圆155.146273.0654右上圆236.200177.8279左下圆103.4572182.3599右下圆216.8469179.6788模型一圆心坐标计算出的结果：表十：椭圆名称X（单位：像素）与上表对应数据相对误差Y（单位：像素）与上表对应数据相对误差左上圆119.09380.00758469.689-0.00629中间圆155.7689-0.0040172.475670.008071右上圆234.64040.00660378.46034-0.00813左下圆105.4604-0.01936185.3796-0.01656右下圆214.52710.010698184.9706-0.02945 该方法精度和稳定性分析：对五个椭圆曲线的拟合的决定系数都达到了0.9999以上，统计量F的值远超过F检验的临界值，p都为0，远小于 。拟合的精度是非常高的，其结果可近似为真值。且由于五个拟合的精度都很高，则可说明模型三的稳定性也是很好的。模型三与模型一的结果相差最大为2.945%。即可验证出模型一的结果的准确性，其精度也很高，并且五个不同位置圆的误差波动也较小，模型的稳定性较好。 4.4问题四的处理模型四：基于RAC定标的相对位置确定模型。通过定标和两部相机的几何关系，来测量出两部固定相机相对位置。在定标中，我们采用单相机定标的方法分别获得双相机各自的内外参数。外参数分别用R1, t1 与R2, t2表示，R1, t1 表示左摄像机与世界坐标系之间的相对位置，R2, t2表示右摄像机与世界坐标系的相对位置。图4.4.1 空间物体坐标系与数码相机像平面坐标系4.41对单个相机，求旋转矩阵R和平移向量T的分量Tx , Ty.14 基于径向排列约束( radial parallelism constraint, RAC)的方法，利用最小二乘求解超定线性方程，给出外部参数。径向排列约束就是对成像平面上的每一个目标点P, 向量OPd和向量Poz P有相同的方向, 其中O是图像的中心, Pd = (Xd , Yd )是图像平面上畸变后的像点。P是目标点, ( x, y, z)是P点在摄像机坐标系中的坐标, Poz坐标是( 0, 0, z) 。这样RAC可表示为： 由成像模型可知，径向畸变不改变向量OPd的方向，因此，无论有无透镜畸变都不影响以上等式。有效焦距的变化，也不影响这个等式，因为焦距的变化只会影响向量OPd的程度而不影响其方向。由（1）和RAC得到： (19) 上式整理为矢量形式为： (20)其中，行矢量是已知的，而列矢量是待求的参数。对每一个物体点，已知其xw yw Xd Yd ，就可以写出（20），选取合适的7个点接可以解出列矢量中7个分量。用同一平面上的点来作标定，并选取世界坐标系，使z w =0，这样，式（20）可以简化表示为： (21) 利用（21）和旋转矩阵为正交阵的特点，可以确定旋转矩阵R 和平移分量T x 、T y 。 4.4.2求两相机的几何关系R，T。25对任意一点P，如它在世界坐标、左摄像头坐标系与右摄像头坐标系下的非齐次坐标分别为xw, xc1, xc2，则将上式中xw 消去后得到两个摄像机之间的几何关系可用以下的R和t 表示：由此可由R1, t1 与R2, t2计算得出，双摄像机的相对几何位置R 和t,即其旋转矩阵和平移向量。 五模型评价与改进线性模型摄像机标定, 用线性方程求解，简单快速，已成为计算机视觉领域的研究热点之一，目前已有大量研究成果。但线性模型不考虑镜头畸变，准确性欠佳，因此需要对结果进行畸变校正，本论文畸变校正中，忽略了切向畸变和薄棱镜畸变，k1和k2的计算采用的取平均值的方法，存在着一定的误差。 系统定标时,由于特征点数目及位置的选取都是目测手动选取的，在一定程度上影响着靶标的像的坐标的测量的精度。 为提高测量精度,一方面除需对数码相机标定及特征点坐标提取算法进行优化与改进外,另一方面,还需建立更为完善的误差修正与补偿模型.
