用奇异值分解的方法自动检测LCD的缺陷ppt课件.ppt

用奇异值分解的方法自动检测LCD的缺陷,摘要,目前，Thin film transistor liquid crystal display(TFT-LCD)越来越主流化并且已经在显示设备终端领域里占有统治地位。LCD的表面缺陷不仅引起视觉上的错误，而且会造成电子元件的错误和各种设备功能上的使用错误。在本文里，我们提出了一个global（球体）逼近方法去自动监测TFT面板上的各种细微（肉眼难以发觉）的缺陷。在TFT面板上建立几何结构包括很多由水平的和垂直线划分的小面积元素，这样就可以把面板划分成由结构纹理（structural texture）的图片。这种方法不是依靠纹理的局部特征来描述。它是基于一种用奇异值分解（SVD）而重新构造的球形图片。（It is based on a global image reconstruction scheme using the singular value decomposition (SVD) ）.把图片转换成由像素组成的矩阵，由奇异值组成的对角矩阵代表了不同的图片细节。选择合适的奇异值去描述背景纹理的表面，然后去掉这些奇异值之后再重新构造一个矩阵，这样，就能够消除周期性和反复性的纹理模型图片。，并且保护图片存储过程中的不规则性。在这次试验里面，我们已经评估了TFT面板的的大量的微小，多样的缺陷，包括：小孔，刮痕，小点和指纹，并且结果显示这种方法是非常有效的检测LCD面板缺陷的方法。,1，绪论,这几年，TFT-LCD已经越来越重要，因为它具有很好的全彩色显示功能，低能耗，小体积。为了监控过程的稳定性和保证LCD显示的平面性，此TFT面板缺陷检测采用了生产过程的临界作业。人工视觉检测和电子功能检测是最主流的检测LCD缺陷的方法。但是，手动检测是非常辛苦和非常消耗时间的工作。人工检测不仅主观性很强而且对经验非常依赖。电子功能检测天生就缺乏联机检测的能力，并且通常都需要吧TFT面板做出来以后才能检测。在本文中，我们提出一个自动视觉系统来检测TFT-LCD面板的缺陷。 TFT面板的表面缺陷不仅产生视觉错误，而且会引起LCD面板的硬件操作错误。出现在TFT面板中的缺陷大致可以分成2类：宏观的缺陷和微观的缺陷。宏观缺陷包括”MURA,SIMI,ZURE”,MURA的意思是面板不均匀，SIMI的意思是TFT面板上有污点，ZURE的意思是面板没有对准。微观的缺陷包括小孔，指纹，小点和刮痕。宏观缺陷与不规则大小和形状形成鲜明对比。它们的体积一般都很大，所以很容易用人工视觉来检测。但是微观缺陷通常都很小而且很难用人工的方法或者电子的方法来检测。本文提出的方法就是重点在利用TFT面板结构特点来检测微观缺陷。,关于LCD自动检测系统，有几种基于检测技术电子的或者光学的方法已经为LCD的制造提出了方法。Henly和Addiego用2维电视觉调节器产生电压图像，这些图像表示LCD面板的没有联系的潜在表面。Kido et al.介绍了用光学感知装置来检测部分完全活性矩阵的LCD面板。表面反射被用来感知光线的变换然后产生一个图像来表示线和点的缺陷。大多数现有的自动检测系统都是基于常规的电子方法去探测表面潜在的可能。这些电子方法可以很好的查证TFT面板的基本功能。正如前面所说的，这些方法都是要在制作完成后才能进行。功能检测方法在生产过程中可能就没有用了。 一些视觉技术用模式匹配算法被用于LCD的检测。Nakashima提出在LCD彩色过滤面板中采用图像减少和光学傅立叶过滤来检测LCD的缺陷 Nakashima presented an inspection system based on image subtraction and optical Fourier filtering for detecting defects on an LCD colour filter panel。,Sokolov and Treskunov developed an automatic vision system for final chech of LCD output check. Slkolov和Treskunov发明的最终LCD自动检测系统 还有很多LCD检测技术主要都集中在最后外观缺陷检查，例如：在生产完成后检查明点和暗点。 一个TFT面板通常包含重复的水平线和垂直的数据线。当图像建立起来后，TFT面板的表面就包含了这些水平的和垂直的元素，它能够被以结构纹理来分类。TFT面板的图像就由一些相似的网格组成了一个有序的结构。TFT面板就可以很好的由奇异值分解的方法很好的来表示。在这次的研究中，我们就用SVD的方法很好的来检查TFT面板上的微观缺陷。,In this paper, we propose a global approach that uses an SVD-based image reconstruction technique for inspecting micro defects including pinholes, scratches, particles and fingerprints on the surface of TFT panels. The proposed method does not rely on textural features to detect local anomalies, and does not require a reference image for comparison. It alleviates all limitations of the feature extraction schemes and template matching methods just mentioned. 在本文中，我们提出了用球形逼近的基于SVD图像重构技术去检测微观缺陷，其中包括小孔，刮痕，小点，和指纹。这个方法不是依靠结构的特点去发现局部异常，也不是要求用2个图像来进行比较。它是提取所有的极限特点有序和完全的满足以上所提到的方法。 SVD能够用来分解图像然后获得对角矩阵。所有的矩阵都是由奇异值组成。最主要的信息是：图像能够被表示为大量的奇异值。在LCD缺陷检测中，我们可以建立大量的从0到（preserve the smaller singular values）去重构图像。不规则背景被去掉，然后很清楚的还原不规则的图像。,2缺陷检测安排,用奇异值分解,假设图像是一个M*N大小的矩阵X，MN，也就是说长大于宽。它就能够被表示成在R维子空间里面的图像，其中R是矩阵X的秩，并且RN。 X=USVT,其中，U是标准正交向量组XXT成的M*R阶矩阵。V是N*R矩阵由标准正交向量组XTX组成。S是R*R对角矩阵，对角元素是奇异值，都是XTX方程的非负平方根。奇异值用a表示，并且按照单调递减的顺序排列。 SVD就是基于矩阵X的奇异值分解。奇异值（a）表示了每个矩阵X在每个子空间里的活力（energe）。每个奇异值和它们的分类，都带有有用的X的信息。在这些奇异值当中，只有一小部分可以用来表示图片的直角结构，其他的都趋近于0。 The singular values and their distribution, which carry useful information about the contents of X, vary drastically from image to image. For an image with orthogonal texture content such as horizontal and/or vertical structures, only a very few larger singular values will dominate, and yet all others have magnitudes close to zero.,上图的，是人工模拟的面板，是真实的面板，可以看出，只有第一个奇异值是支配其他所有奇异值的，越往后，奇异值就越趋近于. 在大多数情况下，大量奇异值中的比较打的奇异值表示的是原始图像的球形逼近 In most of the cases, the larger singular values (with lager magnitude) represent the global approximation of the original Image 其他奇异值都是表示局部和细节的图片，因此，我们能够选择合适的奇异值来表示,基于的图像重建,在这次研究中，我们用机器视觉捕捉有问题的TFT面板的图像（微观）。SVD合适地表示了TFT面板上的垂直相交的纹理图像。因此，基于SVD的图像重构技术被用来移动TFT面板表上的直角纹理模式。用这种方法我们不需要定义缺陷的各种特点。基于SVD图像重构技术能消除TFT面板上很多重复的垂直和水平的分界线部分。保留下来的部分能够很容易的识别TFT面板上的各种缺陷。从重构的图像里被选出来的奇异值由下列式子给出： X=UjajVTj J从k+1到r。 X是被重构的图像，Uj和Vj是U和V的第j列向量；k是一些被选出来的奇异值。aj是S的第j个奇异值，r是矩阵X的秩。,从左到右分别为a,b1,b2,b3,c1,c2,c3,Fig. 4. a The artificial horizontal/vertical lines image (the original image); b1 the reconstructed image from 1; b2 The reconstructed image from 2; b3 The reconstructed image from both 1 and 2; c1 The reconstructed image excluding 1; c2 The reconstructed image excluding 2; b3 The reconstructed image excluding both 1 and 2 a图就是人工画的纹理图像（最原始的图片），b1是用a1重新构建的图，b2是a2构建的图，b3是用a1,a2构建的图，c1是是用包括的a1的主要奇异值构建的图，c2是包括a2构建的图，c3是用包括a1,a2构建的图。,选择合适的奇异值,用式子1可以分解然后得到一系列的奇异值，用式子2可以选择一些合适的奇异值来充分的表示一些表面结构。在这次的研究中，我们用k这个值来决定2个相邻的特征值的临界关系。由于一开始很难界定k的取值点， 我们用下式来表示一个通用的方法： ai=(ai-ua)/sa i=1,2r 这里，等号前面的是第i个规格化（normalize）的奇异值，ai 是第i个奇异值，ua 平均数，s是一个图像标准偏移值（standard deviation of all singular values） 让i = i i+1 也就是奇异值I的边缘增量。如果它大于一些开始的特征值，那么这个增量被认为是有用的。 If i is larger than some threshold (T ), the additional singular value i+1 is considered to be significant.,图5，从左到右为a,b,c,d,y,Fig. 5ad. The artificial orthogonal image with scratch defects: a The original image; b The plot of the marginal gain () of normalized singular values; c The restored image; d the resulting binary image for defect segmentation a是原始的图像，b是a的边缘增量，c是重新构建的图像，d是缺陷分割的结果。也就是说，在这里，k=4，在4以后，值就已经稳定了。一旦k选出来以后，我们就能够消除背景纹理和利用第k个最大奇异值保护缺陷的图像c就很好的显示了去掉背景纹理之后的缺陷图像。 因为背景的亮度变化是非常小的，所以我们利用统计学的方法去建立一个极限，这个极限是用来区分图像区域的缺陷。重构图像的上限和下限用下面的公式给出： X ±t ·sX 这里X和sX是中间值和重构图像的标准背离（standard deviation of grey levels），t是物理常量。,According to the Chebyshevs theorem 4, the probability that any random variable x will fall within t standard deviations of the mean is at least 1 1 /2 . That is： p(X t ·sX x X +t ·sX) 11/2 由切比雪夫不等式得：随机变量X的可能取值范围是上面式子的取值范围。 在TFT面板的实际生产过程中,微观缺陷大部分都是非常小的，在这次研究中，我们设置的控制常量是k=4，这控制大约93.75%的像素极限,试验和讨论,在这部分中，我们将展示试验的结果，包括上面提到的各种微观的缺陷。 在一块256*256的面板上设置8个灰度。图6中a-c显示了每3个灰度图片所包含的微观缺陷。 Fig. 6ac. Three defective images under fine image resolution (60 pixels/mm): a Pinhole; b Scratch; c Particle,图8从a到d显示了边缘增量 的图6和图7四个测试图片的图。可以很明显的看出，如果边缘增量小于0.05的话，那么函数区域0而且稳定。,表1记录了标准奇异值和他们的增量与4个图片的详细信息。可以看出：如果边缘增量大于0.05，那么，函数曲线下降很快并且趋于0。因此，0.05就是边缘增量的初始条件 Defective image Pinhole Fig. 6a Scratch Fig. 6b Particle Fig. 6c Fingerprint Fig. 7 Singular value (i) 1 15.86 14.56 15.77 13.96 15.83 14.38 15.89 15.29 2 1.30 0.85 1.81 0.98 1.45 0.90 0.60 0.10 3 0.45 0.15 0.83 0.30 0.55 0.26 0.51 0.17 4 0.30 0.13 0.53 0.21 0.30 0.04 0.34 0.05 5 0.17 0.04 0.32 0.05 0.25 0.04 0.29 0.10 6 0.13 0.04 0.27 0.10 0.21 0.04 0.19 0.02 7 0.09 0.03 0.17 0.10 0.17 0.03 0.17 0.01 8 0.06 0.03 0.07 0.02 0.14 0.02 0.16 0.04 9 0.03 0.01 0.05 0.02 0.12 0.03 0.12 0.01 10 0.02 0.02 0.04 0.01 0.09 0.01 0.11 0.02,图9的a1,b1,c1,d1显示了图6和7的TFT面板的缺陷图像。图9a2显示了用前5个奇异值重新构建的图像。能够发现重复的背景纹理变得越来越相似于同一个灰度，然后这个指纹缺陷就被明显的在重新建立的图像中加强并显示出来。b2和c2分别显示了前8个和前4个奇异值重构的图像，同时也显示缺陷图像被很好的存储起来。D2说明了用d1的前6个奇异值来显示的图像。a3d3显示了用缺陷结果并用二进制图像保存起来。很明显，背景纹理被很好的消除了。,图9Fig. 9. a1-d1 The defective images with pinhole, scratch, particle and fingerprint, respectively; a2-d2 The respective restored images; a3-d3 The resulting binary images for defect segmentation,为了测试这个方法的鲁棒性，检测完好的TFT面板也被评估。图10a就显示了图6中没有错误的图像，b显示的是边缘增量。,依次为a-i,其中a是选出来的6个最大的奇异值所显示的图像，从be是分别是5，4，3，2。当奇异值的选择不够充分的时候，背景纹理并不能够消除。很明显，b，c都是很好的消除了背景纹理，但是d和e却还是保留了当初画的线。f到i分别是选择了7，8，9，10.当选择的奇异值多于需要的时候，那么缺陷图像就会变得模糊。可以看出，当我们选择k-+2的时候并不影响缺陷检测的结果，,图像旋转的影响,SVD是基于直角平面来进行矩阵分解的。直角坐标对图像的旋转是非常明显的。图6b的图像用来评估旋转对测试结果的影响。我们这里分别设置1°，2°，3°，4°，5°。,Fig. 12af. The restored results of the scratch image in Fig. 6 from various rotation angles: a The result from the original image; bf The results from the images with 1-, 2-, 3-, 4- and 5-rotation, respectively 图12的bf是分别旋转了1到5°的结果，a是没有旋转的，可以看出，当角度小于2的时候，显示还是正常，但是大于2的话，就不能很好的消除背景噪声。在实际的生产过程中，小于2°的角度旋转是可以很容易做到的，所以大于2的角度并不能对检测过程产生影响。,结论,TFT面板的视觉缺陷不但能造成使用上的错误，还会造成电子硬件上的错误。在本文中，我们提出了一个完整的方法来自动检测TFT面板的微观的错误这个方法不是常规的使用LCD的检测方法，而是利用在TFT面板画线来建立矩阵，然后利用特征值-特征向量来分解矩阵。在选出合适的奇异值的时候，我们就能够很好的建立图像然后消除背景纹理，并把微观错误明显的表现出来。,