车牌识别培训文档.ppt
2019/9/5,1,车牌识别培训,2019/9/5,2,讲解提纲,车牌的基本知识普及 车牌识别的技术知识介绍 车牌识别算法设计的技术指标 车牌识别升级版本改进的地方 客户端升级版本改进的地方 车牌识别安装过程注意事项 车牌识别器调试技巧 升级版车牌识别器能解决的问题 车牌识别的优势与不足 支持过程中发现的问题 项目问题分析 存在的问题,3,2019/9/5,4,车牌是由省、自治区、直辖市简称+发牌机关代号+24个字母(I和O不能使用)和十个数字组成,2019/9/5,5,其他车牌介绍,特殊的警用车牌,军牌,武警车牌,机场专用车牌,泥头车牌,个性车牌,2019/9/5,6,第一个字符包括31个汉字 第二个字符包括24个英文字母(除I和O外) 剩下五个字符包括24个英文字母和10个数字组成 其中最后一个字符还包括港、澳、警、学、领,2019/9/5,7,字符的组成同普通车牌 车牌外轮廓尺寸大小440mm*220mm 最后一个字符包括“挂”字 一般挂在车尾,第一个字符由代表7大军区的字母(B北京、C成都、G广州、J济南、L兰州、N南京、S沈阳)+K空军 +H海军 +V中央军委等10个字母组成 第二个字符由25个字母组成 后面五个字符分别由10个数字组成 车牌第二个字符颜色不同,悬挂方式是前红后黑,2019/9/5,8,同样具备单层和双层 组成方式是WJ+31个汉字+4个0-9的数字+7个警种代码和10个数字 悬挂方式是前红后黑,警种代码: T(交通部队) S(森林部队) H(黄金部队) D(水电部队) X(消防部队) B(边防部队) J(警卫部队),2019/9/5,9,车牌识别的技术知识介绍,+-10°,角度太大,不容易检测到,车牌是如何出来的?,2019/9/5,10,投票原理,根据多个车牌识别结果,对每一位进行分析,根据置信度给出一个结果,思考: 一个车以很快的速度行驶穿过视频画面,只有5个有效的结果,那么这个车辆最终会给出结果吗?,升级版本中快速出结果需要15个有效结果,正常速度出结果需要30个有效结果,慢速出结果需要45个有效结果,结论:有效结果3个就能出结果,2019/9/5,11,车牌识别算法设计的技术指标1,可识别的模式:卡口双路、双摄像头前后、双摄像头左右(设置后车牌识别器会重启) 识别速度:快速出结果(15帧)、正常速度出结果(30帧)、慢速出结果(45帧) 适应的车速:0-40km/h 可识别车牌的宽度范围:80-240像素, 最佳车牌大小为100-160像素 可矫正的车牌最大角度:水平方向正负10°,垂直方向正负10° 可识别的颜色类型:蓝牌,黄牌,黑牌,白牌 可识别的车牌类型:普通车牌、港澳车牌、教练车牌、单层军牌 不可识别的车牌类型:警牌、武警牌、双层车牌,个性牌等 可设置一个有效区识别区域和四个屏蔽区域 可保存一张大图(彩色720*576)和一张车牌小图(灰度图100*20),保存的车牌大图和小图是在出结果之前的有效投票帧中效果最好的图像,2019/9/5,12,支持车辆行驶方向的判断(靠近或远离摄像机) 支持视频流触发,不支持地感触发 单帧图像处理时间在30ms左右,两路交替实时处理 识别率95%,捕获率97% 设计了一些过滤规则过滤虚检 对相似字符(如8和B,0和D,1和T等)做了一些处理,但不能保证完全正确,对整车识别率的影响控制在2%以内 支持默认省份和地区的动态统计,也支持手动设置,车牌识别算法设计的技术指标2,2019/9/5,13,为什么汉字识别率相对会低 ?,为什么相似字符容易判断错误?,答:因为汉字字符笔画复杂,D1像素低,容易受到光线、画面清晰度、污损的影响使得字符模糊不清,容易识别错,答:因为相似字符形状相似,字符分割的时候很容易因为1到2个像素的偏差,导致识别结果错误,尤其是在车牌相对小(80-100像素)的时候最明显,2019/9/5,14,为什么要设置默认省份?,答:因为汉字容易识别错误,这跟汉字的结构复杂和分辨率有关,有些汉字由于模糊不清,最终识别的可信度不足,因此这个时候我们就需要用设置的默认省份替代前面的汉字,注:对结果的影响至少提升5%,当然也有被修改错误的情况,那是因为可信度不够,为什么要设置有效区域和屏蔽区域?,答:因为有些干扰具备车牌的一些特征,如栅栏杆和广告标语,识别出来的可信度满足要求,无法被滤掉,可能会出一个结果,这个时候就需要设置一个屏蔽区域把这块区域屏蔽掉,不让检测。可以应用到一些复杂的场景,为什么要设置快出结果,正常速度出结果,慢出结果?,答:根据客户的不同需求,需要这些配置。如纯车牌识别,需要快点出结果,把结果发送给上位机,比较,发出开闸命令,这个过程也需要时间;另外高峰模式也需要设置成快速出结果,注:出结果的速度越慢,准确率越高,快速出结果比正常速度出结果的识别率低了5%,捕获率一样。主要错在汉字,车牌颜色,相似字符上,因为前面的车牌相对比较小,容易造成识别错误,2019/9/5,15,为什么角度大的车牌检测不到?,答:因为我们对车牌检测所需要的特征都是通过正负10°以内的样本提取得到的,他对这个角度内的样本检测率比较高,如果样本的角度多样性越大,越容易检测到非车牌,导致后面的处理难度加大,为什么不能识别警用车牌,武警车牌,特殊车牌?,答:因素材有限,识别率无法保证,也无法测出加进后对整体识别率有何影响,为什么要基于视频流进行识别而不是基于地感抓拍进行单帧识别?,答:因为视频流是对多个单帧结果进行分析最终得出一个结果,比单帧结果更可靠,准确率更高。,车牌识别器可以检测到几个车牌?,答:一个车牌,因为D1画面里只能有一个车牌出现,像泥头车那样的两个车牌搞不定,需要做非标,车牌识别器里面的靠近和远离是什么意思?,答:车牌识别中有车辆行驶方向的判断,以摄像机为参考物,车辆离摄像机越来越近说明是靠近,越来越远说明是远离,可以应用到一些需要过滤方向的应用场景。,2019/9/5,16,车牌识别器可以识别汽车尾牌吗?,答:可以识别跟前牌一样的尾牌,但双层尾牌暂时不能识别,但是要注意,晚上的小车尾牌上面有一些彩色的尾灯使得车牌光照不均,会降低尾牌的识别率,白天的识别率不会受到影响。,白天和晚上的车牌识别率哪一个更高,为什么?,答:在补光正常的情况下,晚上的识别率比白天高。因为: 1、白天的太阳光线和角度多变,车牌铆钉和车身本身的防撞柱会在车牌上产生阴影,容易导致1,T,7这组相似字符识别不准,导致识别率下降; 2、白天的周围复杂环境多少会产生一定干扰,而晚上就车牌是亮的,背景都是暗的,不容易产生虚检。 夜晚识别率会降低的情况有: 1、摄像机本身质量不好,噪点较大 2、摄像机快门没调节好,车速稍快就产生拖影 3、车辆靠近另一边行走,补光灯没补到位,什么是虚检,虚检是怎么处理的?,答:虚检是具有跟车牌相似特征的非车牌区域作为一个车牌检测出来 我们在处理过程中通过宽度,高度,宽高比,结果的可信度进行过滤,但是不能完全滤掉所有干扰,不影响识别率。,2019/9/5,17,捕获率和识别率的定义是什么?,捕获率=抓拍到的有效车辆总数/实际通过的车辆总数 识别率=完全识别正确的总车辆数/实际通过的车辆总数,对没有车牌的车辆可以捕获到吗?,答:我们的车牌识别是基于车牌检测才能捕获到的,没有接地感,因此,没有车牌的车辆我们暂时捕获不到,就会导致漏车,车牌识别升级版本改进的地方,增加了参数配置 汉字的识别率得到了改进和优化 增加了单层军牌的识别 增加了车牌行驶方向判断 增加了双摄像头识别模式 车牌出结果的速度可以配置 识别有效区域和屏蔽区域可以配置 可视频抓拍大图和小图(车牌局部图) 车牌的可识别宽度范围可以配置 增加了连号车牌的判断,连号车牌也能出结果 相同车牌也能出结果,需要间隔1分钟,2019/9/5,18,客户端升级版本改进的地方,升级版本采用的是H264编码,约占老版本带宽的1/6-1/10。(老版本采用JPEG编码,比较占带宽,网络不好的情况经常会出现卡顿现象,容易丢结果) 支持录像功能,方便研发分析,录像分辨率是720*288 支持预览视频模式和上传结果模式,同时也支持手动抓拍 车牌识别参数可以以配置文件形式导入、导出 可设置快速出结果、正常速度出结果、慢速出结果;可根据需求进行配置 可设置有效区域和屏蔽区域,解决了有些干扰对结果的影响 客户端可以看见车牌框,方便调试 一个车牌识别器最多可支持10个客户端同时访问,但网络环境不好的情况下取决于带宽 车牌识别SDK支持监控 车牌识别客户端兼容老版车牌识别,但只能支持上传图像功能,预览视频功能和录像功能,监控功能都不兼容。,2019/9/5,19,2019/9/5,20,参数配置界面,车牌识别安装过程注意事项,2019/9/5,21,标准的车牌识别项目流程:,1、考察现场 2、根据现场情况(是否是T型口,弧道,宽道)确定摄像机数量 3、根据现场光线环境对摄像机选型(是否用宽动态摄像机3703还是低照度摄像机3601) 4、制作方案 5、确定识别区域范围,固定安装位 6、根据安装位与识别区域的距离确定镜头型号(是采用长焦镜头还是广角镜头) 7、安装调试,如何确定摄像机数量? 如果是T型口,弧道口,宽道口中的一种,必须要两个摄像机才能搞定,如何对摄像机选型? 环境光线不足(如地下车库),有强背景光或明暗差距比较大的情况应选择宽动态摄像机(3703),露天场景或光线变化比较均匀的场景应选择低照度摄像机(3601),如何选择镜头? 如果识别区域与摄像机的距离5m,采用2.8-12mm的镜头,否则采用更长焦距的镜头,2019/9/5,22,摄像机的安装应该注意事项:,1、摄像机的视角应该与可识别区域的路面(注意:路面可能是水平或者斜坡)保持小于30°夹角,一旦大于30°,很可能导致丢车。 2、摄像机也不能与路面水平,尽量有一定夹角,根据可识别区域的远近调整摄像机的高度,如果太水平,其一,车牌老远就进入视野,在车牌相对小的时候就已经出结果了,小车牌会影响识别率,尤其是相似字符。其二,摄像机太水平,容易造成大灯直射,车牌会白茫茫一片,造成漏车。 3、双摄像头协同工作应该注意两个摄像头的识别区域应该有部分重叠,这样增加了可识别区域的范围,尤其是在T型路口,弧道,宽道上安装采用双摄像头左右协同模式时更应该注意,为了压制大灯,两边都需要补光灯。 4、尽量避免摄像机在暗处(亮处),可识别区域的车辆在亮处(暗处);,补光灯的安装应该注意事项:,1、不能影响司机的视角 2、晚上使车牌区域反光 3、能压制住车辆大灯 4、不能比摄像机高 5、具体安装位置依据前面四点,根据现场情况进行调整,2019/9/5,23,坡道上摄像机安装方式,水平路面上摄像机安装方式,2019/9/5,24,T型口和弯道口的安装方式,需要两个摄像头,采用双摄像头左右模式,2019/9/5,25,4m,宽道双摄像头吊装方式示意图,2019/9/5,26,双摄像头前后模式侧视图,双摄像头前后模式俯视图,车牌识别器调试技巧,1,上电,联网,搜索设备,初始IP为192.168.0.1,如果要恢复初始设置,长按电源口附近的reset孔3秒以上。 2,在预览视频下调试画面,如果视频画面是黑的或者闪动得厉害,说明视频线没接好。 3,调试人员最好每人有一个小监视器,这样方便调试摄像机的清晰度,角度和车牌大小 4,确定好可识别区域,调节摄像机镜头,保证图像清晰,根据感觉确定车牌宽度是整个画面的1/4-1/6左右,车牌不能太大,也不能太小,车牌越小,识别率越低。我们的车牌识别可识别的车牌宽度范围是80-240个像素宽度。 5,根据可识别区域,调节摄像机与路面(可能是斜坡)的角度,保证摄像机与路面角度在0-30°之间,摄像机的高度可以在杆上调节,可以在道闸杆上面,也可以在道闸杆下面。 6,尽量保证车牌在视频画面中是水平的,角度越大识别率越低,。 7,通过客户端红框确定车牌大小是否合适,定位是否准确,然后测试统计结果。,2019/9/5,27,2019/9/5,28,130个像素左右,车牌在画面中的大小通过感觉来判断,也可以看客户端是否有红框来判断车牌是否可以检测。,升级版车牌识别能解决的问题,2019/9/5,29,1,识别模式有三种,卡口双路、双摄像头前后,双摄像头左右,双摄像头模式都可以增加识别率,使用在T型口,弯道,宽道等地方,可解决这种地方识别率低的问题。但是安装不好会适得其反,2,默认省份和默认地区是用来设置地方车牌的,支持动态统计和手动设置,解决汉字识别率低的问题。,3,识别车牌类型包括仅识别民用车牌和民用+军牌两种,解决有些地方需要识别军牌的情况。,4,投票速度即出结果速度,有快有慢,默认是正常速度出结果,纯车牌识别要求快速出结果,可以配置。,5,最小车牌宽度和最大车牌宽度可以调节,可以自己设置车牌从多大开始识别,车牌越小,相似字符容易弄错,识别率越低。,2019/9/5,30,6,有效区域和屏蔽区域的设置可以排除一些干扰,如广告牌,栅栏杆,水沟等的干扰。可设置一个有效区域和4个屏蔽区域。,注意:有效区域与屏蔽区域重合部分以屏蔽区域为主,捷顺车牌识别器的优势,优势 车牌的捕获率和识别率处在行业前列,中试结果捕获率白天晚上平均99%,识别率平均96% 升级版本方便工程人员调试 采用双摄像头协同工作解决了T型口和拐弯路口识别率低的问题 集成了2012式新版的军牌(单层)识别 可以根据不同的应用场景配置参数,调整识别的快慢 采用H264编码,使得车牌识别对网络环境的适应性更强了,2019/9/5,31,可以识别,支持过程中发现的问题,2019/9/5,32,1、版本问题 2、网络问题 3、摄像机参数调整的问题 4、摄像机角度调整不合适 5、存在干扰,6、光线没有补到位 7、T形口采用一个摄像机 8、车牌识别器不支持的车牌类型 9、汉字识别错误的问题 10、相似字符识别错误的问题,2019/9/5,33,3、摄像机参数调整的问题,2019/9/5,34,4、摄像机角度调整不合适,2019/9/5,35,5、存在干扰,2019/9/5,36,6、补光不到位,2019/9/5,37,T型口拐弯的情况,项目问题分析,2019/9/5,38,1,车牌识别器一般是与G3配合使用,当遇到开闸缓慢,或者是G3上没有识别结果的时候,应该先排除是G3的问题还是车牌识别的问题。 采用方法是:同时打开G3软件和车牌识别客户端,如果车牌识别客户端没有识别到结果,说明是车牌识别的问题,否则是G3的问题,2,观察到车牌识别的识别率比较低,大概在60%-80%,这时候该怎么处理? (1)车牌是否角度过大,如果过大,调节摄像机角度使车牌水平 (2)车牌大小是否合适,太小和太大都不行 (3)车牌是否有泛白过曝现象,如果有就需要调节摄像机的曝光模式 (4)是否有跟车的现象,如果有,需要调整摄像机的镜头或者移位摄像机 (5)车辆运动起来是否能看到拖影,如果有就需要调整摄像机的快门,使快门更快 (6)如果是吊装,观察摄像机与地面的角度是否过大,过大需要后移摄像机 (7)观察到汉字识别错误比较多,需要设置地方车牌,老版本中预置的是“粤”,但需要统计几十辆车 (8)观察到相似字符识别错误,如8和B,0和D等,如果100辆车中不超过5个这种错误,那都是正常的,否则就需要看看车牌是不是太小,或者画面是否清晰 (9)T型路口识别率低,这是常见的,要么采用工程手段使车辆直行,要么采用双摄像头模式 (10)晚上的识别效果不理想就需要看补光和是否打开摄像机的强光抑制功能,2019/9/5,39,3、用客户端看视频画面很卡顿,会有丢车现象,这种情况该如何解决? 很显然,这属于网络不好的情况,丢车的原因是车牌识别器把识别结果和图片传给上位机的这一关键帧丢掉了,解决办法是采用现在的升级版本,采用的是H264编码,约占老版本带宽的1/10左右。,存在的问题,车牌识别设计还不够完善 支持不到位 培训不到位 业务信心不足 前期方案的制作和评审不专业 没有考察现场,按照现场情况制作方案 工程安装人员没有专业调试工具,2019/9/5,40,