自然环境下，汽车图像背景复杂、光照不均匀，如何在自然背景中准确地确定牌照区域是整个识别过程的关键。对采集到的视频图像进行大范围相关搜索，找到符合汽车牌照特征的若干区域作为候选区，然后对这些侯选区域做进一步分析、评判，后选定一个佳的区域作为牌照区域，并将其从图象中分割出来。
红外光路线是指利用车牌反光和红外光的光学特性，用红外摄像机采集车辆灰度图像，由于红外特性，车辆图像上几乎只能看见车牌，然后用黑白图像处理方法识别车牌。950nm的红外照明装置可抓拍到很好的反光车牌照图像。因红外光是不可见光，它不会对驾驶员产生视觉影响。另外，红外照明装置提供的是不变的光，所抓拍的图像都是一样的，不论是在一天中明亮的时候，还是在一天中暗的时候。的例外是在白天，有时会看到一些牌照周围的细节，这是因为晴朗天气时太阳光的外光波的影响。采用红外灯的缺点就是所捕获的车牌照图像不是彩色的，不能获取整车图像，并且严重依赖车牌反光材料。
一个车牌识别系统是否实用，重要的指标是识别率。国际交通技术作过的识别率指标论述，要求是24小时全天候全牌正确识别率85%～95%。信路通的车牌识别系统在实际应用中已经达到了全牌正确识别率90%以上。 为了测试一个车牌识别系统识别率，需要将该系统安装在一个实际应用环境中，全天候运行24小时以上，采集至少1000辆自然车流通行时的车牌照进行识别，并且需要将车辆牌照图像和识别结果存储下来，以便调取查看。然后，还需要得到实际通过的车辆图像以及正确的人工识别结果。