自然环境下，汽车图像背景复杂、光照不均匀，如何在自然背景中准确地确定牌照区域是整个识别过程的关键。对采集到的视频图像进行大范围相关搜索，找到符合汽车牌照特征的若干区域作为候选区，然后对这些侯选区域做进一步分析、评判，后选定一个佳的区域作为牌照区域，并将其从图象中分割出来。
红外光路线是指利用车牌反光和红外光的光学特性，用红外摄像机采集车辆灰度图像，由于红外特性，车辆图像上几乎只能看见车牌，然后用黑白图像处理方法识别车牌。950nm的红外照明装置可抓拍到很好的反光车牌照图像。因红外光是不可见光，它不会对驾驶员产生视觉影响。另外，红外照明装置提供的是不变的光，所抓拍的图像都是一样的，不论是在一天中明亮的时候，还是在一天中暗的时候。的例外是在白天，有时会看到一些牌照周围的细节，这是因为晴朗天气时太阳光的外光波的影响。采用红外灯的缺点就是所捕获的车牌照图像不是彩色的，不能获取整车图像，并且严重依赖车牌反光材料。
一个车牌识别系统的后台管理体系，决定了这个车牌识别系统是否好用。清楚地认识到重要的一点是识别率达到是不可能的，因为车牌照污损、模糊、遮挡，或者天气也许很糟（下雪﹑冰雹﹑大雾等等）。后台管理体系的功能应该包括：
1、识别结果和车辆图像数据的可靠存储，当多功能的系统操作使得网络出差错时能保护图像数据不会丢失，同时便于事后人工排查；
2、有效的自动比对和查询技术，被识别的车牌照号码要同数据库中成千上万的车牌号码自动比对和提示报警，如果车牌照号码没有被正确读取时就要采用模糊查询技术才能得出相对“佳”的比对结果；
3、一个好的车牌识别系统对于联网运行，还需要提供实时通信、网络安全、远程维护、动态数据交互、数据库自动更新、硬件参数设置、系统故障诊断。