自然环境下，汽车图像背景复杂、光照不均匀，如何在自然背景中准确地确定牌照区域是整个识别过程的关键。对采集到的视频图像进行大范围相关搜索，找到符合汽车牌照特征的若干区域作为候选区，然后对这些侯选区域做进一步分析、评判，后选定一个佳的区域作为牌照区域，并将其从图象中分割出来。
完成牌照区域的定位后，再将牌照区域分割成单个字符，然后进行识别。字符分割一般采用垂直投影法。由于字符在垂直方向上的投影必然在字符间或字符内的间隙处取得局部小值的附近，并且这个位置应满足牌照的字符书写格式、字符、尺寸限制和一些其他条件。利用垂直投影法对复杂环境下的汽车图像中的字符分割有较好的效果。
实际应用中，牌照识别系统的识别率与牌照质量和拍摄质量密切相关。牌照质量会受到各种因素的影响，如生锈、污损、油漆剥落、字体褪色、牌照被遮挡、牌照倾斜、高亮反光、多牌照、假牌照等等；实际拍摄过程也会受到环境亮度、拍摄亮度、车辆速度等等因素的影响。这些影响因素不同程度上降低了牌照识别的识别率，也正是牌照识别系统的困难和挑战所在。为了提高识别率，除了不断的完善识别算法，还应该想办法克服各种光照条件，使采集到的图像利于识别。
采用计算机视觉技术识别车牌的流程通常都包括车辆图像采集，车牌定位，字符分割，光学字符识别，输出识别结果5个步骤。车辆图像的采集方式决定了车牌识别的技术路线。目前国际ITS通行的两条主流技术路线是自然光和红外光图像采集识别。自然光和红外光不会对人体产生不良的心理影响，也不会对环境产生新的电子污染，属于绿色环保技术。
自然光路线是指白天利用自然光线，夜间采用辅助照明光源，用彩色摄像机采集车辆真彩色图像，用彩色图像分析处理方法识别车牌。自然光真彩色识别技术路线，与人眼感光习惯一致，并且，真彩色图像能够反映车辆及其周围环境真实的图像信息，不仅可以用来识别车牌照，而且可以用来识别车牌照颜色、车流量、车型、车颜色等车辆特征。用一个摄像机采集的图像，同时实现所有前端基本视频信息采集、识别和人工辅助图像取证判别，可以前瞻性的为未来的智能交通系统工程预留接口。
车牌识别是停车场用于识别车辆信息的管理系统之一，该技术能够提取出行驶中的车辆的牌照并进行识别，目前的技术水平车牌识别率可达到99.7%，车牌识别技术可以的识别出车辆车牌号，与传统的人工作业相比，无论是临时车、内部车辆、访客车甚至是未经许可的车辆，车牌识别系统都可以对其进行图像信息的捕获，并上传至数据库存储。