系统进行视频车辆检测，需要具备很高的处理速度并采用的算法，在基本不丢帧的情况下实现图像采集、处理。若处理速度慢，则导致丢帧，使系统无法检测到行驶速度较快的车辆，同时也难以在有利于识别的位置开始识别处理，影响系统识别率。因此，将视频车辆检测与牌照自动识别相结合具备一定的技术难度。
自然环境下，汽车图像背景复杂、光照不均匀，如何在自然背景中准确地确定牌照区域是整个识别过程的关键。对采集到的视频图像进行大范围相关搜索，找到符合汽车牌照特征的若干区域作为候选区，然后对这些侯选区域做进一步分析、评判，后选定一个佳的区域作为牌照区域，并将其从图像中分离出来。
人工神经网络技术，计算机及相关技术发达的一些国家开始探讨用人工神经网络技术解决车牌自动识别问题，例如1994年M.M.M.FANHY等就成功地运用了BAM神经网络方法对车牌上的字符进行自动识别，BAM神经网络是由相同神经元构成的双向联想式单层网络，每一个字符模板对应着个BAM矩阵，通过与车牌上的字符比较，识别出正确的车牌号码。