目前，我国将积极探索应用新技术提高交通运输系统的运行和管理效率的交通运输方式，智能交通系统(Intelligent Traffic System，ITS)就是其中之一。它不仅仅使交通运输变得更加高效、安全，而且使我们的信息交流手段变得更加便捷。同时，基于视频图像的交通事件的语义理解正被越来越多的学者所关注，但是基于视频图像处理技术的交通信息采集技术还有待进一步改进和完善；交通事件理解的建模方式和识别方法都还有待进一步的提高。本文正是基于以上背景，对交通事件的语义理解中的交通要素感知和行为理解过程做了进一步研究。首先针对语义理解中提出的方法与手段，对事件类型的依赖较强，通用性和一般性不好的问题做了进一步探索，包括：从框架模型角度对交通事件进行分析；根据交通事件特点，把视频中的底层特征进行总结并分为两种：静态特征和动态特征；根据逻辑化的自然约束语言(Natural Constraint Language,NCL)的规则，给出了交通事件的语义表达形式，同时给出了实现对交通事件语义理解的整体流程框架。然后针对静态特征中的现有车型识别方法的准确性和实时性不能同时满足要求的情况，本文提出复合的图像匹配模型与识别方法，即：先应用Harris角点对车型初分类，再应用SIFT特征进行细分类，该方法在保证识别准确性基本不变的情况下，较大地缩短了处理时间。在各种底层特征获取之后，按基本语义单元、基础语义事件和高级语义事件的顺序对交通事件进行理解。最后通过模式识别方法，对高级语义事件建立隐马尔可夫模型(Hidden Markov Model,HMM)得到事件的高级语义，在一定程度上跨越了语义鸿沟，同时针对该方法对于复杂场景下交通事件识别实时性的不足，对交通行为的理解过程进行改进，最后通过实验说明其有效性。