由于我国教育条件差异很大,城市的学校教育资源往往要比偏远农村的教育资源好很多。为了使农村学生也能受到良好的教育,全国高校和厂商已开始研发课堂录播系统。课堂录播系统是利用目标检测、目标跟踪以及行为检测等相关图像处理技术,在没有人工干预的情况下,实现摄像头对教学过程自动录制的一种系统。本论文主要对课堂录播系统中行为检测与目标跟踪进行研究,主要的工作和成果包括以下几点:(1)提出了一种基于运动估计的学生行为检测方法,主要应用于学生站立行为和坐下行为的检测。本系统首先通过摄像头采集YUV数据帧,把YUV数据帧转换为灰度图像,其次对灰度图像进行中值滤波,接着对相邻帧进行帧间差分操作和形态学处理,提取运动轮廓的外接矩形框,对运动轮廓矩形框所在的图像块进行运动估计,以求出运动轮廓矩形框所在图像块内各个宏块的水平位移矢量和竖直位移矢量,由各个宏块的位移矢量求出当前运动轮廓的水平位移矢量和竖直位移矢量,进而求出当前运动轮廓所在图像块的运动角度大小,最后根据连续若干运动轮廓所在图像块的运动角度大小的值来判断学生的行为。本系统的学生行为检测方法充分考虑了课堂录播系统中对视频处理的实时性要求,有效地减少了运算量,能更高效、更快速得对学生的行为进行判断。(2)提出了一种基于核相关滤波(Kernel Correlation Filter,KCF)的长时间目标跟踪算法,主要应用于师生目标跟踪。本算法使用样本训练跟踪器,估计出当前帧目标的位置,实现正常的目标跟踪过程。然而,当运动物体出现严重变形时,跟踪器会引入过多的背景信息,造成目标跟踪失败。因此,本算法中引入了目标再检测机制,来解决目标框发生漂移问题。算法首先需要使用核相关滤波跟踪器跟踪目标,并计算所得跟踪目标的峰值响应强度(Peak-to-Sidelobe Ratio,PSR);然后,通过比较峰值响应强度与经验阈值大小判断是否跟踪丢失,当PSR小于经验阈值,算法认定目标跟踪失败,此时触发再检测机制,再检测机制是在上一帧所得目标附近运用运动估计算法得到目标在当前帧中的粗略位置,之后在此粗略位置处再次运用跟踪器得到精确位置,重新对目标进行跟踪。本系统的长时间目标跟踪算法考虑了对视频处理的实时性要求,对师生目标跟踪具有很强的适应性。