运动目标检测的作用是从不同复杂程度的背景中获得所有运动目标的位置信息,本文基于ViBe算法在DSP平台实现了运动目标检测系统,该系统有完整的视频采集、视频显示以及运动目标的检测与标记功能,满足工业应用的需要。目标跟踪利用视频帧之间的时间和空间连续性,在整个视频序列中定位特定的初始化目标的运动轨迹。基于深度学习的目标跟踪算法在跟踪的准确性上相较于传统算法有很大的提升,但是实时性较差,难以产业落地,本文设计了一种实时的基于深度学习的目标跟踪算法,该跟踪算法基于孪生结构的全卷积网络,通过一次前向传播就可以得到跟踪目标在候选的搜索区域中各个位置的置信度。此外,在离线训练过程中网络模型学习视频序列中不同帧目标之间的相似程度,使得网络的权重无需在线更新,大幅提升跟踪器的实时性。为了解决跟踪器在目标快速运动时跟踪丢失的问题,本文引入了实时光流计算网络FlowNet来建模目标的运动模型,结合置信图的峰值点检测来找到视频序列中的感兴趣目标。在离线训练阶段本文引入了难例挖掘的策略,提高了误分类样本在计算损失函数时的权重,使得网络在正负样本不均衡的条件下良好收敛。实验表明,该跟踪器在保持较好实时性的同时,跟踪的准确率也达到了顶尖的水准。