视频监控系统在公共安全、城市管理等领域发挥着重要的作用。近些年来,深度学习技术迅猛发展,深度神经网络强大的特征表达能力和端到端的训练方式成为了智能视频监控系统的极大助力。在深度学习与智能视频监控技术的结合中,如何设计有效、鲁棒和可靠的神经网络结构是其中亟待解决的核心问题。论文对监控视频中神经网络结构设计的各个方面进行了系统性的研究,涵盖对于视频中的时空语义信息和多模态语义信息进行有针对性的网络结构设计,充分挖掘、建模和融合监控视频中的丰富语义信息。论文还进一步探索了自动化的神经网络结构设计方法。在研究过程中,论文提出了一系列创新性的解决方案,通过实验验证了这些方案的有效性。论文的主要工作和贡献包括以下几个方面:1.深入研究了监控视频中时序和空间语义信息的建模和融合问题。论文研究了时空语义信息的针对性建模,分别针对目标的时序语义信息和场景的空间语义信息提出新的神经网络模型,并应用于目标轨迹预测任务上。论文进一步研究了视频中时序和空间语义信息的联合学习,提出了一种时空网络的多层次级联模型,在视频摘要任务上验证了模型的高层语义理解能力;2.深入研究了监控视频中多模态语义信息的挖掘和联合学习,在行人语义分析的上下文里提出了两个新的多模态场景语义模型,从而从监控场景图像中挖掘丰富的语义信息。论文进一步将多模态场景模型应用在人群计数任务上,以多任务联合学习的方式将这些多模态语义信息融合到深度神经网络模型里,实现密集人群数量的鲁棒估计;3.深入研究了智能视频监控的神经网络结构的自动化设计,提出一种树型神经网络结构的高效搜索方法,通过贪心策略将全局网络结构的搜索分解为局部结构的搜索问题并以迭代更新的方式高效地解决,算法搜索得到的树型结构有效地建模了属性间的相关性,适用于各类多属性预测问题。