在线课堂场景下黑板画面的实时超分辨率方案设计及实现

来源 :林尹雁 | 被引量 : 0次 | 上传用户:zhuhao0000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网络技术的发展,在线教育逐渐成为人们学习的方式之一,其中在线课堂直播教学模式由于具备实时交互的功能而引发关注。该模式不仅能提供给老师和学生们远程沟通交流的机会,而且可以让更多的学生及时接受优质的师资教育。不过,目前的在线课堂直播教学模式仍然存在确保实时性和视频画面质量无法同时满足的缺陷。本文根据在线课堂直播教学模式的应用场景,设计了黑板画面的实时检测与重建方案。首先,考虑到该场景下视频画面的核心是黑板板书区域,所以该方案采用了目标检测算法Yolov5n将该区域提取出来,减少后续重建的区域。其次,视频通过网络传输时会进行数据压缩处理以确保传输的实时性,但会造成视频画面质量的受损,所以本文提出了基于深度学习的实时视频通讯超分辨率网络RVCSRN。此外,结合在线课堂场景能直接获取高分辨率视频画面的特点,本方案在重建阶段基于RVCSRN网络采用了双输入模式的重建网络DI-RVCSRN。本文的主要工作如下:(1)需求分析及方案设计。首先,对在线课堂直播教学任务进行了需求分析,明确了满足实时性和改善视频画面质量这两个需求;然后,利用目标检测和超分辨率两种方法进行针对性的方案设计;最后,根据场景的特点自制了相应的黑板数据集。(2)选定黑板板书区域检测算法。针对黑板板书区域的检测任务,基于自建黑板框数据集对主流的双阶段检测算法Faster R-CNN和单阶段检测算法Yolov5n进行实验比较,在综合考虑了算法的优缺点后,最终选定Yolov5n作为黑板板书区域检测算法。(3)设计黑板板书区域重建算法。为了确保实时性,先在发送端采用下采样方法压缩传输的数据量,再在接收端利用超分辨率算法提升受损画面的质量。针对黑板区域的超分辨率重建,指出现有方法的优缺点,并利用改进的增强型信息蒸馏模块EIMDB和像素级信息蒸馏模块PIDB,提出了实时视频通讯超分辨率网络RVCSRN。然后,结合目标场景能直接获取高分辨率图像的特点,引入双输入模式的重建网络DI-RVCSRN。接着,在公开数据集上设计对比实验,验证了本文提出的DI-RVCSRN网络在性能指标上具备良好的泛化能力。最后,以目标检测算法Yolov5n为基础,基于自建的黑板数据集设计对比实验,比较DI-RVCSRN算法与其他满足实时推理的重建方法的性能指标,验证了本文提出的双输入实时视频通讯超分辨率网络DI-RVCSRN的有效性。
其他文献
《民法典》第406条确立了抵押财产自由转让规则,从立法精神来看,该规则试图改变原有的抵押财产限制转让模式,采用自由转让模式,并承认抵押权的追及效力,同时给予当事人意思自治空间。自由转让模式通过抵押权的追及效力完成了抵押人的转换,其本质是抵押法律关系中当事人的变更。因此,自由转让模式以抵押财产为制度设计中心,旨在实现抵押财产上的利益平衡,当事人地位的变化依附于抵押财产。自由转让模式通过抵押权的追及效
学位
我国2021年初施行的《民法典》提出了离婚冷静期,2022年初实施的《家庭教育促进法》让家庭教育这一传统家事上升为新时代的重要国事。由此可见,我国在社会主义现代化建设中对婚姻家庭建设给予了高度重视。随着中国社会转型速度的加快,传统的婚姻家庭结构和功能发生深刻变化,婚姻家庭存在的问题日益凸显,探究恩格斯婚姻家庭观的重要内容对解决现实婚姻家庭问题具有重要的理论和现实价值。唯物史观是恩格斯婚姻家庭观形成
学位
随着21世纪步入第三次科技革命,各种空间探测技术蓬勃发展,人们不只满足于卫星定位提供的室外位置服务,并逐渐把目光投向室内定位之中,而元宇宙、AR、VR等诸多新型理念的提出,也对室内定位技术的服务质量提出了各种新要求。但室内环境相对复杂,对信号干扰严重,信号模式也多种多样,且多数时候标签与基站之间处于非视距(Non-Line-of-Sight,NLOS)通信状态,存在诸多技术难点。在以上各项因素中,
学位
在现代工业发展过程中,很多设备都是在高温环境下进行工作的,如锅炉、烟囱、供热管、汽车排气管、消声器等。相比于常温下的腐蚀,高温腐蚀速度更快、危害更大;在高温设备表面涂覆一层耐高温防腐涂料是行之有效的解决办法。本论文利用有机硅树脂优异的耐高温性能,开发出一款绿色环保的水性耐高温有机硅涂料。论文主要包括以下两个部分:第一部分通过对成膜树脂、填料及助剂等的筛选,研制开发出一种耐高温水性有机硅涂料。研究了
学位
互联网技术的发展和人工智能的应用,不断改变着人们的生产方式和生活方式。网络环境下商事人格权侵权体现出若干新的特点,主要表现为:侵权形式的多样化、侵权的隐蔽性较强、侵权范围的广泛性、侵权案件的取证困难、侵权案件管辖的复杂性等。这些特点是因网络本身具有的隐蔽性、匿名性、快速传播性等特征而来的,它使得在传统环境中建立起来的商事人格权保护制度受到诸多挑战,带来了诸多新的法律问题,比如:侵权主体难以确定、侵
学位
伴随人们生活压力和工作压力的增加,心脑血管疾病患病率逐年升高并呈现低龄化的特征。远程心电监护能够对人体心脏活动进行24小时不间断监测,实现对心电信号地自动分析,并对异常心电信号做到早发现以及向患者做出预警。然而在心电监护仪的使用过程中,也存在着一些问题:包括监护过程中电极脱落以及导联线与电极连接脱离,导致心电图呈片状或者是波形杂乱,无法识别到异常心电信号;电极位置放置不准确或者电极、电线等接触不良
学位
网络控制系统是一种全分布式、能实时反馈系统状态的网络闭环控制系统。各系统组件(如传感器,控制器,执行器等)通过共享网络连接,使得控制信号与反馈信号可以在各设备间交换。与传统控制系统相比,网络控制系统省去了系统组件间不必要的布线,具有降低系统复杂度与成本,易于系统拓展等优点。经过二十多年的研究发展,网络控制系统被应用于诸多领域中,如汽车领域、智能交通领域、智能电网领域等。网络的引入在给控制系统带来许
学位
在立法层面,《民法典》及其司法解释对融资租赁交易进行了规定,并将其认定为一种非典型担保,对于不同类型的融资租赁公司,相关部门依据部门规章及规范性文件对其进行监管,但立法体系不够完善。司法实践中对融资租赁合同的性质及效力的论证虽然不断完善,但仍未能形成清晰的认定思路。融资租赁法律关系的认定应包含形式和实质两个层面。其中,形式层面包括主体、租赁物和租金三个构成要件。主体方面须判断主体的适格性;租赁物方
学位
传统书院是我国古代重要的文化教育空间类型,广州传统书院对岭南文化教育史及城市发展历程意义深远,然而大量传统书院却正在消亡。近四十年间,广州持续推进名城保护建设,现存传统书院却面临破败荒置的现实困境,其保护利用方法与路径亟待提出。基于上述背景,本研究聚焦当前广州传统书院的存续发展问题,以广州市域范围内的现存传统书院为研究对象,以空间保护利用为切入点,旨在通过调研访谈及参数化分析等方法,建立广州现存传
学位
运动想象脑电信号是受试者自发地想象肢体运动而产生的脑电信号,不需要外界刺激就能完成相应的任务,交互方式更加友好自然,也更贴近意识控制。基于运动想象脑电信号的脑机接口系统在医疗康复、人机交互等领域具有极大的研究和应用价值。原始的运动想象脑电信号信噪比非常低,其中蕴含的有用信息极其微弱也极易受到环境的影响,这使得运动想象脑电解码很困难。基于协方差特征的运动想象脑电解码方法近年来取得了很大的进步,在多个
学位