基于移动设备的五线谱识别系统设计与实现

来源 :苏州大学 | 被引量 : 0次 | 上传用户:zhh6622692
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着书本数字化、教育智能化等需求越发增多,乐谱的智能识别技术的研究变得愈发热门。五线谱光学识别是通过图像处理技术,将纸质的乐谱图像转化成便于查询,存储,复制的数字音乐,这对音乐交流学习都有重要的意义。但受拍摄角度、环境光线以及书籍不平整等因素影响,使得乐谱图像识别处理还面临着诸多挑战。另外,移动终端资源有限,都限制了乐符识别效果和体验。本文重点围绕复杂背景下五线谱图像增强处理、音符分割识别及谱义解析等算法进行研究,并实现了五线谱的移动设备上的自动软件识别。乐谱识别实现流程主要包括:五线谱图像处理,五线谱识别理解,系统设计与实现这几方面,本文对五线谱识别过程中的关键技术进行了研究并提出了改进方法。论文主要工作包括:1)五线谱处理与谱线定位在图像预处理方面,本文提出了一种基于动态阈值图像增强的方法,实现对复杂背景中的目标进行图像增强和定位。该方法根据乐谱图像的特性,针对图像进行背景过滤,获取乐谱书籍有效区域范围,进行透视变换,并对不规则的谱线部分进行拉直变换处理,得到便于处理的标准二值图像。根据五线谱特性,对非线性失真曲线进行校正,同时获取谱线的间距及线宽,提出了基于矩阵交叉过滤的方法,对谱线进行精准定位并删除。对谱线删除过程中出现的连音符号等过删除情况,用算法进行补偿处理,得到独立的音乐符号。2)五线谱识别与理解在此基础之上,针对音符分割及识别,本文提出了一种基于五线谱的特性进行分割及符号提取,最后通过深度学习Tiny YOLO算法进行音符识别。在谱义解析及编码方面,根据音符识别及获取位置信息进行组合,完成音符意义的理解,然后将音符记号转换成MusicXML标准格式。最后研究了基于移动平台的图像处理及识别技术,对连通域音乐符号提取算法进行了优化,采用了轻量型Tiny YOLO算法,实现了移动终端的乐谱快速识别。3)系统设计与实现通过对不同乐谱图像的处理、校正实验对比表明,本文所提出方法对复杂场景的图片的谱线定位删除效果具有较好的改进,结合Tiny YOLO算法使得乐符识别效果有了较大提升,并成功移植到移动终端上运行。与其他iOS平台的识别软件比较,本系统对复杂背景下的乐谱音符识别率有较大提高,满足实际较复杂的场景使用需求。实现了基于iOS移动手机平台的乐谱识别APP,并对乐谱识别功能进行验证。结果表明所提方法具有鲁棒性,兼容性,适用于移动设备上的乐符图像处理及识别,在线性特征的图像处理方向上具有广泛的应用前景。
其他文献
期刊
跨通道注意扩散是一种特殊的多感觉整合现象,和注意的视觉刺激同时呈现的任务无关声音比和非注意的视觉刺激同时呈现的任务无关声音诱发的ERP在220ms以后有更大的负走向(Busse et al.,2005)。该效应可能源自听觉皮层和额叶的共同作用。由于使用无意义的黑白方格和纯音作为材料,研究者将其称为刺激驱动的跨通道注意扩散。在Molholm et al.(2007)中,研究者进一步发现,存在两种不同
学位
目的调查下肢慢性静脉功能不全(Chronic venous insufficiency,CVI)患者睡眠质量状况,探讨睡眠质量的影响因素,深入了解CVI患者睡眠障碍经历和应对行为,为制定有效干预措施,改善患者睡眠质量提供有效依据。方法1.量性研究采用便利抽样法,选取2019年1月至2019年12月在苏州大学附属第二医院血管外科入院的CVI患者为研究对象,以问卷调查的方式调查了 330名患者,使用基
学位
背景及目的:随着消化道内镜技术的不断发展成熟,结肠镜下筛查及息肉切除己被证实可降低结直肠癌的发病率与死亡率[1,2],而结直肠息肉的大小与息肉恶变风险呈正相关[3],故准确判断结直肠息肉的大小在内镜检查中尤为重要。刻度活检钳是在传统一次性活检钳的基础上,在活检钳头端刻以标尺作为参考。本文通过分析研究刻度活检钳测量息肉的大小,评价刻度活检钳在内镜下判断肠道息肉大小中的应用价值。研究方法:(一)体外模
学位
近代以来,随着西方医疗事业的传入,中国的护理事业也逐渐发展起来。在传播西方医学的过程中,在建设中国人自己的医疗事业中,早期的护理传播者发挥着重要的作用,伍哲英就是中国早期护理传播者之一,被誉为“中国护士之母”。她在美国学有所成后,回到祖国报效国家。面对外国人占据着中国护理市场的局面,伍哲英临危受命担任中国人自己开办的中国红十字会总医院护士学校校长,在护校践行自己的护理理念。1928年她被推举为中华
学位
张謇是近代著名的教育家、实业家,致力于实业救国,创办一系列轻工产业,同时也是南通近代城市园林建设的领导者。近年来,专家学者逐渐注意到张謇在南通城市建设上的突出贡献,并对其先进的造园思想进行研究分析。与此同时,随着时代发展,当年的轻工产业逐步退出历史舞台,厂区成为南通城市重要的工业遗存。对工业遗存场地的景观化改造不仅是增加城市园林绿地的有效方法,更是凝聚城市历史文化精神的手段。但南通现有的工业遗存景
学位
元宇宙是当下的一个热词,许多专家把2021年定义为元宇宙元年。本文试图追溯元宇宙的起源,梳理各方对元宇宙的定义,探索元宇宙的相关核心组成要素,对元宇宙的未来发展方向做出评述。我们建议:对元宇宙应该采取相对包容的态度,乐见其成。同时,要防止对元宇宙的过度炒作。对于元宇宙可能带来的各种挑战,我们有必要未雨绸缪,积极应对未来潜在的风险。
期刊
中文命名实体识别任务一般都被看作序列标注问题,目前常用的解决方案是基于神经网络的深度学习方法。字向量的初始化对于基于神经网络的中文命名实体识别模型的性能影响较大。传统的字向量通常在大规模无标注语料上采用预训练方式得到。但在使用时,这种字向量是静态的,无法体现一字多义的情况。这种静态字向量对语义的表征是受限的。本文旨在研究大规模无标注数据下的预训练方法,通过结合中文字形和预训练语言模型增强字向量表示
学位
为保护和改善城市的生态环境以提高居民生活质量,成都市政府加强了绿化建设,绿化树木的种植数量与面积日益增加。绿化树木作为城市生态系统的重要组成部分,具有多方面的生态效益,但其释放的活性生物挥发性有机物(BVOCs)可能促进臭氧和二次有机气溶胶的产生,对环境空气质量造成危害。为了解成都地区优势绿化树种的BVOCs排放特征及其对二次污染物的贡献,本文采用动态封闭技术和气相色谱/质谱技术采集并分析了8种优
学位
目的:大学生的日常生活中充斥着各种类型的生活事件,伴随事件而来的压力使他们避无可避,正念训练能够有效管理和减轻压力对身心的负面影响。本研究旨在:(1)分析生活事件、正念水平、应对效能和压力知觉之间的关系,构建相应心理机制;(2)使用正念训练干预高校学生的正念水平、应对效能和压力知觉,考察干预效果。方法:本研究有两部分,一为问卷研究,二为干预研究。前者调查某高校大学生,使用五因素正念量表、生活事件量
学位