面向视障用户的图表图像信息提取及听觉化展示方法研究

来源 :吉林大学 | 被引量 : 0次 | 上传用户:hebeihuazi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
许多视障人士会像视力正常的人一样在日常生活中使用计算机来查询资料、阅读和书写电子文档以及收发电子邮件。对于视障用户来说,在使用计算机的过程中想要获取所需信息,这难免会遇到一些困难,使用感官替代的方式可以有效解决这些难题。其中应用最广泛的就是屏幕阅读器,因为它价格低廉且使用简单。屏幕阅读器的使用,解决了视障用户信息获取中遇到的诸多困难。对于一些非文本信息,开发者们大多使用附带相应文本描述信息的方式将非文本信息内容传递给视障用户,这种等效替代的方式在许多场景中取得很好的效果。但是,对于图表图像来说,这种方式并不能完全满足视障用户获取信息的需求。本文针对视障用户图表图像信息获取提出一种新的解决方案,旨在自动化提取图表图像的内容信息并将内容信息以一种不同细化程度的听觉化方式展示给视障用户。图表图像信息提取主要分为三个部分:第一部分,对视障用户所浏览的图像进行提取并分类,将这些图像分类为柱状图、折线图、散点图、饼状图和非图表图像;第二部分,采用了基于Faster-RCNN的目标检测算法对图表图像中不同内容进行检测并在此基础上进行图像的分割;第三部分,根据图表图像分类和分割结果使用不同的信息提取算法对图表图像的信息进行提取。面向视障用户的图表图像听觉化展示方法,是一种由粗略到详细分层次递进的展示方式。我们首先将图表图像的标题以合成语音的形式展示给视障用户,视障用户听到标题信息后就可以初步判断这个图表图像是否是自己感兴趣的信息,从而做出是否继续访问的决定。如果视障用户对此图表图像不感兴趣,他可以选择跳过此图表。如果视障用户对此图表图像感兴趣,那么接下来我们会将该图表文本描述信息的合成语音展示给视障用户,文本描述信息是使用模板方法生成的。如果视障用户还想获取更详细的信息,我们会使用基于空间音效的听觉化展示方式将更详细的图表图像信息展示给视障用户。在本文中我们还以对比实验的方式,对我们提出的模板方法和空间音效听觉化展示方法做了更深入的研究。
其他文献
互联网技术的快速发展导致信息的爆炸式增长,海量的信息满足了用户对信息的需求,但同时也带来严重的信息过载问题。作为解决信息过载问题的有力手段,推荐系统可以根据用户的个性需求、兴趣爱好、历史行为等信息,以个性化地方式为用户提供其感兴趣的信息、物品等。推荐系统的早期方法大多基于协同过滤思想和物品内容特征。最近,随着深度学习、注意力机制、图卷积网络在各自领域相继取得成功,研究人员开始尝试将这些新兴技术应用
背景与目的:血管性痴呆(Vascular dementia,VaD)是痴呆的第二大种类,仅次于阿尔兹海默症(Alzheimer’s disease,AD)。近年来痴呆的发病率逐年增长,VaD也受到越来越多的重视,但目前临床中尚无有效治疗VaD的手段,因此迫切需要探索安全、疗效切实、临床普及程度高的治疗措施。远隔缺血后处理(Remote ischemic postconditioning,RIPos
目的:应用网状Meta分析评价10种抗抑郁药物(氟西汀、氟伏沙明、艾司西酞普兰、米氮平、氯丙咪嗪、文拉法辛、度洛西汀、帕罗西汀、氯米帕明、舍曲林)治疗强迫症(obsessive compulsive disorder,OCD)的疗效及安全性。方法:计算机检索EMbase,Pub Med,Cochrane Library,以及中国知网、万方数据库、中国生物医学文献数据库、维普期刊资源数据库,检索日期
车架作为货车的主要承载部件,在货车结构中扮演着十分重要的角色,因此车架的安全性与可靠性对于整车来说是至关重要的。因此,本文基于遗传算法,在满足可靠度的前提下,对车架进行了轻量化设计。本文所做工作如下:1、建立了车架拓扑优化模型。以单元密度作为设计变量,以结构柔度最小作为目标函数,以结构体积分数作为约束条件,分别针对弯曲、扭转、制动和急转弯四种典型工况对车架进行了拓扑优化,同时参考同类型车架横梁与纵
背景:原发性胆汁性胆管炎(primary biliary cholangitis,PBC)是一种肝内小叶间胆管的慢性非化脓性炎症,并逐渐进展为肝纤维化、肝硬化,最终导致肝衰竭。熊去氧胆酸是原发性胆汁性胆管炎的一线用药,可有效改善肝功能,减慢肝纤维化进展,但约40%的患者应用熊去氧胆酸治疗效果不佳。然而,二线治疗药物奥贝胆酸应用于熊去氧胆酸不能耐受或效果不佳的患者只有50%有效。所以,到目前为止肝移
分子的手性是指一个分子与其镜像不可重叠,这种立体异构形式在化学领域通常被称为对映体。手性在分子尺度甚至在地球生命的进化过程中起着至关重要的作用。同时,科学家们逐渐将手性应用到更多方面,例如手性药物的合成、非对称合成、圆偏振发光材料、手性器件、信息加密等。这里的圆偏振发光指的是手性发光材料在固定波长的激发光照射下发出不同的左手或右手圆偏振光的现象。有机圆偏振(Circularly Polarized
研究目的:探讨白蛋白-胆红素评分(albumin-bilirubin score,ALBI)评估肝硬化合并食管胃静脉曲张出血患者预后的价值,并与Child-Turcotte-Pugh(CTP)评分和终末期肝病模型联合血清Na评分(MELD-Na)进行比较。进一步探讨ALBI评分联合其他标志物(血清Na、AST)对于肝硬化合并食管胃静脉曲张出血患者预后的评估价值,用于指导临床实践。研究方法:回顾性分
目的:探讨QRS终末段扭曲(QRS distortion,也称Grade 3 ischemia,G3I)、额面QRST角(frontal QRS-T angle,fQRS-T角)对于急性ST段抬高型心肌梗死患者近远期预后的预测价值,找出fQRS-T角预测患者12个月及42个月内全因死亡的临界值,并比较这两项指标单独应用和联合应用时对预测价值的影响。方法:1.回顾性收集2017年1月1日至2017年
传统汽车生产线机械化线体采用最原始的悬挂式积放链输送形式,汽车吊具停止依靠撞击实现,造成吊具和轨道不可避免地出现晃动。同时生产线经历了因车型并入的多次改造,整体钢结构改动量较大,承载能力降低。如何在原生产线上实现车型改造及产能提升,缩短研发周期,降低研发成本,提高设计质量是当前车企的研究热点之一。有限元计算分析及结构优化是实现其关键结构(C型吊具)安全性和可靠性的有效手段。本文采用建模软件和编程语
在城市智能计算中,基于定位轨迹数据(GPS)和兴趣点数据(Points of Interests,POI)的城市功能区域划分,可以为城市道路规划、智能交通调度和基于位置的社区服务等多个方面提供有效支撑。然而,受限于城市区域的连通性、兴趣点分布的聚集性以及轨迹与区域功能之间的弱相关性,现有研究通常仅能实现行政区域级别的粗粒度划分,难以满足城市计算的需要。本文在城市计算背景下,针对城市功能区域划分这一