一种针对UI截图的组件类型自动识别及可交互页面生成的研究与实现

来源 :吉林大学 | 被引量 : 0次 | 上传用户:lm4194
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着软件工程领域对APP(Application,应用程序)的研究越发深入,有关APP的UI(User Interface,用户界面)方面研究越发受到关注,如数据驱动的UI分析和生成,UI的自动化测试与错误检测,UI的设计搜索与布局推荐等。如何提高UI的用户友好程度,让用户更易使用,已经成为热门的研究问题。在APP的实际开发中,比较普遍的做法是通过借鉴其他优秀的作品吸取经验,进而提升自己的UI。参考UI时通常有两种方法:下载并安装APP,或使用UI截图,前者需要耗费大量时间,后者的样例更多且效率更高,但是缺少相关代码、原型文件等信息,使复现工作变得困难,从而影响进一步的交互性感知。针对此问题,本文结合计算机视觉技术和神经网络技术,在需求数据仅有UI截图以及UI组件截图集合的情况下,对收集到的UI组件进行智能分类识别,并能够在UI截图中识别各个组件的类型,分割并保存各个组件单独的图像信息,同时生成XML(Extensible Markup Language,可拓展标记语言)文件,该XML文件经过APP读取可生成能够交互的页面,使设计人员能够更直观的感受应用界面,对其布局、交互性、易用性进行更深一层的感知。同时,设计人员也能在原有用户界面布局的基础上,通过修改XML文件来修改组件的样式与位置,从而更高效地完成编写和测试的工作。为此,本文做了如下工作:(1)收集UI截图和UI组件截图数据集,将收集到的组件数据集按照组件类别分成13个类,每个类精选了具有代表性且不易让研究人员产生分类疑惑的2000个组件。(2)使用计算机视觉技术对UI截图进行灰度化、二值化,识别UI截图各个组件的外部轮廓并提取组件截图,根据识别出的轮廓保存各个组件的位置信息。(3)构建CNN(Convolutional Neural Networks,卷积神经网络)分类器,将13个类别的UI组件截图数据作为数据集进行图像分类训练。(4)依据前步骤CNN分类器的训练结果,针对每一个从UI截图中提取的组件,识别其组件的类别,同时在原UI截图上用不同的颜色标记出包含组件的最小正矩形,以及其具体的组件类别,并生成对应的XML文件。最终,本文提出的方法获得了如下成果:(1)对UI截图中组件类别进行识别,其准确率达到78%。(2)方法生成的XML布局文件可以有效适配不同尺寸、分辨率的终端,并在终端上生成一个还原UI截图组件类型与位置的可交互页面。
其他文献
蛋白质是生物中各类细胞和组织的重要组成部分,在各项生命活动中,起到关键作用。蛋白质在生物机体内发挥作用时,大部分时候是以多个蛋白质的共同参与为基础的。这些共同参与的蛋白质所组成的功能模块,也被称作蛋白质复合物。实验方法识别蛋白质复合物,存在成本高等问题,因此有必要使用计算方法识别蛋白质复合物。在计算方法识别蛋白质复合物的领域中,之前已经提出了许多成功的方法来检测蛋白质相互作用网络中的蛋白质复合物,
学位
抚顺市是一座因煤而城、因煤而兴、矿荣城荣、矿竭城衰的煤炭资源枯竭型城市,汽车尾气、生活污水以及因煤炭矿区生产引发的地质灾害和环境污染等城市生态环境质量问题已严重制约抚顺市经济建设、城市转型与可持续发展。因此,分析抚顺市生态环境质量影响因素,评价抚顺市生态环境质量变化趋势,找出阻碍抚顺市生态环境质量提高的障碍因素,提出有针对性的提升路径是急需解决的问题。本文在分析国内外一般城市、煤炭资源型城市生态环
学位
为探究火灾发生时CO浓度、能见度、火场温度等火灾参数的时变特性.以某老旧活动中心为例,通过Revit软件构筑该建筑物理模型,利用火灾动力学(Fire Dynamics Simulator,FDS)软件Pyrosim对3种火灾工况开展数值模拟计算.研究结果表明:窗户开启比窗户关闭在火灾CO浓度、能见度、温度到达临界时间至少分别降低41.3%、11.8%、16.3%;打开楼梯间附近窗户比打开火源处窗户
期刊
医药产业关系国计民生,是“中国制造2025”和战略性新兴产业的重点发展领域,是健康中国建设的重要基础。“十四五”规划纲要将健康中国建设放在“提高国民素质,促进人的全面发展”高度来谋划,预示着医药企业成长发展的巨大机会。医药行业具有高风险、高投入、长周期等特点,在全球股市不景气及新冠病毒肆虐全球的多重背景下,如何利用债务资金助力企业长远健康发展是值得探讨的重要问题。以康恩贝为研究对象,以异质性债务视
学位
在当前建设数字中国、加快数字化发展战略愿景引领下,云计算、大数据等互联网信息技术被运用在财务管理当中,成为一件势在必行的事情。特别是对于国有企业而言,面对全面深化改革这一全新的目标,做好财会信息化建设成为当前迫在眉睫的事情。本文主要从当前国有企业财会信息化建设概述和重要性出发,分析当前阶段国有企业进行信息化建设所面临的问题,并提出解决对策。
期刊
近年来,随着互联网的高速发展,越来越多的电子文本出现在我们的生活中。通过输入法打字进行文本产出成为了日常生活不可或缺的一部分,但随之而来的则是因误拼、错拼而产生的拼写错误,对文本质量造成了较大影响。因此如何对生成后的文本进行准确的拼写检查具有较高的现实意义。中文拼写检查是针对中文文本错误进行检测与纠正的一项工作。传统的文本校对技术面对目前的大数据量,难以进行有效处理。近年来,预训练语言模型在不同任
学位
长链非编码RNA(lncRNA)在许多关键的生命活动中起着至关重要的地位,并可以通过与蛋白质的相互作用参与复杂的人类活动。因此,精准地对lncRNA-蛋白质相互作用进行预测在了解lncRNA与细胞调控、基因表达以及各种疾病发病机理之间关系的问题发挥着重要的作用。由于在实际研究中,通过高通量生物实验来鉴定lncRNA-蛋白质相互作用的方法耗时且昂贵。因此,寻找一种基于计算的方法来预测lncRNA-蛋
学位
随着我国水利、交通、采矿等行业地下工程建设的快速发展,开挖作业的范围和深度不断增加,高地应力和开挖扰动引起的岩爆灾害频发。岩爆作为一种突发性强、危害性大、作用机理复杂的动力失稳地质灾害,直接威胁着人员、设备和建筑的安全,严重时甚至会诱发地震。因此,为降低岩爆的风险和损失,准确地预测岩爆烈度等级是地下工程安全高效施工的关键。本文主要从数据集优化和算法改进两个角度建立岩爆预测模型,旨在提高对岩爆烈度等
学位
中国《建筑防烟排烟系统技术标准》对高大空间自然排烟的排烟设施设置及排烟量有较为明确的规定,但对自然排烟工况下补风设施设置并不明确。采用FDS软件模拟了10种不同自然排烟及补风工况,并对各种工况进行了火灾排烟效能的分析。验证了国家标准中对自然排烟设施设置及排烟量规定的有效性,并讨论了适合于高大空间自然排烟的补风设施设置工况要求。
期刊
《义务教育语文课程标准(2022年版)》提出从“单元整体教学”角度设计“单元任务群”,是语文课程教学的重点走向。但受每节课教学时间固定的局限,“单元大任务”必然要落实到每一篇课文、每一课时中。整体把握篇章,明确单元目标;用心解读教材,发现表达特色;紧扣表达特色,创设实践任务,便是靶向素养培养、基于单元整体、立足文本解读,设计“单篇小任务”的有效策略。
期刊