近年来,随着通信技术的高速发展和移动终端设备的大量普及,人们越来越依赖移动设备进行工作和生活,移动应用程序也就变得越发重要。对于移动应用程序（Application,App）开发方来说,要想让App在充斥着大量同类产品的应用市场中脱颖而出,就必须使其具备丰富的图形用户界面（Graphical User Interface,GUI）和令人愉悦的用户体验（User Experience,UX）。那么如何设计和开发好的GUI对于移动应用程序来说就是至关重要的问题。通常来讲,开发应用程序GUI的过程涉及两个阶段:设计UI和实现UI。在UI设计方面,通常会由拥有特定领域知识的设计师采用图像编辑软件（例如Sketch和Photoshop）完成。在完成UI设计之后,再由开发人员将其转换为代码实现,经过多轮测试改进后最终发布到应用市场供用户下载使用。高保真UI设计图像主要以像素的形式对所需的界面元素及其空间布局进行描述,在将其（界面整体或者部分界面）转换为代码的形式时,由于需要进行组件细化、布局构建等工作,需要一定的试错成本,如果能够直接从高保真UI设计图像生成界面树,来表示在GUI实现中需要使用的控件（分为容器和组件）元素以及组成方式,可以极大的简化此过程,从而提升开发效率。理想的界面树应该以实际开发中需要使用的真实控件类名作为节点,控件之间的嵌套关系作为父子关系,可以作为详细代码的骨架来加速GUI实现。然而目前学术界鲜有能够直接生成界面树的研究,大多是先进行界面组件（界面树的叶子节点）检测然后再确定组件所属容器,直至最终生成界面树（如REMAUI和REDRAW）。这类做法由于普遍存在的组件漏检和多检问题以及难以确定组件所属容器,很难保证界面树的生成效果;还有一些研究利用DSL（Domain Specific Language）作为粗粒度的界面抽象（如pix2code）,先从高保真界面图像生成DSL,再转换成界面树。这类做法得定义和维护DSL,并且需要两次转换才能得到界面树,导致生成效果不理想。而UI2code与本研究较为相似,都是直接生成界面树,但是该研究存在特征信息长距离依赖和空间位置信息丢失等问题,影响了界面树的生成效果。针对以上问题,本文提出了一种基于改进的Transformer的神经网络翻译器来自动学习高保真设计图像到界面树转换的知识,能够自动将高保真的UI设计图像转换成由真实界面节点构成的界面树,以辅助开发人员进行界面理解,降低开发的难度和成本。本文生成的界面树可以视作最初的“引导指令”,能够用于后续的GUI具体实现（例如,填充颜色,引用图片,输入文字等）并采用完全匹配率、BLEU和编辑距离进行生成效果评估,完全匹配率用于衡量生成的界面树与真实界面结构完全一致的比例,BLEU和编辑距离主要用于衡量没有完全匹配的界面树与真实界面结构的近似程度。本文主要工作如下:（1）现有移动应用程序数据集质量不高、信息不完全或信息驳杂,难以直接应用到本研究之中,因此,本文首先制定了筛选规则,从现有数据集之中筛选出了一部分可用数据,此外,利用爬虫从谷歌商店按应用程序类别收集移动应用程序的APK文件,然后使用自动测试工具在模拟器上运行APK文件,自动获取移动应用程序的界面截图和运行时数据,最后进行数据处理构造出界面树图像数据集。（2）现有研究在将图像特征编码成上下文向量以解码生成预测文本时存在长距离依赖和空间位置信息丢失等问题,对此,本文使用Transformer和CNN进行界面树的生成,利用Transformer的自注意力（Self-Attention）来解决特征编码的长依赖问题,同时利用空间位置编码来改善空间位置信息丢失的情况,并使用完全匹配率、BLEU和编辑距离对生成效果进行评估,结果显示,本文生成的GUI界面树与真实界面结构的完全匹配率达到71.16%,相较已有研究提升了8.3%,BLEU得分达到93.36%,相较已有研究提升了5.05%,平均莱文斯坦编辑距离为2.9,平均树编辑距离为2.14。（3）由于界面树具有强层次结构关系,而Self-Attention将输入的所有特征信息都视作同级元素,导致其较难学习到控件之间的层次关系,因此,为了进一步提升界面树的生成效果,本研究提出了先验记忆自注意力,在编码器的每一层加入了持续存储的记忆力模块来学习特征的先验知识,同时利用其进行注意力计算得到该层的先验信息并将其向后续所有高层传递,使其参与高层的注意力计算,加强了模型对图像特征的理解能力。本文利用改进后的模型进行GUI界面树生成,结果显示,在各项指标上均有明显提升,其中,完全匹配率达到72.22%,BLEU得分达到93.8%,平均莱文斯坦编辑距离为2.75,平均树编辑距离为2。