以大数据驱动的人工智能正在引导第四次工业革命。而深度学习的出现完全改变了自然语言处理的发展轨迹。Google于2018年提出了BERT模型,通过预测被随机遮蔽的词,利用Transformer多层自注意力机制的强大表示能力建模上下文,语言模型取得了突破性的进展。近两年,在更多的训练数据、更优的模型结构、更丰富的训练目标的多层推进下,语言模型快速迭代和发展,已经可以帮助构建出非常智能的对话系统。智能音箱通过更自然的交互方式让用户得以解放双手,因而成为日常生活中使用量很高的产品。但传统制造领域,自然语言处理带来的交互方式的变革,尚未被推广开来。针对智能仪器功能日益繁多,应用场景复杂的巨大挑战,本论文通过设计一个限定域的对话式帮助系统,来改善人机交互的效果。首先搜集并制作了一些对话语料,通过分析,分离出两种对话形态,包括任务型和问答型对话。任务型对话使用基于开源对话框架Rasa的流水线方式处理,包括UI、自然语言理解、对话状态追踪、对话策略学习,以及自然语言生成。传统的自然语言理解模块会将意图识别和槽值识别分开处理,本论文借鉴了基于BERT的联合意图和槽值识别模型,并提出两项改进,相比之下在ATIS数据集上取得了最好的效果。问答型对话则采用检索式方法建模。同时,考虑到在操作仪器的场景中,语音和文字表达能力有限,对于无法用语言准确描述的按键和操作等场景,用户可能会用包含指示代词的自然语言和对话系统交谈。现有的对话系统仅能接受文字和语音输入,只能在文本对话历史中寻找指代对象,而无法跨模态消歧,因此不利于应对以上场景。本论文针对这种现象提出基于拓展现实的UI设计。该方案利用头戴显示器的手部识别功能以及第三方软件提供的3D物体跟踪功能,捕捉会话场景中的视觉信息(包括:图片、操作手势、按键在空间中的三维信息等)来准确还原跨模态的指代对象。这种多模态信息融合的视觉对话帮助系统未来将无纸化的取代厚重的操作说明书,给予用户在实际应用场景上更多的帮助。