【摘 要】
:
文本生成,将不同形式的输入转化为文本形式的输出,赋予了计算机与人交流的能力,是近期自然语言处理方向研究的热点领域。受计算能力的快速发展,基于深度学习的文本生成技术取得了成功。随着互联网产业的蓬勃发展,文本生成的诸多方向,如图片描述生成、神经机器翻译,文本摘要也得到了广泛的运用。大量场景为研究者提供了扎实的数据基础。在这些方向中由于贴近用户需要,个性化文本生成具有很强的实用性和社会价值。尽管对于一般
论文部分内容阅读
文本生成,将不同形式的输入转化为文本形式的输出,赋予了计算机与人交流的能力,是近期自然语言处理方向研究的热点领域。受计算能力的快速发展,基于深度学习的文本生成技术取得了成功。随着互联网产业的蓬勃发展,文本生成的诸多方向,如图片描述生成、神经机器翻译,文本摘要也得到了广泛的运用。大量场景为研究者提供了扎实的数据基础。在这些方向中由于贴近用户需要,个性化文本生成具有很强的实用性和社会价值。尽管对于一般的文本生成问题,已经有了比较好的解决办法。但个性化文本生成问题还未得到很好的解决:1)忽略了用户词语偏好的动态性,没有捕捉用户词语偏好随时间的改变并进行建模2)未考虑用户词语偏好的迁移性,用户在新的领域没有数据,如何利用原有数据构建用户表征仍存许多问题。本文从捕捉用户写作动态性和迁移性,提升用户表征,对用户个性化的文本生成问题进行了探索研究。本文的主要工作概述如下:在用户个性化图片描述生成任务中,之前的工作集中在使用用户高频词,以及用户属性信息或简单的用户表示,忽视了用户表征的动态性。本文提出多模态层次化生成模型(MHTN)来解决这一问题。本文从用户短期偏好对目标文本的分析开始着手,验证用户文本短期偏好对目标文本的贡献。用层次化的基于自注意力机制的Transformer模型对用户短期文本偏好,用户长期文本偏好以及图像特征进行建模。在捕捉用户短期文本偏好的过程中本文除了用自注意力机制获得文本表示外,还使用用户特征对短期偏好加以选择,同时融入了时间差表示机制,提升了用户短期特征的表征效果。在真实数据集上的实验说明,本文提出的生成方法取得了良好的效果,展示了构建具有动态性用户表征的作用。在跨领域个性化评论生成任务中,源领域用户在目标领域缺少数据的这一问题很少被涉及。本文关注用户表征可以从源领域迁移的特点,使用迁移学习的思想提出了跨领域个性化评论生成模型(CDPG)。本文基于领域判别器,对用户源领域的数据提取出领域无关的特征向量,通过与物品以及用户当前目标短语表示互相关注的方式,构建用户表示。此外在解码器的部分为了高效利用输入的字符以及当前物品的信息,融入了基于输入词汇的复制机制。在多个公开数据集上进行的实验结果表明,本文提出的方法在生成效果上有明显的提升,展示了用户表征的可迁移性。综上所述,本文在个性化文本生成的用户表征提升的动态性和迁移性方面,提出了两个新颖的模型,在多个公开数据集进行的实验说明,捕捉用户写作动态性和迁移性可以从不同方面提升用户的表征,提高了文本生成的效果。
其他文献
本文以Mg-8Zn-1Mn-3Sn镁合金为基础合金,采用合金化的方法在合金中添加稀土元素Gd,通过X射线荧光光谱分析(XRF)、光学显微镜(OM)、扫描电子显微镜(SEM)、X射线衍射仪(XRD)、能谱分析仪(EDS)、布氏硬度计以及室温拉伸实验等表征测试手段系统研究了稀土Gd对Mg-8Zn-1Mn-3Sn镁合金铸态、挤压态的显微组织和室温力学性能的影响。同时系统研究了不同热处理工艺对Mg-8Zn
随着视频数据的突飞猛涨,大规模视频处理任务需求急剧增加。视频分析作为作为目前最流行的智能业务之一,在智慧城市等诸多领域扮演着重要角色,因此如何及时处理视频数据获取有效信息,进而向用户提供快速的视频分析业务是亟待解决的重要问题。若直接丰富前端的计算资源,增加前端计算能力,就会大大提高成本,而直接将视频的分析任务卸载到远端的云进行处理,会消耗大量的带宽,增加核心网的负担,造成较大的视频分析时延。移动边
绝缘子广泛应用于输电线路当中,是维持电力系统安全稳定运行的重要部件。而在覆冰条件下,绝缘子的电气强度会逐渐下降,容易引发较长时间的停电事故,威胁电力系统可持续运行,造成重大经济损失。目前,国内外学者对于覆冰绝缘子的闪络特性、影响因素及放电机理进行了大量研究,但是,大多数覆冰试验都是在人工气候室内完成。人工气候室模拟的环境条件和自然环境有较大区别,绝缘子在实际情况下的运行状况也有所不同。此外,国内外
本文依托唐山瑞丰950mm热连轧带钢板形设定模型联合开发项目,根据辊系弹性变形理论,针对四辊板带轧机,采用影响函数法和Fortran语言编辑开发带钢凸度影响率通用解析模块,对影响因素进行回归分析,得出带钢凸度与影响因素的具体数学计算模型,建立高精度带钢凸度影响率数学模型和均载辊缝凸度数学模型,为建立板形控制系统数学模型及参数调优提供解析工具,系统地研究了板形控制理论、数学模型及控制策略,主要研究内
无线电能传输(WPT)技术以磁场、电场、微波等为传输介质,实现电能的无线传输,也称之为非接触电能传输技术。其作为一种安全、灵活、便捷的电能传输与电源供给技术,可广泛应用于电气化交通工具(电动车、地铁、高铁等)、家电与电子消费工具(手机、平板电脑、电动剃须刀等)、移动机器人及许多移动生产机构(移动工厂吊装设备、运载装备等),特别适合于水下、煤矿等环境工作的电气装备。作为一种电源供给技术,稳定性、可靠
胎儿心电(fetal electrocardiogram,FECG)信号能提供胎儿健康状况的重要信息,通过围产期胎儿心电监护可以早期诊断妊娠期及分娩期的胎儿宫内缺氧、窘迫以及先天性心脏畸形、新生儿心率失常、胎儿宫内发育迟缓等疾病,从而降低围产期胎儿的发病率和死亡率。胎心宫缩图(cardiotocography,CTG)是目前在临床中使用最多的胎儿监护技术,但是利用CTG很难获得可靠的瞬时胎儿心率变
密度峰值聚类算法是一种通过在决策图中寻找聚类中心实现快速聚类的新型聚类算法。该算法假设每个簇的聚类中心都拥有最大密度、任意簇间的聚类中心相隔较远。通过计算得到每个数据点的密度和距离生成决策图,根据聚类中心的特征在图中进行选择后完成剩余点的就近分配。该算法凭借参数少、能处理任意形状的簇、简单快速等优点脱颖而出,然而也存在结果对唯一参数敏感、密度公式单一、选取聚类中心需要人工干预、算法复杂度高等问题。
利用管道进行物料运输,具有输送量大、结构简单和安全可靠等优点。抛光打磨车间和机加厂房等典型劳动密集型作业场所在生产过程中会产生大量的金属粉尘,这些粉末在通过通风排尘管道排除的过程中会产生沉积,需要进行定期清理。本文的研究对象是一款由摆动气缸驱动的并能适应不同管径的管道机器人,用于搭载清灰装置进行管道清理。主要的研究工作如下:(1)确定可变径管道机器人的设计方案。总结不同管设计方案的优缺点,根据本文
RV减速器由于其独特的优势,在工业机器人领域逐渐替代谐波减速器已经成为趋势。随着《中国制造2025》的发布以及制造强国战略的全面推进实施,工业机器人在我国将会出现一个井喷式增长需求。然而,在工业机器人的核心部件RV减速器领域,尤其在性能和工作寿命方面,国内和国外存在较大差距。润滑剂作为RV减速器的核心组成成分,其性能将直接影响RV减速器的振动和工作寿命。然而,在该领域我国研究颇少。针对国产某型号R
近年来,移动互联网迅速发展,日益增长的移动数据流量给蜂窝通信网络带来了严峻的挑战。第五代移动通信(5th Generation,5G)是最新一代蜂窝移动通信技术,已经成为学术界和工业界探讨和应用的热点。5G的性能目标是提高数据速率、减少延迟、降低成本和提高系统容量等等。在5G众多关键技术之中,大规模多入多出(Multiple Input Multiple Output,MIMO)技术是其中之一,相