【摘 要】
：
在自然语言处理领域,句子表示方法能捕捉文本的不同信息,如卷积神经网络捕捉短语信息,循环神经网络捕捉时序信息等.自我注意力机制能够描述任意词对之间的重要程度,但是缺少
【机 构】
：
中国科学技术大学 计算机科学与技术学院,合肥,230027
论文部分内容阅读
在自然语言处理领域,句子表示方法能捕捉文本的不同信息,如卷积神经网络捕捉短语信息,循环神经网络捕捉时序信息等.自我注意力机制能够描述任意词对之间的重要程度,但是缺少词语间相对位置信息.我们提出了专注于相对位置的自我注意力模型(Relative Positional Self-Attention Network,RPSAN).在模型中,我们设计了远距离屏蔽矩阵,通过屏蔽词语相对距离较远的自我注意力值,来提取句子的局部信息.另外,我们设计了一种新的融合机制,通过softmax函数整合不同的句子表示来减少模型复杂度.实验表明,相比于其他基于注意力机制的模型,我们的模型在斯坦福情感分析数据集(Stanford Sentiment Treebank,SST)上有着最优的表现、最低的训练成本,并且在另外四个公开的文本分类数据集上获得了最优的分类正确率.
其他文献
通过现阶段综合实践活动的课程背景,提出了整合生活资源,拓宽综合实践活动实施渠道的策略,即,整合地方资源特色,丰富活动主题;整合学校、家庭资源环境,拓宽视界;整合相似课程
在我国社会对人才方面的要求越发增高的状态下,我国的社会经济也在逐步发展.并且,高学历的人才在大数据库中显示也在以逐年上升的状态发展.家长对孩子的教育工作越来越重视的
伴随着城市化进程的不断加快,城市形象塑造逐渐发展成为了城市建设的重要内容,但我国城市形象塑造缺乏独特性,国内特色城市少之甚少.在文化资本的影响下,饮食文化成为了塑造
为了明确高吸附性机制砂石粉在防水砂浆中应用的技术可行性,采用片麻岩机制砂及其石粉制备防水砂浆,研究了石粉部分替代粉煤灰后,对其和易性、强度、体积稳定性的影响.结果表
EM(Expectation Maximization)算法是含有隐变量(latent variable)的概率参数模型最大似然估计、极大后验概率估计最有效的算法,但很容易进入局部最优现象,对此提出基于半监
为了促进协作系统中用户的合作行为,激励机制得到了广泛的使用.然而,现有的激励机制往往存在无条件合作策略占优互惠策略的现象,进而抑制了合作的涌现.为了解决这一问题,本文
针对烟花算法收敛速度慢和求解精度不高,论文提出了一种改进烟花算法——带柯西变异的自学习改进烟花算法.改进算法用全局搜索能力更强的柯西变异算子替代高斯变异算子,增大