【摘 要】
:
随着大规模预训练语言模型的推出,文本生成技术研究取得了突破性进展,但是在开放性的社交文本领域,生成的文本内容缺少拟人化特征。针对此问题,提出了一种用户级的细粒度控制生成模型,即基于GPT2结构设计了Encoder-Decoder编解码器框架,在Encoder端对用户静态的个性化信息建模编码,并在Decoder端添加了双向独立的注意力模块,用于接收该静态个性化特征向量,而原始GPT2结构中的注意力模
【基金项目】
:
国家自然科学基金资助项目(62161040); 内蒙古自治区自然科学基金资助项目(2021LHMS06004);
论文部分内容阅读
随着大规模预训练语言模型的推出,文本生成技术研究取得了突破性进展,但是在开放性的社交文本领域,生成的文本内容缺少拟人化特征。针对此问题,提出了一种用户级的细粒度控制生成模型,即基于GPT2结构设计了Encoder-Decoder编解码器框架,在Encoder端对用户静态的个性化信息建模编码,并在Decoder端添加了双向独立的注意力模块,用于接收该静态个性化特征向量,而原始GPT2结构中的注意力模块负责捕获用户文本中的动态个性化特征,即行文风格、表达方式等。最后动态加权融合各注意力模块分数并参与后续解码,自动生成以用户个性化特征属性作为约束的社交文本。另外,用户基本信息的语义稀疏性会导致生成文本偶尔与某些个性化特征存在矛盾,故采用BERT模型对Decoder端输出数据与用户个性化特征进行一致性理解的二次增强生成,最终实现个性化的社交文本生成。实验表明,对比GPT2基线模型,该模型流畅度提高了0.3~0.6个百分点,且在不损失语言流畅度的基础上,二次生成使个性化和一致性两个评价指标都有8.4个百分点、9个百分点的明显提高。证明了所提模型能够有效辅助用户创作,生成流畅且符合用户个性的社交文本。
其他文献
小学中低年级语文朗读教学是为了通过朗读将文章内容内化为语言知识,通过朗读培养学生对文本的解读能力、语言感知能力。但目前小学中低年级语文朗读教学中还存在很多问题,本文就对小学中低年级语文朗读教学的现状进行分析,制定教学方案。
【研究背景】丛枝菌根真菌(AMF)是自然界中分布极其广泛的一类土壤真菌,能与约80%的陆地植物(包括大部分农作物)形成共生关系,是植物提高包括磷在内各种养分吸收利用的重要途经之一。豆科作物是根瘤菌的天然寄主,能与根瘤菌共生形成根瘤,利用空气中分子态氮进行生物固氮。磷是作物第二大必需元素,且常成为可以自身固氮的豆科作物限制性元素。在豆科作物中,根瘤菌与AMF共同参与调节作物根际环境,影响豆科作物生长
<正>教学实录教学目标:1.选一种动物作为主角,想象它拥有相反的特征。2.能围绕一个话题展开大胆的想象,创编故事。3.创编的故事里有奇异、有趣的情节。教学过程:板块一欣赏儿歌,点燃逆向思维师:来,我们欣赏一首有趣的儿歌。(播放视频)师:这首儿歌的题目是——生:《颠倒歌》。师:在这首儿歌里,你发现了哪些有趣的颠倒现象?生:老鼠成了森林之王。生:公鸡会下蛋,母鸡会打鸣。
随着工业4.0时代的到来,数字化、智能化的影响越来越大,不论是国企还是私企,大部分都在探索数字化管理转型。目前我国已成为世界最大的客车生产国,出口量也在逐年递增,但在产品高端化和质量方面距世界知名客车企业还有差距;同时随着社会经济发展和主要矛盾的变化,市场客户对于客车的定制化、高端化需求越来越高,给客车企业内部运营带来了很大挑战,也增加了生产管理的复杂度和难度。在当下数字化技术快速发展的背景下,客
2019年,现实主义题材剧脱颖而出,主旋律剧成为市场热点,重剧情、重演技、重制作的好剧受到观众喜爱。对于电视台来说,晚间黄金时段播出电视剧的传播效果意义重大。本文以央视和五大省级卫视的电视剧收视情况为例,分析2019年电视剧整体传播格局与趋势。当前,视频网站已成为电视剧网络传播的重要平台,电视台与视频网站之间既有合作也有竞争;虽然台网联播剧仍然具有一定优势,但纯网剧已呈现强劲的发展势头。此外,电视
当下全球化趋势不断加强,作为文化产品的电视剧在跨文化传播中扮演着重要角色。本文以泰国为例,具体研究中国电视剧跨文化传播现状,进而探讨其发展路径。我们以泰国青年群体作为研究对象进行深度访谈,并从“文化折扣”的角度展开分析。研究发现,受文化政策与民族环境等影响,泰国青年在与中国电视剧接触时,存在受跨域发行的语言差异、中国文化知识了解程度较低而影响观感等问题,同时也存在他们对中国现代化生活化等符合泰国青
城市化进程的加快,必定会带来与之相关的环境问题,保护生态环境、改善城居环境已经成为当前城市化发展当中的关键性问题,对城区水环境进行治理与污染控制刻不容缓。笔者在文章当中对当前国内城市水污染进行了分析,对城市水环境治理与污染控制工作中存在的比较突出的问题进行了详细分析,对如何提升该部分的工作质量做出了深入探讨,以供参考。
荷兰画家伦勃朗的晚期作品呈现出一个显著的特点,即粗糙的笔触。从现象学角度来看,粗糙的笔触作为一个可见的现象在对绘画的视觉感知中发挥着重要的作用。在伦勃朗的作品中,现实的笔触的显现与非现实的物象的显现处于一种相互争执的关系当中。其绘画的意义就在这两种显现的相互作用中得以生成。
《甄嬛传》是近几年后宫戏的典范之作,自开播就倍受国人的追捧,剧中跌宕起伏的故事情节,至今还让人津津乐道。基于该剧在国内良好的口碑和超高收视率,随后被引进美国,然而却在国外惨遭"滑铁卢"。美版《甄嬛传》之所以海外遇冷,除了中西方文化的差异外,台词翻译不到位也是造成受众不接受的重要原因。本文以电视剧《甄嬛传》为例,就影视翻译的特点、海外翻译存在的问题以及翻译策略等几个方面进行浅析。
<正>一、司法警官院校人才培养的特有优势(一)理念优势。司法警官院校自创办之日起,便牢固树立了为我国监狱、劳教事业服务的办学理念,能够主动顺应我国司法体制改革的方向,以满足监狱、劳教系统人才需求为目标,根据监狱、劳教人民警察队伍建设的需要设置专业、调配师资、整合教育资源,具备为监狱、劳教系统提供良好服务的条件。(二)文化优势。通过与监狱、劳教机关长期的合作与交流,司法警官院校的校园文化中已经广泛融