【摘 要】
：
自然语言生成是目前非常重要且具有挑战性的一类人工智能任务.长短时记忆(Long Short-Term Memory,LSTM)语言模型是目前最为主流的自然语言生成模型.但是,LSTM语言模型的训练准则是词语级别的交叉熵,这会导致暴露偏差问题.此外,一般自然语言生成任务的评测指标是序列级别的BLEU分数或者词错误率,这与训练使用的交叉熵准则也不匹配.在本文中,我们使用马尔可夫决策过程重定义了自然语言生成问题,并通过从训练数据中提取的先验控制向量来指导生成过程.先验控制向量可以视作是对序列空间的一种先验划分的
【机 构】
：
上海交通大学人工智能研究院人工智能教育部重点实验室 上海200240;上海交通大学计算机科学与工程系跨媒体语言智能实验室 上海200240;新华社媒体融合生产技术与系统国家重点实验室第一联合创新中心
论文部分内容阅读
自然语言生成是目前非常重要且具有挑战性的一类人工智能任务.长短时记忆(Long Short-Term Memory,LSTM)语言模型是目前最为主流的自然语言生成模型.但是,LSTM语言模型的训练准则是词语级别的交叉熵,这会导致暴露偏差问题.此外,一般自然语言生成任务的评测指标是序列级别的BLEU分数或者词错误率,这与训练使用的交叉熵准则也不匹配.在本文中,我们使用马尔可夫决策过程重定义了自然语言生成问题,并通过从训练数据中提取的先验控制向量来指导生成过程.先验控制向量可以视作是对序列空间的一种先验划分的抽象,通过在自然语言生成中引入先验控制向量,我们可以更好的约束自然语言生成的空间.再通过马尔可夫决策过程的定义,我们可以使用策略梯度算法来直接使用测试使用的BLEU分数来代替交叉熵训练LSTM网络.在多个数据集上的实验显示本文提出的方法相比于普通使用LSTM语言模型的基线系统在BLEU分数上有大约绝对2％～3％的提升.
其他文献
工业园区产生的废水通常需要在生化处理后接深度处理过程使之达标排放.随着排放标准中对CODCr排放限值要求的升高,已有深度处理设施往往需要提标升级改造.本研究将Fenton和臭氧两种深度处理方法进行组合,探究Fenton-臭氧及臭氧-Fenton组合工艺对某工业园区污水处理厂生化出水的CODCr降解效果.发现FeSO4·7H2 O、H2 O2、臭氧的最优投加量分别为200、200、45 mg/L,Fenton-臭氧组合工艺能将生化出水的CODCr质量浓度从150.00 mg/L降至40.00～50.00 m
为考察淡水壳菜对原水水质产生的影响,通过室内淡水壳菜的培养,对水质指标及8种嗅味物质的变化进行了研究.结果表明:水中的溶解氧含量随着淡水壳菜培养时间的增加而降低,下降速率为0.018 mg/(L·h);水中的氨氮和总氮含量随着淡水壳菜培养时间的增加而增加,氨氮代谢速率总体为0.6×10-4 mg/(L·h·个),总氮的变化主要受氨氮变化的影响;硝态氮的含量变化较小,而亚硝态氮和总磷基本无变化.另外,水中活体淡水壳菜代谢不产生研究所测定的8种嗅味物质,而有死亡个体的水中会有8种嗅味物质中的3-甲基吲哚和1-
水力停留时间(HRT)是影响AAO工艺脱氮除磷效率的重要因素.采用改良型AAO-MBR工艺处理某农村生活污水,考察了夏季时HRT对处理装置出水效果的影响.试验结果表明,该工艺对低浓度农村生活污水中CODCr、氨氮的去除效果较稳定,平均去除率分别为69.50％、98.90％.TN去除率为26.50％～56.60％,随厌氧段和缺氧段HRT增加而显著提高.TP去除率随好氧段HRT增大而增大,随缺氧段HRT增大呈现先增大后减小的趋势.厌氧段、缺氧段、好氧段适宜HRT分别为2.0、4.0、10.0 h,此条件下装置
水产养殖废水一般在冬季排放,而冬季休耕田需引水灌溉调理土壤性质,因此,文中提出了水产养殖废水养分农田再利用技术.通过小试装置构建模拟休耕田对水产养殖废水进行处理,研究水量、植物类型对水质净化效果的影响,验证土壤、植物、微生物对水质具有综合净化效果.并进一步将小试试验成果用于中试应用试验,探究自然条件下水产养殖废水一次性大量排入休耕田,对地下水背景水质及土壤的影响.结果表明,当水量为300 L/m2时,水质净化效果最好,TN、TP、CODCr去除效率分别为87.6％、57.9％、60.4％;种植植物能显著提
合流制管网溢流(combined sewer overflows,CSOs)是造成我国城镇地表水环境污染的重要原因.文中以广州市东山湖及其相关排水管网为研究对象,通过构建东山湖水动力、水质模型,模拟分析现状条件下CSOs对东山湖水质的影响,以及DN3000支隧建成后对东山湖水质的改善效果.结果表明,DN3000支隧对东山湖CSOs污染防治起到明显作用,该工程建成后,可以保证在典型暴雨时期,东山湖全水域内CODCr、TN、TP均可满足《地表水环境质量标准》(GB 3838—2002)IV类标准.
文中建立了固相微萃取-气相色谱串联两级质谱法测定地表水中的10种藻类代谢产物的含量,研究了萃取时间、萃取温度、萃取剂量、萃取纤维等预处理参数对嗅味物质含量的影响,同时对不同规格的色谱柱进行分离效果比较.结果表明,在萃取时间为25 min、萃取温度为65℃、氯化钠含量为1.7 g的测定条件下,采用50/30μm DVB/CAR/PDMS萃取头进行预处理,HP-5MS色谱柱进行分离,质谱检测器进行测定,可以使检测结果达到最优效果.方法的质量浓度均达到5.00～100.00 ng/L,工作曲线回归方程的相关系数
在用于构建深度学习模型的深度学习框架中,算子的正确计算对于深度学习模型的正确预测至关重要.然而,已有的深度学习框架缺陷检测方法只能通过比较和推测的方式找到不同深度学习框架之间计算结果相差较大的算子,而且无法检测深度学习模型在训练过程中产生的计算错误,具有很大的局限性.针对此问题,本文设计并实现了基于元算子的深度学习框架缺陷检测方法,通过将不同深度学习框架中算子的共性计算逻辑抽象为“元算子”,支持在不改变模型代码的前提下绑定元算子的具体实现,从而可以细粒度地对比同一模型使用不同深度学习框架的运算结果,进而发
针对该项目需要从长江长期取到合格原水,且需要保证取水泵房结构稳定、施工方案成熟经济的工程目标,文章调研了湖北境内江河取水工程的设计,在满足功能需求的基础上,对结构形式、施工便利性及经济性作多方比选,最终确定在赤壁山矶头上游1.20 km处设置固定式取水头部、采用自流式引水钢管、圆形沉井取水泵房内设离心泵的建设方案.工程方案科学合理、结构稳定、施工周期短、取水稳定,可为类似取水工程的设计提供参考.
软件多缺陷定位(Multiple Fault Localization,简称MFL)尝试在含有多个缺陷的软件程序中自动标识出这些缺陷所在的位置.传统的缺陷定位研究一般假设被测软件内仅含有一个缺陷,而实际情况下软件内往往包含多个缺陷,因此MFL问题更加贴近实际场景.当程序中存在多个缺陷时,由于缺陷数量难以准确估计,同时缺陷之间可能存在互相干扰,因此对MFL问题的研究更具挑战性.已有研究表明传统单缺陷假设下的缺陷定位技术会随着程序中缺陷数目的 增多而出现定位效果下降的问题.因此,需要对已有缺陷定位技术加以改进
经过数十年的实践,有必要对我国饮用水深度处理技术的发展进行回顾和总结.文中以杭州主城区为例,总结认为新建水厂需考虑改扩建的需求,活性炭层下设砂垫层能有效降低活性炭出水的浑浊度,前置活性炭工艺需充分考虑活性炭的强度,避免光照能有效降低砂滤池藻类繁殖的风险.同时,对改造中采用臭氧活性炭及膜处理两种典型的深度处理组合工艺的主要设计参数及出水水质进行了对比分析.结果表明,上述两种深度处理组合工艺在水质上的差异主要是浑浊度和微生物.