面向社交媒体的中文词法分析研究

来源 :南京理工大学 | 被引量 : 0次 | 上传用户:losches
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网技术的高速发展,人们能够在互联网上获取到的信息与日俱增。互联网上出现了越来越多以社交为核心的媒体,如微博、推特,人们开始将网络作为自己表达情绪、态度和感觉的平台。网络社交媒体因此不断壮大,并且用户数目不断增多,每时每刻都有数量庞大的信息在网络上产生、传播。而面对如此丰富的信息、海量的社交媒体语料,目前却没有一套有效的词法分析系统,仅靠人工标注、追踪是难以实现有效处理的。因此,本文主要对社交媒体词法分析任务中的中文分词及命名实体识别进行研究。本文前两章对目前该类问题的研究现状和基本技术进行了详细的介绍,然后针对现有研究的不足之处,在第三章和第四章中分别对面向社交媒体的中文分词和命名实体识别任务提出了解决方法:(1)面向社交媒体的中文分词任务,提出了基于字典资源及新词发现信息的特征工程,并使用了 LSTM-CRF算法进行中文分词。因为社交媒体上语言不规范、新词众多等特点,本文设计了基于字符类别的字典资源特征,并结合新词发现算法提出了新词发现特征。使用LSTM-CRF算法结合特征工程与深度神经网络方法,能够有效地进行社交媒体中文分词。相比传统条件随机场,本文使用方法在未登录词的召回率这一指标上,有很大的优势。(2)面向社交媒体的命名实体识别任务,提出了融合嵌入表示的条件随机场算法(EMB-CRF)进行命名实体的识别,使用到了结合分词信息的字位置嵌入作为特征。融合了嵌入表示的条件随机场算法将嵌入表示视作稠密向量特征,与传统特征函数具有相同的地位。此外,基于对语料中实体的统计分析,提出了基于点互信息的预标注特征。使用了这种预标注特征的EMB-CRF算法,在相关数据集上的性能表现略有改善。
其他文献
生殖细胞基因编辑技术自2013年被发现以来,在生物界引起广泛的关注。作为一种特效的疗法,通过生殖细胞基因编辑技术对致病基因进行“剪除”,成为了现代生物医学研究人员追求的目标。然而,“贺建奎事件”的出现让学界开始对生殖细胞基因编辑技术重新审视。生殖细胞基因编辑技术以人体作为实验对象,引发了一系列社会、伦理、法律争议。我国有关生殖细胞基因编辑技术的法律规范存在较多不足。如何通过法律实现良好的监管和治理
毫米波介质材料已广泛应用于卫星通信、军事航空航天、精确制导等行业各领域,且经常需要工作在变温环境下。对于如高速飞行的航天飞行器上的天线罩等介质材料,需要经历常温至
钢筋的锈蚀是混凝土结构劣化的主要原因。这种恶化对残余强度的影响是确保混凝土结构安全运行的关键。虽然近年来已经进行了大量的研究来开发、预测钢筋混凝土结构使用寿命的模型,但是主要集中在新建筑和使用寿命的起始阶段,直至钢筋锈蚀开始,讨论钢筋先锈蚀后埋入混凝土对在建结构后续使用寿命阶段的强度的影响的研究较少。本文针对钢筋先锈对混凝土粘结性能影响展开精细化的试验研究和理论分析,提出粘结应力与滑移新的求解方法
柴油机作为效率最高的移动式动力装置,在国民经济各个领域和各级军事装备中得到了广泛应用。但其在低温环境下冷起动困难。而我国幅员辽阔,冬季寒区分布广泛,因此该问题必须
学习生词,是课堂教学中十分重要的环节,为了帮助外国学生更好地掌握汉语,对外汉语教材都会对生词进行翻译。正确的生词翻译有助于学生快速学习生词和理解生词的意义和用法,能
近年来首钢矿业公司信息化项目不断上线,从生产系统到公文处理、财务、人力、运输、物资、质量再到计量系统,信息化已经渗透到了公司日常办公和生产的各个角落。信息化对公司
微博是微型博客的简称,属于博客的一种形式,是通过用户之间的关注关系来分享短小、即时信息的广播式的网络社交方式。微博在近几年迎来了爆炸式的发展,并且逐步成为目前网上
随着信息技术的发展以及城市设施的智能化,移动通信数据、公共交通数据等城市运行产生的大量人类移动轨迹得以被获取与感知,人类移动轨迹在许多方面都具有重要的研究价值。与此同时,伴随数据处理技术与相关学科理论的发展,利用大规模数据研究因人类移动产生的物理接触行为成为可能。人类移动行为是多种社会现象的主要源头,从人类行为和迁移模式,熟悉的陌生人现象,到传染病传播,以及社会友谊网络的形成。作为人类移动行为的一
相比于H.264,H.265增加了适用于屏幕内容的编码工具,包括调色板模式、自适应颜色域变换、帧内块拷贝、自适应运动向量决策等。编码工具的加入有效地改善了压缩性能,同时也增
随着经济发展呈现出起飞式的趋势,生态环境遭受破坏的问题越发严重,各地方案件大幅上升,这逐渐引起了人们对保护环境的重视。传统的环境法主要注重对遭受损害的人身和财产的赔偿,而没有注意到不可逆的生态环境的治理问题,尽管环境公益诉讼的出现解决了一些环境问题,也取得了一些成绩,但不可否认的是,诉讼程序花费的时间较长,再加上环境问题本身也具备复杂的特点,仅凭诉讼的方式还不能很好的解决问题。对于我国的创新制度,