基于Word2vec和向量空间模型的欠抽样算法研究

来源 :华北理工大学 | 被引量 : 0次 | 上传用户:birdlay
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
不平衡数据的分类问题一直以来都是研究的热点,一般有两种研究方式,数据层面的研究和算法层面的研究。许多领域的不平衡数据都含有文本属性,如经济、医疗、工业等领域。现阶段,对于含有文本型不平衡数据的研究,一般采用简单的数字编码或者One-Hot编码,这些不能很好地反映出不同特征之间的差别,导致分类效果存在一定的偏差。因此,为了更好地处理含文本属性的混合数据集的分类问题,将文本挖掘工具Word2vec方法与不平衡数据的欠抽样相结合,对含有文本属性的混合样本数据进行相似性探索。具体内容如下:1.对数据进行清洗,分离不平衡数据中的文本数据与向量数据。为了更好地反映出文本数据之间的相关性,利用Word2vec方法中的跳字节模型,将不平衡数据中的文本数据转化为向量数据。对原向量数据进行归一化处理,并和转化后的文本数据进行组合。2.对组合后的不平衡数据,利用向量空间模型中的余弦相似度、欧氏距离、曼哈顿距离和切比雪夫距离来寻求多数类样本的最优相似度,并进行欠抽样,使其成为相对平衡的数据集。3.利用Logistic回归模型分析欠抽样效果,对比模型准确度,通过不同的数据集进行实证分析。研究结果表明,通过Word2vec方法中的跳字节模型将文本数据转化为向量数据,利用余弦相似度、欧氏距离和曼哈顿距离进行欠抽样,得到的模型分类准确率随类别比例的升高而不断下降;利用切比雪夫距离进行欠抽样,得到的模型分类准确率在不同类别比例下变化幅度不大。说明本方法对类别比例较低的含有文本属性的不平衡数据有较好的应用效果。图9幅;表39个;参55篇。
其他文献
正常的伤口修复能力对于生存与健康十分重要。皮肤伤口修复是一个极其复杂的生物学过程,涉及多种不同类型细胞、细胞外基质和细胞因子在时间、空间上有序的相互作用,最终完成皮肤屏障修复与组织内稳态维持。文章总结了伤口修复的主要过程,并重点阐述不同类型细胞在损伤修复过程中的作用,讨论了无疤痕修复的潜在机制。
期刊
期刊
花粉的识别在孢粉学、法庭科学和古气候重建等领域中都发挥着重要的作用。目前,大部分花粉图像的自动化识别精度较低,且花粉图像识别模型的训练时间较长。因此,实现花粉图像识别模型的高精度和快速识别具有重要的意义。基于公开花粉图像数据集POLEN23E和POLLEN73S,引入卷积神经网络对花粉图像进行分类识别,重点研究了花粉图像的数据增强、参数优化方法以及花粉图像识别模型的构建。主要研究内容如下:1)为了
学位
用户感知的体验质量(Quality of Experience,Qo E)在网络视频交付体系中占有举足轻重的地位。视频流量作为互联网中最主要的网络流量类型,之前大量的研究被集中在客户端自适应比特率算法的设计上,以提升单个视频用户的Qo E。但是,当多个视频流共享同一瓶颈链路时,客户端的自适应比特率算法只是试图独立的最大化自身的Qo E,而拥塞控制只能提供连接级的公平性,因此目前的视频交付系统存在着
学位
期刊
近年食品安全成为我国重大社会热点问题。2011年出现的“一滴香”等食品安全问题,都是由有害食品添加剂造成的。传统检验非法食品添加剂的方法有质谱法等,但这些方法灵敏度低、精确度差。光子晶体光纤(Photonic Crystal Fiber,PCF)的结构多样性赋予其增强拉曼散射信号灵敏度及增益系数的能力,结合表面增强拉曼散射效应(Surface Enhanced Raman Scattering,S
学位
空天地海一体化网络部署将极大提升面向多样化海洋服务应用的数据全生命周期处理效率,有力支撑海洋环境数据获取、存储与计算、分析与应用。多步长预测能够获取更长时间间隔的海洋环境变化信息,更有利于面向海洋智慧应用的高效管理和及时决策,对海洋环境保护、海洋渔业发展和海洋资源开发具有重要意义。以真实采集的海洋环境数据为研究对象,基于深度学习理论框架,研究海洋环境时序数据多步预测方法,同时开展海洋环境观测监测系
学位
<正>羊布鲁氏菌病是由布鲁氏菌病引起的传染性疾病,不仅能够感染牛羊群体,还可以传播给人类。并且传播途径很广泛,一些没有明显症状的隐性感染病羊可以随时对羊群和饲养人员造成严重威胁。最重要的是羊群或饲养人员感染布鲁氏菌病后,就会发生危害严重的流产现象,并且很难彻底治愈,给畜牧业和人类的健康发展带来无法估量的损失。在此将羊布鲁氏菌病的病原学特点、流行特点、
期刊
肠道菌群在肿瘤治疗中的作用在近几年受到广泛关注,包括化疗及免疫治疗在内的抗肿瘤治疗疗效均受到肠道菌群的调节。放疗是抗肿瘤中的重要组成部分,其疗效及不良反应发生风险受到多种因素的影响。近期研究表明,肠道菌群通过调节机体免疫系统影响放疗敏感性以及放射性黏膜炎的严重程度。该文系统地回顾了描述肠道菌群调节放疗疗效及其黏膜毒性的研究,希望通过调节肠道菌群以提高放疗疗效并减轻放疗副反应。
期刊
本文介绍了羊布鲁氏菌病的症状及特点,总结了羊布鲁氏菌病的防控措施,以期为养殖户提供参考。
期刊