面向大规模非平衡数据集的潜在家庭宽带用户识别问题研究

来源 :厦门大学 | 被引量 : 0次 | 上传用户:shi893932393
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据时代下,挖掘数据潜在的价值己成为各行各业提高核心竞争力的必要手段。在通信行业,坐拥丰富数据资源的运营商需要借助数据挖掘技术提高市场竞争力,比如把数据挖掘用于捕捉目标人群特点并实现精准营销。潜在家庭宽带用户识别是一个具有代表性的运营商精准营销问题。通信运营商希望通过分析终端数据锁定潜在家庭宽带用户,但由于其数据集存在类别不平衡等问题,传统分类算法性能无法满足实用需求。本文以潜在家庭宽带用户识别问题为例,以国内某通信运营商提供的实际数据集为基础,对非平衡数据集的二分类问题进行研究。首先,本文分析了数据集特点以及分类难点,并结合家庭宽带应用场景的实际需求设计了一种复合型算法。针对数据集的高维特点,本文采用在高维数据上具有强鲁棒性的最大熵机(Maximal Entropy Machine,MEM)二分类模型作为核心分类器。考虑到家庭宽带用户识别的强实时性需求特点,本文将算法设计为两个阶段,不同阶段MEM模型分别结合不同的非平衡问题处理方法。在离线学习阶段,本文令MEM模型与SMOTE模型协同工作,提出SMOTE-MEM模型并基于历史数据搭建初始分类器;在在线学习阶段,本文提出一个在线学习框架,一方面用初始模型对在线数据进行预测,另一方面结合实时反馈数据对模型进行自适应更新。在此阶段,MEM模型将结合Different Costs策略处理在线非平衡数据学习问题。在基于运营商提供的数据集及多组公开数据集的实验中,我们提出的算法能取得比传统分类算法更好的效果,F1-measure、精确率等性能指标的提升幅度多集中在5%~15%之间。其次,本文还针对大规模非平衡数据集场景进行扩展研究。为了提高非线性MEM模型在大规模数据上的运算速度,本文结合随机傅里叶特征方法提出快速非线性MEM模型。其中,通过随机傅里叶特征方法可对非线性MEM模型中的核函数进行近似并得到显式映射特征。新特征空间线性可分,线性建模大幅降低了模型运算量。经多组数据集验证,快速非线性MEM模型的分类性能普遍比非线性MEM模型略有降低,约为4%左右。但其运算速度优势明显,以样本量30000的数据集为例,加速倍数可达30。当数据规模越大,该模型的加速优势越大。
其他文献
本文设计了一种利用MIC-85单板机对2732EPROM进行编程的简单方案,其结构简单,易于制作,文中给出了完整的硬件线路图和实用的软件清单。
监理成败的关键在很大程度上取决于总监理工程师的素质及监理工作水平,因此,总监理工程师要努力提高自身素质修养,用强烈的敬业精神,博大包容的胸怀,充分发挥个人才能和团队精神,做
城乡供水项目的建设一直以来都是我国民生工程建设的重点内容,为改善我国城乡居民生产生活条件,提高供水能力,保障区域内城乡居民用水安全,新中国成立以来,党和政府高度重视,在城乡供水方面不断加大力度和加快推进速度,以此推进国家的整体城镇化进程。但供水项目作为一项庞大复杂的工程项目,存在着投入资金大、资金回笼及回报周期长、资金风险率高等问题。因此本研究将以SW集团供水项目投融资为研究对象,分析其目前存在的
目的:探讨小针刀调衡配合针刺治疗原发性痛经的临床效果。方法:筛选出修水县中医院在2019年1月-2020年1月符合纳入标准的60例原发性痛经患者,随机分为治疗组和对照组,每组30
办公室管理是企业发展的重要组成部分,传统办公室管理需使用大量的人力,而随着科学技术的发展,尤其是计算机技术的应用,现代化办公室管理已无须大量人力,结合互联网技术,还可
基于足迹图像的身份识别技术是一种新型的生物特征识别技术。医学研究表明:人体足迹具有唯一性,这是由人类先天骨骼的细微差异和后天形成的生活习惯共同决定的;此外,足迹数据采集时,操作简单,不需要刻意配合,且具有隐蔽性。因此基于足迹数据的研究越来越引起科研工作者的重视。本文对足迹图像进行了自动标划,提取出了几何特征,并分别利用传统意义的回归分析方法以及基于卷积神经网络的分析方法对足迹图像进行了几何特征与身
公司债发行利差是指票面利率中高于无风险利率的那部分额外收益率,作为公司债定价的基础,发行利差被视为企业基于未来经营的不确定性而给予债券投资者的一种风险补偿。外部审计和内部控制是企业重要的治理机制,外部审计具有独立性和客观性,高质量的审计水平可以提升企业财务披露的真实性和可靠性,向市场传递优质的信号;内部控制可以促进企业合法合规运行,提升会计信息质量,最终实现企业战略目标,二者均能有效缓解发债企业与
为了了适应建筑物上部小空间下部大空间的功能需要,需在两种结构的交接部位谩置过渡结构,使得建筑结构也随之变化,所以梁式转化结构的施工尤显重要。文章阐述了梁式转换结构相关