面向电信数据的智能化特征工程平台的设计与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:cloudzhu429
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
信息时代的到来,人类的各项活动带来了海量数据的飞速增长。隐藏在大数据中的各种模式大多需要进行人工挖掘,而数据挖掘工作需要丰富的计算机相关经验以及深厚的业务相关知识。由于有经验的数据科学家的增长速度远远慢于数据的增长速度,并且数据科学家又不一定具有特定领域的相关知识。因此,本文立足于电信反诈场景下的通话行为数据(结构化数据)与通话录音数据(中文文本数据)分别提出自动特征推荐算法,使用相应的算法,能够快速得到一套高效并且具有可解释性的特征集。进一步地,为了给上述算法提供一个支撑平台,同时为了适应日益变化的特征挖掘场景,本文提出一个面向电信数据的智能化特征工程平台。通过使用本平台,用户可以摆脱繁重的编码工作,使用本平台提供的传统特征挖掘功能快速进行数据分析,让特征工程工作变成组件的拖拽与连线,从而将研究方向侧重在特征挖掘的方法而不是编码。通过使用本平台提供的自动特征推荐算法,与封装完成的传统特征挖掘功能,用户可以快速的完成不同场景下的数据分析问题。本文的关键算法在于自动特征推荐,由于不同类型数据集的自动特征推荐算法截然不同,本课题立足于电信反诈场景,解决了结构化数据与中文文本数据场景下的自动特征推荐问题,自动特征推荐算法也是本平台“智能化”的一大体现。提出了“基于子集搜索与特征交叉的结构化特征推荐算法”和“基于复杂网络的中文文本特征推荐算法”,前者在特征选择与特征交叉过程中借鉴了局部最优贪心的思想,在保证准确率与召回率的基础上,执行时间远远小于传统方法;后者分别从中文分词与关键词提取两个中文文本分类中的关键步骤入手,分别提出了“基于bi-gram的双向最大匹配分词”与“基于复杂网络的关键词提取”解决方案,上述算法能够生成一组表现优秀的特征集。同时,作为副产物,给出了中文分词与关键词提取结果。实验结果表明,两个不同场景下的推荐算法均好于现有传统方法。本文首先阐述了整个课题研究的背景和实际意义,分析了国内外学术界、工业界对这个课题的研究现状。接着对整个平台的需求进行分析,分析了自动特征挖掘算法与人工特征挖掘功能的研究意义,按照人工特征工程过程中的不同目的,将分析方法分为数据预处理、统计分析、原始特征评估与隐藏特征构建四个不同的功能。然后针对系统需要实现的关键问题,进行了研究并解决。接着对整个平台的架构和功能模块进行了设计与实现,对模块内部的类与接口进行了详细的介绍,阐述了用户的如何请求通过模块之间交互配合最终得到响应。最后对平台的部署与测试进行了说明,并对论文工作进行了简要的总结与展望。
其他文献
许如错地区古近纪的沉积盆地中只出露一套地层——日贡拉组。该地层主要为一套紫红色粗碎屑岩夹细碎屑岩,底部夹少量火山岩。日贡拉组结合林子宗火山岩记录了印度-亚洲板块碰
电力工业作为国民经济基础,其运营和发展对国民经济至关重要,伴随我国社会主义市场经济体制的发展,电力行业的垄断性缺陷日渐明显,提高效率、降低电价已成为越来越多用户的迫切要求。用户希望电力公司提高效率、降低成本与电力公司长期垄断经营、缺乏竞争带来的高成本、低效率和服务质量差的现实之间的矛盾日益突出,深化电力工业市场化改革迫在眉睫。电力市场化改革的本质是将竞争引入到电力交易的各个环节,促进效率提高;其主
赤霉素(Gibberellins,GAs)是一种高效的植物生长调节剂,具有促进茎的伸长、打破休眠、诱花促果等作用。水稻恶苗病原菌藤仓赤霉(Gibberella fujikuroi)可生产多种高活性的赤霉素,
沉积物物源分析是沉积盆地分析的重要内容,它的研究有助于了解物源区地理位置、母岩性质、沉积物搬运距离与路径、对沉积区沉积物体系分析和讨论物源区与沉积区之间的关系等
普瑞巴林(Pregabalin,PGB),化学名为(S)-3-氨甲基-5-甲基己酸(S-3-aminomethyl-5-methylhexanoic acid)是治疗癫痫、神经病理性疼痛及抗焦虑的一线药物。Pfizer公司成功开发
目前,石油天然气勘探开发已经进入一个瓶颈状态,常规油气田的开发逐渐进入后期,全球油气开发逐渐由浅层转向深层、超深层,由陆地转向海洋等非常规储存层发展。要从这些非常规
IN718合金是一种典型的镍-铬-铁基变形高温合金,目前该材料已经成为各个国家国防领域的首选材料。目前复杂IN718合金零部件的成形工艺多采用Delta Process(DP)工艺,并且这种
为了降低电动车事故的发生概率及其所带来的危害,保障人的生命健康与财产安全,文章在调查了电动车发展历史与现状的基础上,结合道路法规与相关标准,以及大数据对近年与电动车
本研究调查了大光包滑坡区地质概况及其层间错动带岩体特征,并对层间错动带碎裂岩体进行了相关物理实验和强度试验,获取大光包滑坡层间错动带岩层的相关物理力学参数,也对大
在全面建设小康社会的时代背景下,加强对贫困地区居民的精准扶贫工作是基层党组织不可回避的历史责任。本文以金所街道党组织在精准扶贫工作中的作用发挥为核心进行探讨,研究