基于图聚类的招投标数据挖掘研究与应用

被引量 : 7次 | 上传用户:zfz508
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据时代下,人类社会产生的信息数据正以前所未有的速度增长。其中大部分是以网页形式呈现。由于Web信息资源具有半结构化、实时性、异构性和离散性等的特点,如何对Web资源进行挖掘分析、提取人们所需的特定主题信息,已经成为一项重要的研究课题。本文选取了招投标领域的网上数据作为研究对象。图由点和边组成,是一种常用数据结构,已成为复杂对象及其之间关系的建模工具。网上招投标信息包含了丰富的数据,利用这些数据可以构建出复杂的招标人与投标人关系网络图。图聚类是利用聚类技术在图中分析出内部联系紧密,外部联系松散的聚簇。已经在社交网络、蛋白质复合物检查中应用。在招标人与投标人的关系网络图中,可以利用图聚类方法,挖掘出有价值的信息。本文首先对图聚类和数据挖掘技术进行了深入研究,在此基础上把图聚类与数据挖掘方法相结合应用到招投标领域。建立了基于图聚类的招投标数据挖掘方法体系和模型,此模型采用了Louvain算法作为招投标数据挖掘算法。然后,把上述研究成果应用于招投标数据挖掘系统设计和实现中。在论文中主要围绕图聚类分析方法、数据挖掘技术、信息抽取方法、招投标数据挖掘系统设计与实现,进行了以下方面研究工作。1、提出一种对网页数据特别是网页中的表格数据信息抽取的方法。此方法主要通过人工给出关键字作为标记项,然后对网页样本进行学习,归纳出关键字所在网页标签的路径规则,从而得到网页数据的抽取规则。与以往DOM信息抽取方法比较,更能够适应非规范的网页结构数据。2、通过在招投标数据挖掘中应用二分图聚类分析方法,发现存在一些群体簇,在这些群体簇内部的节点都具有行业背景聚类特征,还了解到招投标关系网络中社团形成所需要的条件。该方法把招标人与投标人看作二分图中的不同类型的顶点,招标人与投标人之间的合作关系通过无向加权图来表示,用图的边权代表他们之间合作关系的紧密程度。3、在以上研究内容基础上,针对指定的招投标网站设计并实现了招投标数据挖掘系统。该系统采用功能模块化设计,能够较好地维护与扩展,满足了网页爬取任务和对招投标数据进行挖掘的要求。4、对系统功能模块和数据挖掘算法分别进行了实验验证,实验结果表明系统爬虫模块能够从指定网站上信息抽取到有效数据。经过与其他社团算法相比较,证明选择Louvain算法作为招投标数据挖掘算法比较适合。
其他文献
根据市委统一部署,集团公司16个基层党支部于11月30日前相继召开了党的群众路线教育实践活动总结会议,学习贯彻市委、集团公司党委教育实践活动总结会议精神,总结本单位教育实践
古筝艺术源远流长,无论在其乐曲风格、演奏技法、流派特征或是文化积淀等方面,都值得我们作深入和细致的研究。鉴于古筝演奏技法与表演艺术审美系本学科的重要研究内容,故本
本文叙述了完善以宪法为核心法律体系的重大意义,提出准确把握完善以宪法为核心法律体系的基本原则。剖析以宪法为核心法律体系存在的问题,并提出深化依法治国实践,完善以宪法为
宁夏干旱少雨,天然降水是可利用的重要水资源。介绍了宁夏小流域治理中利用水资源的理论与实践,即在小流域综合治理中坚持就地拦蓄、流而不失"两个基本论点",贯彻化整为零、
本文采用机械合金化制备La1.5Ni0.5Mg17三元系储氢材料,并对其物相结构、热力学和动力学进行研究,该材料具有很好的活性和高储氢容量,在573K时储氢量达到7.01 mass%H,373K时
<正> “文化大革命”期间,是知识青年上山下乡运动的高潮期,近10年中(从1967年底至1976年底)共有1400余万城镇青年走向农村、边疆。这段时间,又是知青工作深受极左路线影响的
瑞金市在国家水土保持重点建设工程项目建设中,根据各小流域实际情况,因地制宜,铸造精品,把经过综合治理的小流域建成了生态旅游型、经济开发型、生态清洁型等各具特色的精品
感恩是一种美德,是一种良好的生活态度,但在多种因素下,"感恩情感"的缺失已成为社会问题。从幼儿阶段就开展感恩教育,培养感恩的美好品德,应成为幼儿园教育目标中的重要一项,
老山芹(Heracleum dissectum)是一种有着独特香气的山野菜,主要分布在中国新疆、东北地区和俄罗斯远东地区,老山芹中活性成分较为丰富,含有较多的黄酮。随着国家对林下资源保护的日趋重视以及人们对绿色天然的追求,山野菜产业逐渐发展起来,药食兼用的老山芹的进一步开发利用不仅能为林区人民带来经济效益,所具有的多种活性更使它具有深远的研究价值,本研究选用老山芹为研究对象,优化并对比了三种提取方
<正>随着社会经济的发展,过去少见的痛风疾病,已越来越成为多发疾病。对痛风疾病需要引起人们更多的关注,特别是痛风患者更需要有自我护理意识,减少疾病的危害,下面就痛风症