分布式图聚类及其在电子商务数据挖掘中的应用

被引量 : 3次 | 上传用户:flyhiger
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图作为一种常用的数据结构,由结点及其之间的连接边组成,目前已成为各种复杂对象及其之间联系的建模工具。在电子商务网站中,客户登录网站并进行物品交易,都会在网站的后台数据库里生成相关的交易数据。利用这些交易数据,可以构建出各种各样的客户关系网络图。以购买同种物品的客户关系为例,图的结点表示不同的客户,而图中的一条边则表示两个客户在该网站上购买了相同的物品。与其他类型数据类似,这种客户关系网络图蕴藏着丰富的信息与知识,在电子商务网站的客户关系管理中具有实际的应用价值。图聚类是利用聚类技术在图中分析出那些内部联系紧密、外部联系松散的聚簇。图聚类已在社会网络的社区发现、蛋白质的复合物检测等应用得到实际的运用。在上述电子商务网站的客户关系网络图中,可以利用图聚类的方法,挖掘出不同的客户群体簇。所挖掘出来的客户群体簇,可能代表了该群体簇里的客户具有相似的兴趣、偏好,也可能代表了这些客户具有相似的家庭结构、年龄段等。这类信息对于电子商务网站进行个性化商品推荐,制定更有针对性的营销策略,提升网站的运营具有指导意义。一些主流的电子商务网站,例如淘宝、一号店等,其拥有的客户数量相当庞大,由这些客户所形成的关系图也会非常巨大。面对庞大的数据量,单个工作站不管是在CPU计算能力还是在内存消耗上均无法满足需求,从而导致聚类分析无法正常执行。在大规模的客户关系图中,如何有效地挖掘出客户群体簇,已成为业界共同关注的问题。MapReduce作为一种并行编程模型,可实现上百乃至上千台计算机的互联,将巨大的系统资源池连接在一起,形成庞大的机器集群,特别适用于大规模数据的并行处理。本文考虑MapReduce在大数据处理上所具有的优势,试图将MapReduce与传统的图聚类方法相结合,提出一种分布式的图聚类方法,并将之运用于客户关系发现的实际应用中。本文以作者参与的“钢贸网站交易数据分析”实际项目为应用实例,利用某钢贸公司2006年至2011年积累下来的5年交易数据,通过图聚类的方法,分析得到钢贸客户群体,为该公司制定有效的钢材销售策略提供了决策支持。具体而言,本文的研究内容主要包括:1)论文首先介绍相关技术,包括数据挖掘、图聚类、MapReduce并行框架及其开源实现Hadoop。2)接着以钢贸电子商务网站为具体实例,结合钢贸交易数据的实际特点,阐述了钢贸交易数据仓库构建过程,并对钢贸客户关系图建模进行了详细论述。3)论文以MapReduce框架为基础,提出了一种基于MapReduce的分布式图聚类算法,即MR-LSH算法,以解决在分布式环境下如何利用LSH实现大规模图数据的可扩展并行聚类问题。该算法将MapReduce并行框架与位置敏感哈希(Locality Sensitive Hashing,简称LSH)相结合,从而在MapReduce并行框架中实现一种基于位置敏感哈希的分布式图聚类算法即MR-LSH算法。论文将详细论述MR-LSH算法的具体思路及其实现框架,并详细介绍了框架中的各个步骤的实现方法。在此基础上,论文运用某钢贸公司2006年至2011年的交易数据生成的客户关系图,通过实例证明本文所提到的分布式图聚类在电子商务数据挖掘领域里的可行性与实用性。实验结果表明,该系统安全可靠、易维护、具有良好的可扩展性。
其他文献
介绍了国内外废轮胎橡胶粉的分类、物理和化学指标及其改性沥青的性能指标,对北京地区路用废轮胎橡胶粉改性沥青混合料的性能指标提出了建议,并对废轮胎橡胶粉改性沥青混合料
本文在对不同胜任力模型构建方法比较的基础上.指出通过演绎法以企业战略和价值观为基础的胜任力模型构建对企业战略实施更具意义。鉴于目前对此问题缺乏深入研究,本文结合企
介绍了用X射(XRD)测定炭素材料石墨化度的原理和方法。指出:用高钝硅粉作内标校准的组分,同时计算出它们相应的含量。
目的:探讨通心络胶囊对冠脉内支架置入术后患者体内凝血—纤溶系统和血管紧张素Ⅱ的影响及其作用机制。方法:58例冠脉内支架置入术后患者随机分为两组:分别用常规药物(对照组
《公务员法》将公务员划分为综合管理类、专业技术类和行政执法类等类别,并根据不同的职位类别设置其职务序列,规定了公务员职位聘任制,以及把公务员培训和流动制度上升到了
中国传统文化并非只是儒文化,道家也不能代表中国文化的全部,儒、道、禅三种思想共同影响,形成具有中国特色的审美文化,并对中国古典园林设计产生过深远影响。以礼乐制度为核
文章是武汉音乐学院前院长童忠良教授(1935--2007)写于1994年7月9日的一篇个人简要回忆(原刊载于由洪湖市政协“学习文史资料委员会”编辑的《洪湖文史》第8辑,1994年11月)。在武
以太网供电技术定义了一种在以太网上同时传送直流电源和数据的方法,减少了由于电源适配器故障所引起的数据网络故障,并促进了低功耗网络设备的应用。在此介绍以太网供电(PoE
审查逮捕在侦查监督工作三大职责中居首位,也是检察机关侦查监督工作中最为日常性的工作,检察机关在受理审查逮捕的案件后依法应当作出批准逮捕或不(予)批准逮捕的决定。如何
本文针对前段时间在我国发生的几起校园恶性暴力事件,介绍了校园报警监控联网专用系统,应用于各类学校特别是中小学幼儿园的校园安全监控管理。