基于Scrapy的QQ空间数据分析研究

来源 :南京理工大学 | 被引量 : 0次 | 上传用户:lishao_minlimin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着无线网络和Web2.0技术的快速发展,手机终端用户进行网络访问和交互变得越来越便捷。QQ空间作为国内较大的网络社交平台,用户可以在此个人空间中分享个人的观点和信息,互动自己的情感。QQ空间的数据计算与分析已经为市场营销、心理学、社会学和城市规划和发展等领域的研究提供了重要的科学依据。本文从统计学的角度出发,通过对QQ空间数据挖掘来研究和分析手机用户群,首先基于Scrapy库为基础的爬虫程序对国内社交网络平台QQ空间的数据进行采集,然后在此数据集的基础上进行手机品牌和用户行为分析。目标是探究不同品牌手机用户量、用户的作息时间变化和用户情感状态。主要工作成果包括以下几个方面:第一,因为网络中数据量较大且数据结构复杂,引入抽样技术成为大数据获取和分析中不可缺少的环节。本文利用了一种基于拓扑分层模型的抽样算法对大数据进行抽样分析,该算法主要利用了数据结构的图论思想和相似性原理对大数据进行抽样,经过对大数据集的实验仿真,发现该算法具有很好的抽样性,可以很好的保持关系网络的抽样子网络与原始网络之间的拓扑相似性。第二,本文基于Scrapy网络爬虫框架作为数据工具对QQ的空间数据进行爬取。通过对QQ空间页面格式的深入分析,结合抽样方法,在PC机器上同时并发连续执行爬虫程序30天,最后得到QQ空间的数据集。文中详细的论述了网络爬虫的登录身份的模拟,QQ空间网络数据包分析,网络数据的抽样分析以及保存数据的数据库设计,并对数据抓取和存储过程中遇到的问题本质进行了分析,给出了最终的解决方案。第三,本文对采集的QQ空间数据进行手机用户品牌、作息时间和用户情感的分析。本文分析的结果从侧面反映了手机终端在不同人群中的分布比例,人们作息时间的改变和用户情感强度,这些结论不仅为社会学、市场营销和心理学等领域提供了研究的科学依据,而且还为政府的决策机构提供了支撑。
其他文献
随着科学技术的发展,越来越多的机器人能代替人们完成复杂和危险的任务,而很多复杂的问题单个机器人无法高效地完成,需要多个机器人合作完成,多机器人任务分配问题是协调机器人高效合作的关键,也是多机器人系统研究的重点。本文针对需要机器人移动并合理分配任务这一应用场景,采用多旅行商(multiple traveling salesman problem,MTSP)模型对问题进行建模,并对实际中存在的应用场景
随着材料科学的发展,越来越多的合金材料被应用到高温工况中。良好的材料性能使横观各向同性材料在机械制造、生物科技、航天航空等多个领域广泛应用。众多研究多是基于唯象理论建立经验公式或是通过加权考虑温度对本构方程的影响,建立温度为本构方程直接变量的热本构方程研究具有重要的理论意义和工程实用价值。目前,对于合金材料在不同温度下力学行为的描述多以在建立近似的指数型和双曲线型函数的基础上结合经典本构模型来描述
目的:验证和比较目前所发现的所有天然功能性第2类整合酶的活性,确定第2类整合酶催化基因盒剪切和整合的关键氨基酸位点,通过亲和层析的方法纯化第2类整合酶蛋白,为进一步实验提供基础,最终为明确整合子捕获耐药性基因盒的反应和调控机制提供线索。方法:以第2类整合子作为研究对象,通过在线数据库INTEGRALL(http://integrall.bio.ua.pt)对有关第2类整合子的数据进行筛查、统计、整
表面等离激元(Surface Plasmon Polaritons,SPPs)由电磁波中的光子与金属表面的自由电子集体震荡形成,是一种沿金属-介质界面传播的电磁震荡。因其对光具有局域场增强特性,且可突破传统衍射极限,在纳米光学领域备受关注,被认为是实现纳米级光学器件的有效基础。滤波器件作为光通信领域的基础器件更是十分重要。本文基于SPPs基础理论,对可实现滤波功能的MIM波导结构进行了研究,探讨了
农业直接补贴政策是国家为调动农民积极性、促进粮食生产、增加农民收入而推出的一项重要改革举措。理论上,农业直接补贴政策的实施会通过农户行为的传导,最终引起土地利用的
资本多数决根据股权平等原则,在尊重一股一权的传统行权范式下使公司股东能够根据自己所持股份来平等地行使表决权,进而管理公司事务。公司以营利为目的,需要资本积累以发挥资金价值,资本多数决反映了公司的资合性质,特别是在大型公司的内部事务上发挥重要作用,这对于高效的管理决策,具有重要意义。然而资本多数决隐含着强权逻辑,在实际意义的公司管理过程中容易使得公司内部治理的制度博弈流于力量的强弱对比,虽然《公司法
随着科技驱动、移动互联网的普及,各行业之间的界线已经变得越来越模糊,各类产业经济的快速发展,使得越来越多的行业都可以摆脱原有束缚,实现跨界交流和合作。整个国内市场瞬间形成了庞大的物流、人力和资金流,一直以来从事实物传递的邮政部门受到了巨大的冲击。自20世纪90年代初期以来,国有快递不再是一枝独秀,各地区的民营寄递企业如雨后春笋般迅速崛起,并在不断的发展与变革中占领市场。中国邮政集团淄博市分公司(以
超材料是一类由人工设计的功能基元按一定序构组合而成的复合材料和结构,其性质主要由基元的结构特征和/或基元的序构决定,可通过巧妙的设计获得反常的动力学特性,控制波的传播,是一种新型的功能材料。对于由固体开孔形成的弹性波超材料,其特殊的波动功能主要取决于基元的结构参数和序构。迷宫单元含有较多的弯折,可以延长波的传播路径,促进声波带隙的产生。还可以用于设计声学超表面,调控透射声波的幅值和相位,实现异常折
重庆秀山小茶园锰矿资源储量丰富,具有重要研究意义。前人对沉积环境和成矿作用进行过一些研究,但其成矿规律、物质来源研究较少。本文通过大量阅读前人资料,对小茶园锰矿大塘坡组含锰岩系进行系统研究,总结区内锰矿的矿床地质和矿体矿石特征,对锰矿形成时的沉积环境、构造环境、物质来源和矿床成因等提出一定的认识。小茶园锰矿为典型的“大塘坡式锰矿”,含锰岩系主要为黑色粉砂质碳质页岩、砂质碳质页岩等,具有从盆地中心向
功率放大器(Power Amplifier,PA)在无线通信系统中具有重要作用,当其工作在饱和区时往往会产生非线性与记忆效应,影响着功放的工作效率也易引起频谱泄露。为了提升功率资源利用率,数字预失真技术(Digital PreDistortion,DPD)以其成本低、性能佳等优点成为功率放大器线性化技术主流方法之一。由于大数据量传输需求,通信信号的带宽和频带数量都不断增加。相比于单频带发射机,并发