基于众包的社交网络数据采集模型设计与实现

来源 :计算机工程 | 被引量 : 0次 | 上传用户:clhsmith001
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
社交网络数据信息量大、主题性强,具有巨大的数据挖掘价值,是互联网大数据的重要组成部分。针对传统搜索引擎无法利用关键字检索技术直接索引社交网络平台信息的现状,基于众包模式,采用C/S架构,设计社交网络数据采集模型,包含服务端、客户端、存储系统与主题Deep Web爬虫系统4个模块。通过主题Deep Web爬虫的分布式机器节点自动向服务器请求爬虫任务并上传爬取数据,利用Hadoop分布式文件系统对爬取数据进行快速处理并存储结果数据。实验结果表明,主题Deep Web爬虫系统配置简单,支持功能扩展和目标信息直接
其他文献
本文所要阐述的是从行政法学原理的角度,以《禁毒法》、《戒毒条例》为基本视角,围绕强制隔离戒毒措施,密切结合笔者工作实践,首先,阐述强制隔离戒毒的内涵、收治对象、期限
镁离子(Mg^2+)是人体内重要的阳离子之一,它的生理功能相当复杂,人体内多数酶的激活、激素受体结合、神经递质的释放等重要过程都需要镁的参与。近年来随着对镁离子的研究逐渐深入
本论文采用了酰胺化和酯化的化学改性方法,制成了羟基生物素(Biotin-OH)和生物素引发剂(Biotin-Cl)、在40℃下,以CuCl/Me6TREN为催化体系,DMF:H2O=1:1(v/v)的混合溶液为溶剂
20世纪90年代以来,主权财富基金进入了快速发展阶段。许多国家包括韩国、俄罗斯、挪威等都纷纷成立了自己的主权财富基金(SWF)。在贸易全球化以及不断上涨的资源价格的背景下
互联网的普及为招聘领域的发展开启了新的里程碑,随着WEB信息系统的推广和普及以及互联网信息技术的进步与成熟,互联网系统己成为了企业人力资源管理中不可或缺的一环。在线
2008年之后,中国超过美国,成为世界上CO2排放量最多的国家,作为《京都议定书》下非附件Ⅰ国家,利用市场手段促进我国减排已经成为国际上不可逆转的方向,构建我国碳交易市场既
变式在实际教学中常常被教师有意识或无意识的使用,但在生物学科中有关变式的系统论述和实践总结较为少见。重新审视生物学科中的变式教学思想行为,可以发现,变式教学的适当
随着经济全球化的深入发展,世界各国的经济相互依存度不断增强,东亚地区的经济合作也日益加快。多年来随着东亚地区开放程度和贸易额的不断增强,中韩贸易合作居于举足轻重的
型钢混凝土异形柱不仅布置灵活、使用面积大,而且承载力高、抗震性能好。可以预见,型钢混凝土异形柱未来会在多、高层住宅建筑中得到广阔的应用。与钢筋混凝土异形柱的研究相比
受传统灌输式教学模式和高考无形中给予的压力的影响,高中学生较小学及初中学生而言,参与课堂学习活动的意识明显下降,大多数高中学生已习惯被动地接受知识,课堂上独立思考的