基于MongoDB的Web信息采集系统应用研究

来源 :湖南邮电职业技术学院学报 | 被引量 : 0次 | 上传用户:ananluo2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在降低成本、效率加大的情况下如何处理海量数据,是目前急需解决的重要问题。文章首先分析如何将Web日志存储到Mong DB中,然后将其直接内置到Map Reduce,将分析结果存储为文件以供业务人员查询分析,最后对日志分析系统进行性能测试。测试结果表明:在挖掘Web日志数据的情况下,能将数据中的主要访问模式进行系统化更新,从而为网站的结构模式采集提供有效信息。
其他文献
2006年3—12月对硇洲岛海域的文昌鱼及其栖息环境进行了调查,为在该地实施文昌鱼保护措施提供参考依据。结果表明:硇洲岛海域的文昌鱼主要集中分布以20°55.35’N,110°3
目的探讨基质金属蛋白酶9(matrix metalloproteinase 9,MMP-9)和色素上皮源性因子(pigment epithelium-derived factor,PEDF)基因表达在胃癌侵袭转移中的作用,为防治胃癌转移提供理
影响高职院校就业质量的因素涵盖就业率、就业层次高低、专业是否对口、职业发展前景等多方面。文章首先分析高职计算机专业的就业现状,然后阐述引起就业困境的主要原因,最后提
WSN由于设置方便、设备位置灵活等优势在现实中被广泛应用。但WSN采用公开访问的无线通信信道以及网络安全路由协议的缺陷使WSN面临巨大的安全威胁。在文章中首先分析了选择
2006年4-5月利用Simrad EY60型分束回声探测仪对青皮塘广东鲂产卵场的繁殖群体进行定点横向探测及航行垂直探测。在人工标定及同步渔获物统计的基础上,对广东鲂的回声信号进行
在各种各样通信工程建设项目中,通信电源设备安装工程的设备种类繁多、工作原理各异、安装调试工艺各不相同,这就导致了通信电源设备安装工程的预算编制有一定的难度,主要体
随着新业务的不断出现,用户对带宽以及网络性能的要求也越来越高。随着光纤技术的发展,10G PON接入成了主流的接入技术,文章介绍了PON结构,由OLT、ONU、和ODN三部分组成,并介
紫茎泽兰入侵会挤占其他物种的生存空间,降低生物多样性和生态系统生产力带来诸多负面生态效应。尽早了解其入侵区域及其潜在扩散区域,对于合理估测其危害并采取正确的应对措施
目的运用八臂迷宫实验比较研究一次性与三重性脑震荡大鼠的逆行性遗忘变化情况,以探讨不同损伤次数脑震荡大鼠的认知变化情况。方法用金属单摆闭合性脑损伤打击装置,复制大鼠一
针对当前部分高校宿舍消防设施人工巡检缺乏实时性和精确性的问题,设计了一个由Zigbee、系统网关、二维码、管理平台组成的高校学生宿舍消防设施管理系统。该系统利用Zigbee传