海量数据分析系统的研究与实现

来源 :网络安全技术与应用 | 被引量 : 0次 | 上传用户:acxyvpfag
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
网络舆情信息能快速地反映了社会舆情状况和发展态势,依靠人工的方式检查方式效率低下、片面易漏。本文通过多通道公共信息源的智能化主动采集方法,利用多机多线程、异步socket通讯机制以及基于Bloom Filter的大规模链接查重等技术来实现原始网页的高效并行化采集,在有限的带宽和系统资源的限制下,实现舆情检查速度最大化。
其他文献
为探索高危岗位矿工工作倦怠形成机制,寻求合理的干预对策,在文献研究和实地调研基础上,提出矿工工作倦怠假设模型。采用多阶段分层随机抽样法,对1 800名高危岗位矿工进行问
随着信息社会的到来,各种管理都已经进行了信息化,高职院校绩效考核信息化后可以提高效率、降低成本,实现公平、公正、公开的工作方式,本文主要从系统的总体设计角度阐述了系
在对光纤陀螺仪获取大量的实验数据的基础上,针对光纤陀螺仪的零值偏移,利用最小二乘法建立一种温度补偿模型。利用该模型对新测的实验数据进行了补偿。补偿结果表明:光纤陀
<正>福建永春的纸织画是中国传统四大家织之一,与杭州丝织画、苏州缂丝画和四川竹帘画齐名,始于盛唐时期,距今已有一千多年的历史。唐人郑维赋诗:"何物离披最可人,纸间经
随着社会的进步以及科学的发展,计算机网络安全成为社会安全以及个人信息安全的关键。在大数据的背景下,计算机网络安全的出现的问题,以及对社会、工作、个人的都会带来重大
传统雨水基础设施规划建设具有忽略雨水"资源化"的特点,本文引入"低影响开发理念",通过分析降雨量特征,将中国城市划为3类不同地域,提出了各具特色的城市雨水设施系统规划模
<正>日本美术史中称谓的浮世绘,是活跃在日本江户时代的许多美术流派中的一个以版画艺术形式来呈现艺术风貌特征的独立流派。它与当时最值得日本人称赞的狩野探幽等人为代表
列夫·托尔斯泰与东正教会的关系;他对上帝的理性信仰;宗教信仰折中主义的形成及现代性因素;列夫·托尔斯泰对俄罗斯宗教哲学复兴的积极影响。
<正>近期,我刊发现有假冒《建筑学报》杂志社名义的互联网站点及投稿邮箱,向广大读者及作者提供投稿审稿或代发论文等服务,并诈骗收取审稿费、版面费等相关费用。对此,我刊郑
2016年2月29日,国务院新闻办公室举行新闻发布会,在发布会上指出,2015年我国超过60岁以上的老人已达到了2.2亿,占比已经超过了16%,这就说明我国已经进入深度的老年社会化阶段