网络社区数据采集及可信技术机制的研究与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:Chanco
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
越来越多的社会民众通过网络表达自己的观点,采集和分析其中用户发表的观点具有重要的意义。但目前的采集和分析系统存在着数据不完整、不及时和不真实等因素,导致分析的结果不可信。本文主要研究适用于网络社区的数据采集技术和可信技术机制,探究如何从多个层面提高数据采集框架的可信性。根据网络社区的数据特点和具体需求,采用网页数据采集、数据包捕获和接口调用采集三种方式,设计和实现了网络社区的分布式数据采集架构,并开发了一套网页信息采集快速开发框架,用于快速开发不同站点的采集程序。立足于数据分析对数据的存储需求,分别设计了结构化数据、实时热数据和网页快照数据的存储方案。并从可持续性、实时性、完整性和真实性四个方面研究了数据采集的可信技术,设计实现了可以应用于采集框架的可信模块。最后在研究工作和设计实现的基础上,建立了网络社区数据采集的可信性评判模型。面向多个典型的网络社区,分别对实现的可信技术进行了长时间运行和实验验证。实验的结果表明,设计实现的可信数据采集框架能有效保证网络社区数据采集的可信可靠。
其他文献
对因疾病、交通事故、工伤事故、运动创伤等原因造成的下肢截肢者,假肢能够代替失去肢体的部分功能,使截肢者恢复一定的生活自理和工作能力。利用各种传感器信息融合、微处理器控制等技术、能够根据用户意图进行运动、并具有主动适应外部条件变化的能力的智能假肢,为残疾人自然、流畅的行走带来了全新的可能。动力下肢假肢运动意图是智能下肢假肢研发工作中重要的研究课题之一。近年来,深度学习受到了研究工作者的广泛的关注,并
近年来,随着分布式电源的渗透率增大,其出力的随机性和波动性对电网的传统运行模式带来了挑战。微电网能够较好地解决分布式电源的并网问题,因而受到了广泛的关注。优化微电
石油开采、运输、处理等各方面都会产生含油污泥,多数含油污泥呈现高度乳化状态,成分也十分复杂。如果只采用以往单一的方法分离处理污泥,则难以达到预计的处理效果。本论文目的是依靠化学-物理复合调质破除含油污泥乳化状态并将含油污泥中的油、水、泥成分彻底分离,以达到固废高效减量化。配制不同乳化剂模拟油乳状液,通过测定乳状液界面张力和析水率进一步阐释调质机理。首先测定原始污泥的组成,包括污泥中油、水、泥含量测
大跨度预应力连续刚构桥由于具有结构刚度大、造型简洁美观、伸缩缝较小、整体性较好和便于养护等一系列优点,在桥梁建设中得到广泛应用。然而随着运营年限的增长,大跨度连续
随着信息技术的不断发展,视频显示终端(VDT)作为现代办公环境中重要的信息显示界面已与办公室人员形成了密不可分的合作关系。办公环境中不健康的照明以及VDT工作者不好的工
近年来,国内基础设施建设的投资力度一直在加大。高速公路网和高速铁路网在不断地修建扩张,城市轨道交通也发展迅猛,获批建设地铁的城市越来越多。随着大量交通基础设施建设
钢材作为高强度综合性能更优的工程结构材料,应用于各个领域。为了提高市场竞争力以及满足社会需求,企业不得不改善钢铁产品的性能。其中力学性能是钢材的重要性能之一,直接
植物对气候要素的变化响应敏感,利用地层中保存的植物孢粉反演气候变化历史对预测未来气候具有重要的指示意义。本文以宁夏平原为研究区,通过现代孢粉组合分析,对比地层中的化石孢粉,为恢复第四纪的古气候提供依据。基于宁夏平原和其附近地区的93块表土孢粉样品和该地42个气象站点近30年来的气象指标,以宁夏LS01钻孔为主体,结合光释光、ESR、古地磁等测年手段对钻孔的粒度和孢粉数据进行分析,对宁夏平原第四纪时
目的:流行病学和实验研究表明,婴幼儿期接触微生物可降低患过敏性哮喘的风险。因而使用具有免疫调节作用的微生物或微生物成分可能成为预防过敏性哮喘的一种新型策略。最近的研究表明肺炎链球菌氨肽酶N(PepN)可以抑制T细胞效应功能。因此,本实验的目的是研究PepN对小鼠过敏性哮喘的作用并初步阐明其作用机制。方法:利用大肠杆菌原核表达技术制备重组蛋白PepN,通过镍柱纯化后进一步去除内毒素。在鸡卵清蛋白(O
随着核工业的迅猛发展,越来越多的核工业为人类生活提供了便利,但核事故的发生会给人类带来不可承受的后果,因此开发一种对铀酰离子具有超快吸附速率、强大的吸附能力和便于