多元网络标签数据汇聚与特征分析技术

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:wb95879981
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
如今互联网中信息繁多,内容丰富,人们可以在互联网上使用到各式各样的网络服务。但是,不断变化的网络给网络监管提出了挑战,网络中存在着各类带有标签的数据,其获取方式与存在形式各异,难以进行统一的管理与分析,而目前有关于网络数据汇聚的研究工作或者成熟的平台产品几乎都是针对特定类型的网络数据进行收集。为解决这一问题,本文将基于Docker以及Kubernetes设计一种能够支持从网络中不同目标获取相应数据,能够对这些数据进行存储、统计与分析的平台,让容器成为各类数据汇聚、存储、分析等过程的载体,并且这些容器则由Kubernetes统一调度。然而Kubernetes在资源管理方面和数据处理方面有所不足。针对上述问题,本文设计了相应的解决方案并实现完整的系统,具体的工作如下:(1)提出了集群带宽资源管理策略,设计了针对数据汇聚任务的调度流程,优化了 Kubernetes的任务调度方式,解决了在集群带宽资源不足时需要及时完成的任务无法顺利执行的问题。(2)设计了适用于多源异构数据的存储过程,提高了容器平台对多源异构数据的处理能力,解决了出现数据高峰导致数据积压、容器的无状态特点导致文件类数据丢失等问题。(3)设计并实现了可扩展、高可用的多元网络标签数据汇聚与特征分析平台,满足了对互联网服务信息和互联网设备信息的收集与特征分析的需求,同时也进行了实际的数据汇聚,统计与特征分析。
其他文献
分析了WebGIS技术的特点和系统实现的关键技术,提出了利用三层结构的基于ASP的组件式WebGIS技术实现泰安旅游信息系统的设计方案。
教育市场的开放,对职业学校的生存与发展将产生巨大影响.作为职业技术教育主体的职业学校,应积极探索在市场经济体制下的生存方式,针对形势变化给高职教育带来的巨大机遇与严
近20年来尤其是进入21世纪后,协作治理这一新的治理模式成为公共管理领域学界与实践中的热门主题,跨部门、跨区域的协作关系在应对复杂棘手的社会问题上出色表现正是协作治理
90°弯管结构在冶金、矿山等行业应用很多,特别是具有腐蚀性的环境中。为防止弯管受氢脆、氢腐蚀、硫化氢腐蚀及堆焊层的剥离等严重损伤,需要对其采用内壁堆焊,形成双金属复
小学数学命题在学生数学学习评价过程中发挥着重要作用。随着核心素养理念的提出,小学数学命题目标逐渐由“知识立意”转向“素养立意”,命题改革成为我国新课程改革的重要一环。当前,学科核心素养视角下的小学数学命题现状如何?存在哪些问题?该如何应对?本研究拟对上述问题进行深入系统的研究。本研究首先通过查阅文献,阐述了研究背景、研究意义;梳理了国内外数学核心素养、数学命题以及数学核心素养视角下的小学数学命题的
读书可以改变人生,读书可以改变命运。即将过去的2013年,哪些人和书值得珍藏?哪些人和书影响中国?本文列出的10位人物与他们的书,从不同侧面反映了2013年读书文化的热点所在。  傅高义:独具匠心写中国  1月,美国作家傅高义出版了《邓小平时代》,不久就荣登各类排行榜榜首,并且在年末深圳读书月2013年度十大好书中拔得头筹,由此折射出大众更多选择关注个人与时代命运的图书。傅高义十年磨一剑,功力深厚
本文从逻辑推理的角度建立起了模糊逻辑L*与粗糙集之间的密切联系,接着从另一不同角度出发定义了R0代数中元素的粗糙近似,并与已有文献进行了分析对比,最后,细致研究了粗糙逻
浅论高校后勤社会化问题张德勇(江苏理工大学)高校是培养和造就高级专门人才,进行科学研究的重要场所,担负着多出人才、多出科研成果的艰巨任务。为了保障这些任务的完成,近几年来
商品的销量预测对企业一直具有重要意义,特别是对于诸如时装等一类的短生命周期产品而言,不准确的销量预测往往会导致库存积压、现金流占用等问题。为提高预测的精度,学者们提出了许多方法,其中主要包括两类模型:时间序列模型和基于机器学习方法的预测模型。时间序列模型是根据历史销量数据序列进行预测,能够发现销量的季节性与趋势性,在耐用消费品上取得较好的预测精度。但是对于快速消费品为代表的短生命周期产品而言,由于
根据福建省矿区煤炭开发的现状和基本条件,应用灰色系统理论和运筹学,建立煤炭开发的灰色预测线性规划数学模型,探讨矿区煤炭开发未来系统的动态规划和优化控制问题.并用VB6.