基于数据流方法的大数据计算分析平台

来源 :第三届CCF大数据学术会议 | 被引量 : 0次 | 上传用户:wsd988
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  大数据的计算主要是数据密集型,大多表现为图、树的搜索和排序等。数据常为非结构化,不规则且不能用关系数据库表达。现阶段运行于云计算平台的大数据处理系统如Hadoop和Spark的性能大大受制于操作系统。数据流技术是近几年被表明可以弱化操作系统所带来的性能影响的一种大数据处理方法。本报告介绍一种基于数据流技术的大数据计算分析平台的构建和若干应用案例。
其他文献
机械基础既有很强的理论性,又有很强的实践性。要学好这门课程,学生应既有一定的形象思维能力,又有较强的记忆能力。实践表明,从简单机械入手,结合教学用模型和生活中的实际
  在以Twitter数据分析为代表的短文本数据处理等应用中,通常需要在流式数据处理系统上运行多个计算任务,且不同任务的实时性要求不尽相同.针对于这种多重的实时性需求,如
会议
本文采用管式积分反应器和无梯度反应器对UC-50细粉催化剂和工业粒度催化剂的催化性能进行了研究,对催化剂失活原因进行了探索.研究结果表明,在上述反应器中该催化剂具有较好
  当前,商业智能、社会管理、科学计算等多个领域的大数据处理应用都蕴含了高性能、低延迟的需求,对传统数据处理设施带来了高时效计算挑战,迫切需要在大数据的存取方法、处理
该研究以延迟焦化工艺为背景,以炼厂常规分析数据为依据,借鉴结构导向集总的方法以含有14个特征值的向量来构造分子,利用蒙特卡罗方法对原料油进行表征,将其转化为1000个分子
  MapReduce是一个并行分布式计算模型,已经被广泛应用于处理两个或多个大型表的连接操作。现有的基于MapReduce的多表连接算法,在处理链式连接时,或者不能处理多个大表的
会议
  互联网技术的高速发展促进了关键应用的互联网化,以及互联网应用向传统的金融、商业、物流、交通、旅游等行业延伸和渗透。应用模式的转化不仅产生了多源、分布、异构的海
会议
  许多大数据应用如在社交计算、模式识别、推荐系统和自然语言处理等均可以通过大规模基于图结构的计算进行处理,因而如何设计面向大规模图数据处理的系统软件成为当前的一
  针对企业风险预警这一难题,提出了以网民为企业"传感器"的思想,基于互联网上的相关在线信息,通过情感分析处理,以及统计网民信息发布频次,融合后形成"传感器"信号,涵盖了与公司
  移动互联网络服务已经广泛深入到人们的日常生活。在提供日益精准和便捷服务的同时,用户身份、兴趣、位置、习惯、敏感数据等隐私泄露的问题也日益严重。我们将给出一种移