论文部分内容阅读
[摘 要]最近几年，云计算环境通过健壮、可靠的服务为目标，从各种移动设备通过浏览器到计算机的客户端访问。它把服务的概念从基础设施推广到软件。这对服务提供商、整体资源的利用和客户端接口提供了便利。云环境的后端则是依赖基于虚拟化计算和存储技术的数据中心体系结构，是有效地抽象商品硬件组件。当前新兴的云环境，是承载了大型数据仓库的分布式数据中心，同时也为分析提供了处理的资源，很大程度上满足了有效的并行或分布式算法的需求。同时也面临大数据分析的潜在社会经济效益和应用特征的多样性等的挑战。我们描述了用于执行分析应用的常用硬件平台，以及对于处理、存储、能量和网络的相关考虑。然后，我们还阐述了在虚拟化技术、运行时系统、执行环境和编程模型。
[关键词]大数据；数据中心；云计算
中图分类号：TP301 文献标识码：A 文章编号：1009-914X（2019）07-0328-01
1 介绍
根据最新的研究评估，各个企业的服务器系统在2008中已经处理了957×1021字节的数据，而且这个数字将以每两年增长一倍的速度上升。例如每分钟，近100小时的视频将会被上传到YouTube上，并在135000小时内上传到98，超过28000的多媒体消息是第二次大约4600万个移动应用程序在2012下载，每个应用程序则会收集更多的数据。而每一天，Facebook在近500兆字节的用户日志数据和SEV艾莱依数百兆字节的图像数据上运行。
1.1 性质考虑
现如今，根据大数据分析应用程序的规模、性质以及范围，分别对未来的软件系统和的硬件系统设计和架构提供了一个的参考。对软件来说，即对软件系统、计算和存储需要一个很大的问题空间，这是由于工作负载的性质、数据规模和其他应用需求，如一致性、可用性等。http：//fanyi.baidu.com/？aldtype=23 - ##对硬件来说，数据访问的频率则会预示优化未来的内存层次结构。
2 虚拟化技术
所以在云部署基础上引入虚拟化，是用来协调软件和硬件之间的差异。它的构成主要是虚拟机监视器。在软件系统的抽象层中，将底层的硬件平台分成一个或多个虚拟机[4]。其中现有的软件应该在每个虚拟机内运行未修改，指令的统计支配子集必须在CPU上直接执行VMM对系统资源完全控制。
3 存储系统
现在，任何分析都依赖于大数据存储。随着数据量和硬件的发展，这些存储平台具有可扩展性、弹性、分布式和容错性。除了这些基本特征之外，这些应用也有它们各自的底层存储需求。比如面向客户端的要求高可用性，即使存在故障或网络分区。根据所需的容错能力和可用性，当前存储系统在数据中心内和跨多个机器上适当地复制数据。复制涉及在副本之间保持一致性的开销；这个开销随着副本的数量而增加。尽管存档系统对于存储大量数据是有效的，但是随机存取或保留元数据的需要需要更复杂的存储模型。大数据通常是非结构化的，不适合严格的关系模型。
随着应用需求和底层平台的不断变化，现代应用程序在它工作的流程中使用多个编程模型。流处理的点击流，然后批量处理是一个这样的例子。有必要更紧密地集成编程模型，不仅彼此，而且还与底层存储。例如，一个高效的PUB/SUB系统可以通过将流处理系统与分布式密钥值存储区联合定位来建立；订阅可以存储在分布在集群节点上的表，并且发布的事件可以发送到那些具有节点的节点。可以执行基于主题和基于内容的匹配的相关订阅。
4 新兴大数据分析的应用范围
大数据分析的最引人注目的应用之一是在健康和人类福利领域。除了在提高幸福感方面的不言而喻的好处之外，这个领域还提出了一些最大和增长最快的数据集。虽然很难估计当前的大小和增长率，但据一些估计，临床数据的全球规模很小。电子病历和影像数据。这一数据在人口规模和覆盖范围上都在迅速增加。EMR将包含个人基因组数据，来自其他高通量屏幕的数据，链接到个性化的药物响应概况。
4.1 健康与人类福利
除了临床数据外，医疗保健数据还包括PHA药物数据（药物分子和结构、药物靶点、其他生物分子数据、高通量筛选数据（微阵列、质谱、测序仪）和临床试验）、个人实践数据和偏好数据（包括饮食习惯，运动模式，环境因素）和财务/活动记录。有效地整合所有这些数据，在干预、交付和福利方面都有显著改善的关键。
4.2 政府与公共部门
政府和公共部门是大数据分析的主要动因。目标是在2015年关闭大约1000个政府数据中心，并将79个服务转入云端，以及最近的（2012年5月23日）题为“建立由美国总统发布的二十一世纪数字政府”的指令，清楚地表明了应对CR的明智步骤。数据处理和分析需要5个美国联邦机构，包括财政部。移动了他们的公共网站亚马逊的弹性云（EC2）。已经创建了商业服务，例如AWS GoV云，它专门针对云计算移动密集的工作负载。USA.GOV，美国政府的“软门户网站”——与政府有关的任何目的地的目的地，由通用服务管理局（GSA）运行——是这一趋势的另一个显著例子。
4.3 商业和经济系统
也许，大数据分析最明显的应用是在商业企业中。据估计，零售商充分利用分析的力量，可以增加其经营边际60%。利用新的机会（例如）位置感知和基于位置的服务导致了新的Rev Envices的显著潜力。一个全面的分析框架需要整合供应链管理、客户管理、售后支持、广告。商业企业收集大量的多模态数据，包括客户交易、库存管理、基于商店的视频馈送、广告和客户关系、客户偏好和情感、销售管理基础设施和财务数据等。目前，对于大型零售商来说，所有数据的汇总都很容易被估计为ExabyTes。全面部署RFLDs跟踪库存。链接到供应商数据库，整合与客户的喜好和配置文件（通过商店忠诚度计划），并充分集成的金融系统，潜在的提高效率是巨大的，只是刚刚开始实现。
4.4 社交网络
互联网本身是语义Web的基础设施。由于它的大部分信息目前是非结构化的，因此将其组织成结构化表单以推断相关概念和关系，以使推理自动化是一个重要的动机。文本搜索和索引技术相对成熟，但新的图形挖掘技术相对较早。健壮的、离线的、自动的图像和视频索引和搜索能力为搜索实体相关性提供了新的维度，对大数据分析基础设施增加了额外的压力。
4.5 计算和实验过程
当计算平台将信封推到外层空间时，SIM系统可以在规模和分辨率上执行，即使在最近的过去中也是如此。从量子力学模型到天体物理模拟，这些模型跨越从原子到星系的空间尺度，以及从飞秒到EONS的时间尺度。其他实验，如大Hadron Collider，产生大量的数据从探测器感测从亚原子粒子高速碰撞的发射。在每种情况下，生成的Exasale数据集必须被分析以产生和验证科学洞察力。
在新兴平台上，有必要将内联分析与模拟/数据采集相结合。这是由于数据存储速率常常不能匹配数据生成这一事实。在其他应用程序/平台中，分析必须扩展到大型计算平台。数据往往是在一个位置，强调并行分析，而不是分布式技术。基于即将到来的处理、网络和I/O技术的进步，数据集很可能在不久的将来定性和定量地变化。
5 结论
最近的硬件進展在实现大数据分析所需的分布式软件平台方面发挥了重要作用。未来的硬件创新-在处理器技术，新类型的内存/存储或层次结构，网络体系结构（软件定义的网络）-将继续推动软件创新。这些系统的设计中的重点将是最小化将数据从存储器移动到处理器或在分布式设置中的存储/计算节点之间所花费的时间。
参考文献
[1]官思发， 孟玺， 李宗洁，等. 大数据分析研究现状、问题与对策[J]. 情报杂志， 2015（5）.
[2]官思发， 朝乐门. 大数据时代信息分析的关键问题、挑战与对策[J]. 图书情报工作， 2015（3）.
[3]陈小林. 大数据安全的现状分析和对策[J]. 电子世界， 2014（23）.
[关键词]大数据；数据中心；云计算
中图分类号：TP301 文献标识码：A 文章编号：1009-914X（2019）07-0328-01
1 介绍
根据最新的研究评估，各个企业的服务器系统在2008中已经处理了957×1021字节的数据，而且这个数字将以每两年增长一倍的速度上升。例如每分钟，近100小时的视频将会被上传到YouTube上，并在135000小时内上传到98，超过28000的多媒体消息是第二次大约4600万个移动应用程序在2012下载，每个应用程序则会收集更多的数据。而每一天，Facebook在近500兆字节的用户日志数据和SEV艾莱依数百兆字节的图像数据上运行。
1.1 性质考虑
现如今，根据大数据分析应用程序的规模、性质以及范围，分别对未来的软件系统和的硬件系统设计和架构提供了一个的参考。对软件来说，即对软件系统、计算和存储需要一个很大的问题空间，这是由于工作负载的性质、数据规模和其他应用需求，如一致性、可用性等。http：//fanyi.baidu.com/？aldtype=23 - ##对硬件来说，数据访问的频率则会预示优化未来的内存层次结构。
2 虚拟化技术
所以在云部署基础上引入虚拟化，是用来协调软件和硬件之间的差异。它的构成主要是虚拟机监视器。在软件系统的抽象层中，将底层的硬件平台分成一个或多个虚拟机[4]。其中现有的软件应该在每个虚拟机内运行未修改，指令的统计支配子集必须在CPU上直接执行VMM对系统资源完全控制。
3 存储系统
现在，任何分析都依赖于大数据存储。随着数据量和硬件的发展，这些存储平台具有可扩展性、弹性、分布式和容错性。除了这些基本特征之外，这些应用也有它们各自的底层存储需求。比如面向客户端的要求高可用性，即使存在故障或网络分区。根据所需的容错能力和可用性，当前存储系统在数据中心内和跨多个机器上适当地复制数据。复制涉及在副本之间保持一致性的开销；这个开销随着副本的数量而增加。尽管存档系统对于存储大量数据是有效的，但是随机存取或保留元数据的需要需要更复杂的存储模型。大数据通常是非结构化的，不适合严格的关系模型。
随着应用需求和底层平台的不断变化，现代应用程序在它工作的流程中使用多个编程模型。流处理的点击流，然后批量处理是一个这样的例子。有必要更紧密地集成编程模型，不仅彼此，而且还与底层存储。例如，一个高效的PUB/SUB系统可以通过将流处理系统与分布式密钥值存储区联合定位来建立；订阅可以存储在分布在集群节点上的表，并且发布的事件可以发送到那些具有节点的节点。可以执行基于主题和基于内容的匹配的相关订阅。
4 新兴大数据分析的应用范围
大数据分析的最引人注目的应用之一是在健康和人类福利领域。除了在提高幸福感方面的不言而喻的好处之外，这个领域还提出了一些最大和增长最快的数据集。虽然很难估计当前的大小和增长率，但据一些估计，临床数据的全球规模很小。电子病历和影像数据。这一数据在人口规模和覆盖范围上都在迅速增加。EMR将包含个人基因组数据，来自其他高通量屏幕的数据，链接到个性化的药物响应概况。
4.1 健康与人类福利
除了临床数据外，医疗保健数据还包括PHA药物数据（药物分子和结构、药物靶点、其他生物分子数据、高通量筛选数据（微阵列、质谱、测序仪）和临床试验）、个人实践数据和偏好数据（包括饮食习惯，运动模式，环境因素）和财务/活动记录。有效地整合所有这些数据，在干预、交付和福利方面都有显著改善的关键。
4.2 政府与公共部门
政府和公共部门是大数据分析的主要动因。目标是在2015年关闭大约1000个政府数据中心，并将79个服务转入云端，以及最近的（2012年5月23日）题为“建立由美国总统发布的二十一世纪数字政府”的指令，清楚地表明了应对CR的明智步骤。数据处理和分析需要5个美国联邦机构，包括财政部。移动了他们的公共网站亚马逊的弹性云（EC2）。已经创建了商业服务，例如AWS GoV云，它专门针对云计算移动密集的工作负载。USA.GOV，美国政府的“软门户网站”——与政府有关的任何目的地的目的地，由通用服务管理局（GSA）运行——是这一趋势的另一个显著例子。
4.3 商业和经济系统
也许，大数据分析最明显的应用是在商业企业中。据估计，零售商充分利用分析的力量，可以增加其经营边际60%。利用新的机会（例如）位置感知和基于位置的服务导致了新的Rev Envices的显著潜力。一个全面的分析框架需要整合供应链管理、客户管理、售后支持、广告。商业企业收集大量的多模态数据，包括客户交易、库存管理、基于商店的视频馈送、广告和客户关系、客户偏好和情感、销售管理基础设施和财务数据等。目前，对于大型零售商来说，所有数据的汇总都很容易被估计为ExabyTes。全面部署RFLDs跟踪库存。链接到供应商数据库，整合与客户的喜好和配置文件（通过商店忠诚度计划），并充分集成的金融系统，潜在的提高效率是巨大的，只是刚刚开始实现。
4.4 社交网络
互联网本身是语义Web的基础设施。由于它的大部分信息目前是非结构化的，因此将其组织成结构化表单以推断相关概念和关系，以使推理自动化是一个重要的动机。文本搜索和索引技术相对成熟，但新的图形挖掘技术相对较早。健壮的、离线的、自动的图像和视频索引和搜索能力为搜索实体相关性提供了新的维度，对大数据分析基础设施增加了额外的压力。
4.5 计算和实验过程
当计算平台将信封推到外层空间时，SIM系统可以在规模和分辨率上执行，即使在最近的过去中也是如此。从量子力学模型到天体物理模拟，这些模型跨越从原子到星系的空间尺度，以及从飞秒到EONS的时间尺度。其他实验，如大Hadron Collider，产生大量的数据从探测器感测从亚原子粒子高速碰撞的发射。在每种情况下，生成的Exasale数据集必须被分析以产生和验证科学洞察力。
在新兴平台上，有必要将内联分析与模拟/数据采集相结合。这是由于数据存储速率常常不能匹配数据生成这一事实。在其他应用程序/平台中，分析必须扩展到大型计算平台。数据往往是在一个位置，强调并行分析，而不是分布式技术。基于即将到来的处理、网络和I/O技术的进步，数据集很可能在不久的将来定性和定量地变化。
5 结论
最近的硬件進展在实现大数据分析所需的分布式软件平台方面发挥了重要作用。未来的硬件创新-在处理器技术，新类型的内存/存储或层次结构，网络体系结构（软件定义的网络）-将继续推动软件创新。这些系统的设计中的重点将是最小化将数据从存储器移动到处理器或在分布式设置中的存储/计算节点之间所花费的时间。
参考文献
[1]官思发， 孟玺， 李宗洁，等. 大数据分析研究现状、问题与对策[J]. 情报杂志， 2015（5）.
[2]官思发， 朝乐门. 大数据时代信息分析的关键问题、挑战与对策[J]. 图书情报工作， 2015（3）.
[3]陈小林. 大数据安全的现状分析和对策[J]. 电子世界， 2014（23）.