论文部分内容阅读
摘要：近些年来，互联网络的使用涉及到人们生活的各个方面，社交网络、物联网系统等技术的广泛使用产生了巨量的非结构化的数据信息，也被称之为大数据。大数据的信息无法使用传统的数据库管理软件进行处理，必须要要用到并行处理式和分布式的数据库系统，以及云存储等方面的技术进行处理。本文简述了大数据的定义、特征及处理技术，并对大数据系统的应用进行了探讨。
关键词：大数据；处理技术；数据处理系统
引言：
在如今互联网快速发展的时代中，其应用的范围在不断的拓展，网络中产生的数据总量也产出现了巨量的增长。社交网络平台中使用者之间的互动、物联网平台汇总的各种仪器设备都在不断的传输着海量的数据信息。这些大数据信息中包含着十分重要的而价值，提现了人类相互之间繁琐复杂的行为。企业可以从大数据中深入挖掘用户对商品的喜好与追求，从而不断的改进现有的产品。
1 大数据的特点
1.1 数据处理的速度快
在商业性网站中的电子数据、社交网络平台中的用户之间产生的信息、各个电气设备的传感器所收集的海量数据都有着实时性的特点，这些数据产生的速度是极快的，同时也需要进行快速的数据处理。
1.2 数据结构多样化
大数据的来源是非常多样化的，例如在网络浏览中的点击、在社交平台中的交流互动、GPS定位系统所产生的定位信息等等。这些不同的来源所产生数据已经不是传统数据库可以处理的那种结构化的数据信息，也可以是邮件数据、声音数据、影视频数据、文字数据等等，这些都是些非结构化以及半结构化的数据信息。
1.3 数据蕴藏丰富价值
大数据的信息汇总包含着十分丰富的价值，它在一定程度上反应了人自身以及人与人之间复杂的行为体系。因此，企业可以通过对大数据的深入分析后整理出客户的各种喜好以及需要，从而可以有效的提升产品的市场竞争力。企业也可以从大数据的分析中得出客户对某个产品的需要，从而可以使产品得到优化升级。大数据体系中的各种各样的数据往往是比较原始的，其价值的密度相对较低。例如，在社交平台中的一条信息，可能会被不同的人不停的进行转发，进而产生更多相关的信息，而这些信息数据中就包含着十分丰富的价值。
1.4 数据快速型
实时性的数据信息需要大数据相关的技术对其进行快速的处理，以确保数据信息的时效性。同时研究出其具体变化的规律来给决策者提供支持。
1.5 数据来源真实可靠
大数据的信息来源主要是商业性的网站、社交网络、网络浏览的电机等等途径，这些原始的数据信息并没有经过技术的处理，因此其真实性是有保障的。
2 大数据处理技术
2.1 大数据采集技术
根据大数据采集模式的不同方法，其采集的技术可以分为集中式和分布式的采集，这两种数据采集的方式各有千秋。分布式的数据采集模式具有较强的灵活性，而集中式的数据采集模式则能够对全局的数据进行有效的掌控。在对大数据信息进行采集的过程中，既包括对各个企业自身的数据的采集，也包含对各个企业之间的数据的采集。这几种数据采集的模式可以通过分布式并行的数据计算的模式进行混合使用，从而有效提升了大数据采集的工作效率。也就是說在进行大数据采集时，对各个企业自身使用集中式的采集方法，对各个企业之间的数据使用分布式的采集方法。在各个企业中配置多个服务器，将其可以共享的数据信息进行分别存储，然后可以使用分布式的数据采集方法进行采集。
2.2 大数据的存储技术
大数据搜处理的数据信息数量是极其巨大的的，传统的存储数据的技术很难满足大数据对存储的需要，这主要包括以下几个方面：首先，在当下的网络信息化背景下，每时每刻产生的数据量是极其巨大的，传统的单节点的数据存储单元无法满足海量的数据存储；其次，传统的数据存储模式是按行来进行存储的，但是需要花费许多的成本进行 维护。在云概念的背景下，通常使用列式的方法进行大数据的存储。这种存储的方式可以根据数据信息的属性进行存储。在对数据进行使用时，仅仅对所涉及的使用属性进行访问，从而提升数据输入和输出的效率。因此，列式存储的方式可以大大的提升数据的压缩程度，减少传输数据的成本支出。
2.3 大数据联机分析技术
大数据的联机分析技术可以对海量的数据进行分析，并为用户提供决策性的数据结论支持，是大数据系统的重要内容。联机分析的模式可以对数据进行综合性、全面性的分析，从而为企业的决策者提供数据的支持。
2.4 大数据挖掘技术
联机分析的技术只能获取数据表层的信息，在对其潜在的方面却有所欠缺。在云计算的背景下，通过数据挖掘技术能够将数据相互之间的关系进行整理，并通过一定的模式将其展示出来。
2.5 大数据可视化技术
海量的数据信息经过大数据的多层次的分析处理后，能够通过大数据可视化技术的应用而形象直观的展示给用户，以便于用户能够充分的理解。
3 大数据处理系统
3.1 基于融合式架构的应用
融合式架构的应用其实就是一种客户机和服务器的架构模式，客户机是用于人机交互，而服务器负责对应用系统进行管理和控制等。这种架构模式相对简单易维护，但对于服务器的性能有较高的依赖。
3.2 基于分散式架构的应用
在分散式架构中各个节点是相互平等的，且具有一定的自治的功能。但是由于分部存储和操作的数据的存在，使其在维护方面比较困难，各个节点之间也难以即时的同步。
3.3 基于混合式结构的应用
混合式架构具有前两种架构的有点，既能够便于用户进行交流互动，又可以有效的降低对服务器的压力，提升系统的使用效率。
4 结束语
现阶段，随着网络社交平台的进一步发展、传感器的深度应用以及物联网的发展，大数据已经在人们生活的各个方面得到了体现。因此，我们要对大数据的处理进行深入的研究，以充分挖掘其中所包含的价值，以更好的服务于社会。
参考文献：
[1] 任桂禾，王晶.浅谈大数据处理技术架构的演进[J].信息通信技术，2014（06）：47-51.
[2] 马建光，姜巍.大数据的概念、特征及其应用[ J]. 国防科技，2013（34） ：10-17.
[3] 程学旗，靳小龙，王元卓，等. 大数据系统和分析技术综述[J]. 软件学报， 2014（25）：1889-1908.
作者简介：
戚坤，1982年11月，女，汉，吉林白山市人，本科，工程师，研究方向：大数据与人工智能。
关键词：大数据；处理技术；数据处理系统
引言：
在如今互联网快速发展的时代中，其应用的范围在不断的拓展，网络中产生的数据总量也产出现了巨量的增长。社交网络平台中使用者之间的互动、物联网平台汇总的各种仪器设备都在不断的传输着海量的数据信息。这些大数据信息中包含着十分重要的而价值，提现了人类相互之间繁琐复杂的行为。企业可以从大数据中深入挖掘用户对商品的喜好与追求，从而不断的改进现有的产品。
1 大数据的特点
1.1 数据处理的速度快
在商业性网站中的电子数据、社交网络平台中的用户之间产生的信息、各个电气设备的传感器所收集的海量数据都有着实时性的特点，这些数据产生的速度是极快的，同时也需要进行快速的数据处理。
1.2 数据结构多样化
大数据的来源是非常多样化的，例如在网络浏览中的点击、在社交平台中的交流互动、GPS定位系统所产生的定位信息等等。这些不同的来源所产生数据已经不是传统数据库可以处理的那种结构化的数据信息，也可以是邮件数据、声音数据、影视频数据、文字数据等等，这些都是些非结构化以及半结构化的数据信息。
1.3 数据蕴藏丰富价值
大数据的信息汇总包含着十分丰富的价值，它在一定程度上反应了人自身以及人与人之间复杂的行为体系。因此，企业可以通过对大数据的深入分析后整理出客户的各种喜好以及需要，从而可以有效的提升产品的市场竞争力。企业也可以从大数据的分析中得出客户对某个产品的需要，从而可以使产品得到优化升级。大数据体系中的各种各样的数据往往是比较原始的，其价值的密度相对较低。例如，在社交平台中的一条信息，可能会被不同的人不停的进行转发，进而产生更多相关的信息，而这些信息数据中就包含着十分丰富的价值。
1.4 数据快速型
实时性的数据信息需要大数据相关的技术对其进行快速的处理，以确保数据信息的时效性。同时研究出其具体变化的规律来给决策者提供支持。
1.5 数据来源真实可靠
大数据的信息来源主要是商业性的网站、社交网络、网络浏览的电机等等途径，这些原始的数据信息并没有经过技术的处理，因此其真实性是有保障的。
2 大数据处理技术
2.1 大数据采集技术
根据大数据采集模式的不同方法，其采集的技术可以分为集中式和分布式的采集，这两种数据采集的方式各有千秋。分布式的数据采集模式具有较强的灵活性，而集中式的数据采集模式则能够对全局的数据进行有效的掌控。在对大数据信息进行采集的过程中，既包括对各个企业自身的数据的采集，也包含对各个企业之间的数据的采集。这几种数据采集的模式可以通过分布式并行的数据计算的模式进行混合使用，从而有效提升了大数据采集的工作效率。也就是說在进行大数据采集时，对各个企业自身使用集中式的采集方法，对各个企业之间的数据使用分布式的采集方法。在各个企业中配置多个服务器，将其可以共享的数据信息进行分别存储，然后可以使用分布式的数据采集方法进行采集。
2.2 大数据的存储技术
大数据搜处理的数据信息数量是极其巨大的的，传统的存储数据的技术很难满足大数据对存储的需要，这主要包括以下几个方面：首先，在当下的网络信息化背景下，每时每刻产生的数据量是极其巨大的，传统的单节点的数据存储单元无法满足海量的数据存储；其次，传统的数据存储模式是按行来进行存储的，但是需要花费许多的成本进行 维护。在云概念的背景下，通常使用列式的方法进行大数据的存储。这种存储的方式可以根据数据信息的属性进行存储。在对数据进行使用时，仅仅对所涉及的使用属性进行访问，从而提升数据输入和输出的效率。因此，列式存储的方式可以大大的提升数据的压缩程度，减少传输数据的成本支出。
2.3 大数据联机分析技术
大数据的联机分析技术可以对海量的数据进行分析，并为用户提供决策性的数据结论支持，是大数据系统的重要内容。联机分析的模式可以对数据进行综合性、全面性的分析，从而为企业的决策者提供数据的支持。
2.4 大数据挖掘技术
联机分析的技术只能获取数据表层的信息，在对其潜在的方面却有所欠缺。在云计算的背景下，通过数据挖掘技术能够将数据相互之间的关系进行整理，并通过一定的模式将其展示出来。
2.5 大数据可视化技术
海量的数据信息经过大数据的多层次的分析处理后，能够通过大数据可视化技术的应用而形象直观的展示给用户，以便于用户能够充分的理解。
3 大数据处理系统
3.1 基于融合式架构的应用
融合式架构的应用其实就是一种客户机和服务器的架构模式，客户机是用于人机交互，而服务器负责对应用系统进行管理和控制等。这种架构模式相对简单易维护，但对于服务器的性能有较高的依赖。
3.2 基于分散式架构的应用
在分散式架构中各个节点是相互平等的，且具有一定的自治的功能。但是由于分部存储和操作的数据的存在，使其在维护方面比较困难，各个节点之间也难以即时的同步。
3.3 基于混合式结构的应用
混合式架构具有前两种架构的有点，既能够便于用户进行交流互动，又可以有效的降低对服务器的压力，提升系统的使用效率。
4 结束语
现阶段，随着网络社交平台的进一步发展、传感器的深度应用以及物联网的发展，大数据已经在人们生活的各个方面得到了体现。因此，我们要对大数据的处理进行深入的研究，以充分挖掘其中所包含的价值，以更好的服务于社会。
参考文献：
[1] 任桂禾，王晶.浅谈大数据处理技术架构的演进[J].信息通信技术，2014（06）：47-51.
[2] 马建光，姜巍.大数据的概念、特征及其应用[ J]. 国防科技，2013（34） ：10-17.
[3] 程学旗，靳小龙，王元卓，等. 大数据系统和分析技术综述[J]. 软件学报， 2014（25）：1889-1908.
作者简介：
戚坤，1982年11月，女，汉，吉林白山市人，本科，工程师，研究方向：大数据与人工智能。