论文部分内容阅读
[摘 要]计算机技术的发展带动了大数据时代的到来，在物联网的应用中，传统的
数据存储以及管理技术已经不能满足时代的要求。基于此，本文针对物联网与大数据的内涵特點进行分析，并通过阐释数据管理技术现状、物联网数据管理框架、数据预处理与集成、数据模型以及数据的储存、索引和查询分析流程，来为物联网大数据存储管理技术提供参考。
[关键词]物联网；大数据；数据管理；信息技术；计算机
中图分类号：TP391.45；TN929.5 文献标识码：A 文章编号：1009-914X（2018）27-0379-01
引言：物联网是伴随着新一代信息技术产生发展而来的新理念，具有极强的科学性以及现代性。由于当下的社会处于大数据时代，在这种时代环境下，物联网大数据的存储与管理技术也要随之不断升级、进步。
一、物联网大数据的内涵与特点
（一）大数据下的物联网
物联网即Internet of things，简称IoT，简单来说就是物物相连的物联网。物联网在技术上的核心基础依旧是互联网技术，但是在互联网技术的基础上进行了拓展以及延伸。物品与物品的相连导致了物联网技术在应用领域的突破。1990年，施乐公司发明了第一台网络可乐贩售机，这也被认为是物联网的首次实践，由此开始，物联网技术随着计算机技术以及因特网不断发展，得到了飞速的进步。物联网在我国的发展已经呈现出了具有特色的现象，并且已经逐步成为我国经济的一大增长点。在《2014-2018年中国物联网行业应用领域市场需求与投资预测分析报告》中，有数据表明我国的物联网技术目前创造的经济效益已经达到了千亿元以上，成为我国经济不可忽视的一部分。物联网的蓬勃发展，离不开大数据背景下的信息支持，但是与此同时，物联网大数据的存储与管理也愈加成为物联网事业发展的重点。
（二）物联网大数据特点
物联网中的大数据与其他行业相比，有一些独特之处。首先是物联网中数据量，众所周知物联网是细化到物的网络覆盖，众多的节点也就导致了物联网中数据量远高于互联网，随着时间的推移，所积累的数据量也会越来越多。其次是物联网中数据传输的效率，物联网中海量信息的传播，对于数据传输速率的要求也越来越高，这就导致了对于物联网技术不断的更新换代。最后是物联网对于数据真实性的要求上，网络时间相较于现实世界，是一种“虚化”的世界，但是其作用到的人与物却是真实存在的，所以在物联网的运行管理中，必须确保信息的真实有效，从来才能从根本上为物联网发展与现实世界的经济提供保障。
二、物联网大数据管理与储存流程分析
（一）数据管理技术现状分析
针对我国目前物联网数据管理技术来说，大方向朝着更加科学高效发展，并且在物联网数据管理方面已经初显成熟。我国在互联网的覆盖以及尖端技术发展上，在世界范围内处于较为领先的地位，这也就使我国的物联网数据管理技术也形成了较为完备的理念与体系。就目前来说，企业办公中采取的数据库包括SQL SERVER、ORACLE、MySQL等，这些数据库的共性是基于二维表，通过保持事物的ACID特性来进行数据的一致性以及相容性工作。就现阶段物联网数据管理展现出的性质而言，比如海量、共享以及多样性等特点，谷歌提出了BigTable的管理技术。这种管理技术是一种分布式存储系统，及能容纳较多的数据，又可以有效进行数据归纳整理工作。
（二）云数据技术下的物联网数据管理
在21世纪的信息保存与管理模式中，云计算成为一种先进科学的计算方式。云计算顾名思义，是基于互联网技术与信息依托，来实现的信息资源的配置与储存。基于云计算，信息的存储就兼备大容量和高安全性，将云计算应用到物联网的数据管理方面，可以大幅度提升物联网数据管理的效率。基于云计算的物联网数据管理，就是采用云计算技术，对数据进行预处理与集成，并且根据数据发展的趋势做出相应的管理调整[1]。
（三）数据预处理与集成
数据预处理就是在对数据进行主要的处理工作之前，与相对数据进行一些宏观的、简要的处理，这样会大大提升数据处理工作的效率。首先在数据清洗方面，物联网的数据管理，需要考虑到数据的精确度，筛选出准确性高的数据，保证处理结果的准确可靠。错误的数据少量会造成处理结果的偏差，而较大的数据则会使处理结果出现明显的错误。其次是在数据的转化过程中，为了达到数据保密的目的，需要对数据采取匿名模型的方式。最后根据物联网中数据类型的不同，分别需要采取不同的数据格式抽取，这一点关系到结果的正确性。面向服务，即SOA，就是近年来发展出的一种全新的架构模型，具有较高的可靠性以及自恢复能力，使用数物联网大数据的数据预处理与集成工作。
（四）数据模型
物联网在数据管理工作中的一项重要任务就是定义与场景匹配的模型。数据管理技术的核心以及基础就是数据模型。由于基于虚化的互联网，所以物联网也具有不确定性，可能世界模型就是这种不确定性数据的一种通用模型。根据数据的特性，分别采取不同的具体模型，这样才能使数据处理更加精确无误。
（五）数据存储与索引
在数据的存储以及索引方面，有效的归纳使得数据在日后工作中可以迅速找到并且了解相关信息。物联网数据具有量大、更新换代快的特点，这也就对数据存储与索引提出了更高的要求。现有的数据存储方式，大部分是关系数据库、概要数据结构等，根据数据的内容和类型进行分类的存储，分级存储，利用分层的结构可以有效地进行数据的索引，例如在第一层，存储数据位置信息，在第二层存储用户数据的位置信息，第三层存储具体数据，这样就在检索时十分便捷。
（六）查询分析处理
数据存储最终的目的都是为了在查询分析时提供高效的服务。查询分析的方式不仅仅局限在关键字的查询，还包括有联机分析、数据挖掘等等。在数据查询时，做到准确、快速、详细，这是物联网大数据存储以及管理的最终目的，也是存储与管理方面的最后一环。一切准备工作的最终结果都体现在了数据查询与分析的效率至上[2]。
结论：总的来说，根据实际情况的不同，物联网大数据的存储管理技术也有些许差异，比如在农业方面的物联网数据管理、海运方面的物联网数据管理或是电气资源等，根据具体行业的不同作出相应的改变。物联网技术是尚在不断的发展之中的，所以需要不断根据时代而革新理念、提升技术，从而促进物联网大数据存储与管理的提升。
参考文献
[1] 海云瑞，张学俭.宁夏农业物联网大数据共享及综合应用平台研究与设计[J].宁夏农林科技，2017，58（09）：51-53+63.
[2] 郑树泉.工业物联网大数据平台架构与应用[J].软件产业与工程，2016（06）：15-18.
数据存储以及管理技术已经不能满足时代的要求。基于此，本文针对物联网与大数据的内涵特點进行分析，并通过阐释数据管理技术现状、物联网数据管理框架、数据预处理与集成、数据模型以及数据的储存、索引和查询分析流程，来为物联网大数据存储管理技术提供参考。
[关键词]物联网；大数据；数据管理；信息技术；计算机
中图分类号：TP391.45；TN929.5 文献标识码：A 文章编号：1009-914X（2018）27-0379-01
引言：物联网是伴随着新一代信息技术产生发展而来的新理念，具有极强的科学性以及现代性。由于当下的社会处于大数据时代，在这种时代环境下，物联网大数据的存储与管理技术也要随之不断升级、进步。
一、物联网大数据的内涵与特点
（一）大数据下的物联网
物联网即Internet of things，简称IoT，简单来说就是物物相连的物联网。物联网在技术上的核心基础依旧是互联网技术，但是在互联网技术的基础上进行了拓展以及延伸。物品与物品的相连导致了物联网技术在应用领域的突破。1990年，施乐公司发明了第一台网络可乐贩售机，这也被认为是物联网的首次实践，由此开始，物联网技术随着计算机技术以及因特网不断发展，得到了飞速的进步。物联网在我国的发展已经呈现出了具有特色的现象，并且已经逐步成为我国经济的一大增长点。在《2014-2018年中国物联网行业应用领域市场需求与投资预测分析报告》中，有数据表明我国的物联网技术目前创造的经济效益已经达到了千亿元以上，成为我国经济不可忽视的一部分。物联网的蓬勃发展，离不开大数据背景下的信息支持，但是与此同时，物联网大数据的存储与管理也愈加成为物联网事业发展的重点。
（二）物联网大数据特点
物联网中的大数据与其他行业相比，有一些独特之处。首先是物联网中数据量，众所周知物联网是细化到物的网络覆盖，众多的节点也就导致了物联网中数据量远高于互联网，随着时间的推移，所积累的数据量也会越来越多。其次是物联网中数据传输的效率，物联网中海量信息的传播，对于数据传输速率的要求也越来越高，这就导致了对于物联网技术不断的更新换代。最后是物联网对于数据真实性的要求上，网络时间相较于现实世界，是一种“虚化”的世界，但是其作用到的人与物却是真实存在的，所以在物联网的运行管理中，必须确保信息的真实有效，从来才能从根本上为物联网发展与现实世界的经济提供保障。
二、物联网大数据管理与储存流程分析
（一）数据管理技术现状分析
针对我国目前物联网数据管理技术来说，大方向朝着更加科学高效发展，并且在物联网数据管理方面已经初显成熟。我国在互联网的覆盖以及尖端技术发展上，在世界范围内处于较为领先的地位，这也就使我国的物联网数据管理技术也形成了较为完备的理念与体系。就目前来说，企业办公中采取的数据库包括SQL SERVER、ORACLE、MySQL等，这些数据库的共性是基于二维表，通过保持事物的ACID特性来进行数据的一致性以及相容性工作。就现阶段物联网数据管理展现出的性质而言，比如海量、共享以及多样性等特点，谷歌提出了BigTable的管理技术。这种管理技术是一种分布式存储系统，及能容纳较多的数据，又可以有效进行数据归纳整理工作。
（二）云数据技术下的物联网数据管理
在21世纪的信息保存与管理模式中，云计算成为一种先进科学的计算方式。云计算顾名思义，是基于互联网技术与信息依托，来实现的信息资源的配置与储存。基于云计算，信息的存储就兼备大容量和高安全性，将云计算应用到物联网的数据管理方面，可以大幅度提升物联网数据管理的效率。基于云计算的物联网数据管理，就是采用云计算技术，对数据进行预处理与集成，并且根据数据发展的趋势做出相应的管理调整[1]。
（三）数据预处理与集成
数据预处理就是在对数据进行主要的处理工作之前，与相对数据进行一些宏观的、简要的处理，这样会大大提升数据处理工作的效率。首先在数据清洗方面，物联网的数据管理，需要考虑到数据的精确度，筛选出准确性高的数据，保证处理结果的准确可靠。错误的数据少量会造成处理结果的偏差，而较大的数据则会使处理结果出现明显的错误。其次是在数据的转化过程中，为了达到数据保密的目的，需要对数据采取匿名模型的方式。最后根据物联网中数据类型的不同，分别需要采取不同的数据格式抽取，这一点关系到结果的正确性。面向服务，即SOA，就是近年来发展出的一种全新的架构模型，具有较高的可靠性以及自恢复能力，使用数物联网大数据的数据预处理与集成工作。
（四）数据模型
物联网在数据管理工作中的一项重要任务就是定义与场景匹配的模型。数据管理技术的核心以及基础就是数据模型。由于基于虚化的互联网，所以物联网也具有不确定性，可能世界模型就是这种不确定性数据的一种通用模型。根据数据的特性，分别采取不同的具体模型，这样才能使数据处理更加精确无误。
（五）数据存储与索引
在数据的存储以及索引方面，有效的归纳使得数据在日后工作中可以迅速找到并且了解相关信息。物联网数据具有量大、更新换代快的特点，这也就对数据存储与索引提出了更高的要求。现有的数据存储方式，大部分是关系数据库、概要数据结构等，根据数据的内容和类型进行分类的存储，分级存储，利用分层的结构可以有效地进行数据的索引，例如在第一层，存储数据位置信息，在第二层存储用户数据的位置信息，第三层存储具体数据，这样就在检索时十分便捷。
（六）查询分析处理
数据存储最终的目的都是为了在查询分析时提供高效的服务。查询分析的方式不仅仅局限在关键字的查询，还包括有联机分析、数据挖掘等等。在数据查询时，做到准确、快速、详细，这是物联网大数据存储以及管理的最终目的，也是存储与管理方面的最后一环。一切准备工作的最终结果都体现在了数据查询与分析的效率至上[2]。
结论：总的来说，根据实际情况的不同，物联网大数据的存储管理技术也有些许差异，比如在农业方面的物联网数据管理、海运方面的物联网数据管理或是电气资源等，根据具体行业的不同作出相应的改变。物联网技术是尚在不断的发展之中的，所以需要不断根据时代而革新理念、提升技术，从而促进物联网大数据存储与管理的提升。
参考文献
[1] 海云瑞，张学俭.宁夏农业物联网大数据共享及综合应用平台研究与设计[J].宁夏农林科技，2017，58（09）：51-53+63.
[2] 郑树泉.工业物联网大数据平台架构与应用[J].软件产业与工程，2016（06）：15-18.