论文部分内容阅读
摘要：为实现“十三五规划”中制定的到2020年7000万人口全面脱贫的目标，大数据技术的应用恰好为精准扶贫工作提供了有效的技术支持和保障。由于体制的缺陷和大数据自身特点的限制，贫困户的瞄准精度具有很大的偏差，这给扶贫工作的进行带来很大的影响。本文依托Hadoop分布式计算技术，提出改进的贫因数据处理系统，提高贫困人口的瞄准精度，实现贫困户的精准识别，切实做到精準扶贫的工作目标。
关键词：精准扶贫;大数据
中图分类号：C913 文献识别码：A 文章编号：1001-828X（2019）015-011-01
一、绪论
为打赢2020年全面脱贫的攻坚战，习近平在湖南湘西考察时首次提出“精准扶贫”的思想理念。精准扶贫自此成为我国脱贫攻坚的新方略。精准扶贫指的是对真正的贫困家庭和贫困人口实行有针对性的帮扶策略和措施，从根本上消除导致贫困的障碍，达到可持续脱贫的目的。
贫困户的精准识别和精准帮扶，扶贫对象的动态管理和扶贫效果的精准评价是精准扶贫的主要内容。其中，贫困人员的瞄准是整个扶贫工作的焦点。为了实现精准扶贫，我们可以充分利用大数据技术将海量的扶贫信息进行有效的分类、整合、分析及利用，从而提高扶贫瞄准精度，以及实现扶贫方式、内容与扶贫对象有效匹配。
综上所述，本文拟运用大数据思维创新扶贫管理模式，利用大数据技术提高扶贫的瞄准精度，切实做到“扶真贫、真扶贫、治本扶贫”。
二、大数据理论和方法研究现状
现有面向大数据的研究主要是针对存储、处理、分析、可视化等某一方面的关键技术。在大数据处理技术方面，最主流的平台是Hadoop。Hadoop由分布式文件系统HDFS、并行计算框架MapReduce和非结构化数据库Hbase组成，它们分别是Google GFS和Google BigTable的开源实现。HDFS具有高容错性，因此适合部署在价格低廉的硬件上，同时它还适用于具有超大数据集的应用程序。在大数据分析方面，代表性研究有Hive、Pig等，Facebook等公司在实时分析方面也进行了相关研究。
三、贫困瞄准精度不足的原因
1.贫困数据规模巨大，分布广泛
据统计，直至2017年，我国共有5000万贫困人口已经建档立卡，涉及贫困县592个，其中还有包括数万个贫困。另外，贫困数据不仅包含贫困户主体，还包含政府、企业等其他主体。从贫困数据的来源上看，数据来源于财政部、住建部、教育部、工商部、民政部和残联等各个部门。贫困数据来源广泛，渠道多样，分散程度高。精准扶贫的实现需要整合所有贫困数据，制定相应的帮扶措施。但是如此庞大的数据规模给贫困数据的整合及处理带来了不小的挑战，从而限制了贫困人口的瞄准精度。
2.贫困数据结构多种多样
贫困户瞄准精度不高的另一个原因是贫困数据类型和数据结构多种多样，数据难以得到有效的利用。贫困数据不仅包括财务报表等结构化数据，还包括图片、音频、视频等非结构化数据，如贫困人口分布图等。由于技术的限制，这些非结构化数据不能得到有效的利用，致使贫困户的瞄准精度存在一定的偏差。
3.贫困数据价值密度低
我国的贫困数据具有信息不对称的特征，信息的不对称性极大限制了贫困户的瞄准精度，给精准扶贫带来严峻的挑战。由于管理体制的限制，我国多数地区的贫困数据相互独立，分散存储，信息不共享。很多贫困户的收入支出比例在多次统计中具有一定的不平衡性，真实数据和统计数据之间存在的差异较大，极大限制了大数据技术的生产和利用。另外，信息的不完整性，失真程度高，可参考性较差，加重了信息处理的负担，使得信息需要经过二次处理，否则将会极大影响贫困户瞄准精度，与精准扶贫的初衷相违背。
四、提高贫困瞄准精度的措施
为了解决上述问题，提高扶贫工作的工作效率和工作质量，本文拟结合大数据技术，从管理层面和技术层面提出改善瞄准精度的解决方案。
1.数据自动化采集和数据共享
由于贫困数据规模的庞大，数据采集和整合的时间差极大限制了扶贫工作的进行，精准扶贫工作存在滞后性。为了加快信息处理速度，切实做到精准扶贫，本文提出开发相应的扶贫平台，通过手机、电脑等电子设备实时将收集到的数据上传到该平台。管理部门可通过该平台实时掌握贫困人口的贫困数据。另外，利用大数据云计算等技术，实现全国贫困数据的共享，各部门、各层级政府都能共享贫困信息，有效保证贫困数据的有效性，提高贫困数据的利用价值，降低失真度。
2.利用大数据技术提高瞄准精度
针对扶贫工作的焦点——贫困人员的精准识别，利用基于Hadoop的大数据处理平台、MapReduce的计算模式及Hive、Pig的数据分析和语言处理等大数据技术，处理海量贫困人员的相关信息，进而提出改进扶贫瞄准精度的方法，以改善现有技术平台无法高效的对大量贫困人员信息进行采集、处理、分析与整合而造成扶贫瞄准精度不足的现状，提高扶贫工作成效。
五、结语
本文提出基于Hadoop的大数据处理架构，将简洁高效的并行计算编程模型MapReduce、基于HDFS的大数据云存储、使用HBase支持大数据数据库以及基于Hive、Pig的数据分析和语言处理等大数据技术行有机融合，提高扶贫数据的处理效率，同时提高贫困户的瞄准精度，对贫困户和贫困人口尽可能做到精准识别，帮助政府制定有效帮扶措施。
关键词：精准扶贫;大数据
中图分类号：C913 文献识别码：A 文章编号：1001-828X（2019）015-011-01
一、绪论
为打赢2020年全面脱贫的攻坚战，习近平在湖南湘西考察时首次提出“精准扶贫”的思想理念。精准扶贫自此成为我国脱贫攻坚的新方略。精准扶贫指的是对真正的贫困家庭和贫困人口实行有针对性的帮扶策略和措施，从根本上消除导致贫困的障碍，达到可持续脱贫的目的。
贫困户的精准识别和精准帮扶，扶贫对象的动态管理和扶贫效果的精准评价是精准扶贫的主要内容。其中，贫困人员的瞄准是整个扶贫工作的焦点。为了实现精准扶贫，我们可以充分利用大数据技术将海量的扶贫信息进行有效的分类、整合、分析及利用，从而提高扶贫瞄准精度，以及实现扶贫方式、内容与扶贫对象有效匹配。
综上所述，本文拟运用大数据思维创新扶贫管理模式，利用大数据技术提高扶贫的瞄准精度，切实做到“扶真贫、真扶贫、治本扶贫”。
二、大数据理论和方法研究现状
现有面向大数据的研究主要是针对存储、处理、分析、可视化等某一方面的关键技术。在大数据处理技术方面，最主流的平台是Hadoop。Hadoop由分布式文件系统HDFS、并行计算框架MapReduce和非结构化数据库Hbase组成，它们分别是Google GFS和Google BigTable的开源实现。HDFS具有高容错性，因此适合部署在价格低廉的硬件上，同时它还适用于具有超大数据集的应用程序。在大数据分析方面，代表性研究有Hive、Pig等，Facebook等公司在实时分析方面也进行了相关研究。
三、贫困瞄准精度不足的原因
1.贫困数据规模巨大，分布广泛
据统计，直至2017年，我国共有5000万贫困人口已经建档立卡，涉及贫困县592个，其中还有包括数万个贫困。另外，贫困数据不仅包含贫困户主体，还包含政府、企业等其他主体。从贫困数据的来源上看，数据来源于财政部、住建部、教育部、工商部、民政部和残联等各个部门。贫困数据来源广泛，渠道多样，分散程度高。精准扶贫的实现需要整合所有贫困数据，制定相应的帮扶措施。但是如此庞大的数据规模给贫困数据的整合及处理带来了不小的挑战，从而限制了贫困人口的瞄准精度。
2.贫困数据结构多种多样
贫困户瞄准精度不高的另一个原因是贫困数据类型和数据结构多种多样，数据难以得到有效的利用。贫困数据不仅包括财务报表等结构化数据，还包括图片、音频、视频等非结构化数据，如贫困人口分布图等。由于技术的限制，这些非结构化数据不能得到有效的利用，致使贫困户的瞄准精度存在一定的偏差。
3.贫困数据价值密度低
我国的贫困数据具有信息不对称的特征，信息的不对称性极大限制了贫困户的瞄准精度，给精准扶贫带来严峻的挑战。由于管理体制的限制，我国多数地区的贫困数据相互独立，分散存储，信息不共享。很多贫困户的收入支出比例在多次统计中具有一定的不平衡性，真实数据和统计数据之间存在的差异较大，极大限制了大数据技术的生产和利用。另外，信息的不完整性，失真程度高，可参考性较差，加重了信息处理的负担，使得信息需要经过二次处理，否则将会极大影响贫困户瞄准精度，与精准扶贫的初衷相违背。
四、提高贫困瞄准精度的措施
为了解决上述问题，提高扶贫工作的工作效率和工作质量，本文拟结合大数据技术，从管理层面和技术层面提出改善瞄准精度的解决方案。
1.数据自动化采集和数据共享
由于贫困数据规模的庞大，数据采集和整合的时间差极大限制了扶贫工作的进行，精准扶贫工作存在滞后性。为了加快信息处理速度，切实做到精准扶贫，本文提出开发相应的扶贫平台，通过手机、电脑等电子设备实时将收集到的数据上传到该平台。管理部门可通过该平台实时掌握贫困人口的贫困数据。另外，利用大数据云计算等技术，实现全国贫困数据的共享，各部门、各层级政府都能共享贫困信息，有效保证贫困数据的有效性，提高贫困数据的利用价值，降低失真度。
2.利用大数据技术提高瞄准精度
针对扶贫工作的焦点——贫困人员的精准识别，利用基于Hadoop的大数据处理平台、MapReduce的计算模式及Hive、Pig的数据分析和语言处理等大数据技术，处理海量贫困人员的相关信息，进而提出改进扶贫瞄准精度的方法，以改善现有技术平台无法高效的对大量贫困人员信息进行采集、处理、分析与整合而造成扶贫瞄准精度不足的现状，提高扶贫工作成效。
五、结语
本文提出基于Hadoop的大数据处理架构，将简洁高效的并行计算编程模型MapReduce、基于HDFS的大数据云存储、使用HBase支持大数据数据库以及基于Hive、Pig的数据分析和语言处理等大数据技术行有机融合，提高扶贫数据的处理效率，同时提高贫困户的瞄准精度，对贫困户和贫困人口尽可能做到精准识别，帮助政府制定有效帮扶措施。