论文部分内容阅读
摘 要：DT时代对于计算机专业方面的人才需求与传统的IT时代有所不同，所以根据数据处理技术的特点进行课程体系和课堂教学的调整是各个高校的必要任务。本文依据笔者的教学经验和相关交流，首先对数据处理和Hadoop课堂的必要性进行了阐述，然后基于DT背景的特点对高职Hadoop课堂教学准备和教学步骤进行了设计。
关键词：高职;Hadoop;教学设计
一、序言
信息技术发展日新月异，大数据、互联网+等一系列新概念和新技术已经融入进人们的日常生活，可以说，我国已经从IT（信息处理）时代步入了DT（数据处理）时代。面对着当前互联网市场对于数据处理技术人才的渴求，各高校应该结合实际，从当前乃至未来的技术需求出发，来设置相应的技术课程。本文以Hadoop框架为例，主要对Hadoop在高职课堂的开展进行了设计，希望能对相关的教学研究起到参考。
二、相关概念阐述
1. 数据处理
DT时代最具代表性的技术无疑就是大数据技术，广义上的大数据技术泛指大数据挖掘技术和云计算技术。每个人在日常生活中都会产生相当多的数据资源，比如电子商务、网络浏览、设备操作和来访记录等等，大数据技术就是将此类数据进行挖掘和统筹，再兼由云计算平台对此类数据进行信息量的提取呈现。比如在商业的信息管理方面，大数据技术主要被应用在挖掘客户的兴趣、取向和意图等方面的信息，同时提高数据管理和网络架构的效率，从而让企业的销售成果使用更上一层台阶。面对日益复杂的竞争环境，各个领域对于此类技术人才的需求也越发增大。
2.Hadoop课堂的必要性
Hadoop框架具备高拓展性、高容错性、高可靠性、高效性和低成本等特点，在对大数据方面具有数据提取、变形和加载方面的巨大优势。Hadoop框架的核心架构为HDFS，同时能够让MapReduce实现紧密配合，帮助用户在对数据进行计算的同时提供分布式处理，利用大数据的集群优势进行高效的存储和运算等功能。除了HDFS和MapReduce之外，Hadoop还包括HBase、Hive、Pig、Zookeeper、Ambari、Avro、Sqoop等子项目，要想完成Hadoop框架的教学，就需要针对不同的子项目的不同特点进行整合，当前有不少高校都开展了Hadoop的课程教学，本文也主要是基于市场需求和教材要求对于现有的Hadoop课程教学进行调整和优化。
三、基于DT背景的高职Hadoop课堂教学设计
1.教学准备
本次课程是针对高职Hadoop课堂教学进行设计，起准备分为如下几项：
首先是硬件准备，Hadoop教学对于计算机有一定的运算能力要求，例如我校在配置计算机时就同意采用Limux Ubuntu作为主要的操作系统，配合较大的内存和处理能力更强的CPU为学生带来良好的学习体验。
其次是软件准备，我校采用的Hadoop供应商为Cloudera CDH，相较于其他Hadoop的版本，Cloudera CDH具有划分清晰、安全性高、支持多种安装包、文档清晰、更新速度快等优势。
最后是学习准备，笔者在教学前通过相应的问卷调查和教学观察，将学生依照不同的学习情况分为了四人一组的学习小组，小组之间的学生互相督促、共同进步。
2.教学设计
以Hadoop课程中的Hadoop性能优化教学为例，本课程笔者首先会测试Map和Reduce任务数量对Hadoop性能的影响进行分析，并依此进行相应的优化。通过Hadoop自带的Terasort排序程序，测试不同的Map任务和Reduce任务数量，对Hadoop性能的影响。实验数据由程序中的teragen程序生成，数据量为1GB和10GB。通过更改配置文件，从而调节Map任务和Reduce任务的数量;副本数设为3，其它参数默认。结果表明：当数据量为1GB和10GB时，把输入分片设置为128MB（此时，1GB数据Map任务=8，10GB数据Map任务=76），系统性能最佳;Reduce任务的数量应该设置为接近从节点数量，或者適当大于节点数，不宜设置为比节点数量小太多。通过此实验，使学生学习如何调整参数来提高Hadoop的性能，对Hadoop有更加深入的了解。
四、总结
总而言之，Hadoop在大数据处理方面具有一定的应用优势，同时Hadoop的应用门槛相对较低，未来的市场应用范围肯定会进一步增大，所以相关高校需要针对市场需求进行课程的调整和优化，基于Hadoop框架的特点设计具体的教学流程，学校和企业之间通力合作共同完成教学体系的构建，从而在DT时代的大背景下让学生能够走得更远。
参考文献：
[1]卢冶，张其亮，刘永良.基于“课程融合、网教结合、校企联合”的软件人才培养模式研究[J].计算机教育，2018（11）：45-48.
[2]马生俊，陈旺虎，郭宏乐，乔保民，李新田.Hadoop集群中影响应用性能的因素分析[J].小型微型计算机系统，2018，39（04）：719-724.
关键词：高职;Hadoop;教学设计
一、序言
信息技术发展日新月异，大数据、互联网+等一系列新概念和新技术已经融入进人们的日常生活，可以说，我国已经从IT（信息处理）时代步入了DT（数据处理）时代。面对着当前互联网市场对于数据处理技术人才的渴求，各高校应该结合实际，从当前乃至未来的技术需求出发，来设置相应的技术课程。本文以Hadoop框架为例，主要对Hadoop在高职课堂的开展进行了设计，希望能对相关的教学研究起到参考。
二、相关概念阐述
1. 数据处理
DT时代最具代表性的技术无疑就是大数据技术，广义上的大数据技术泛指大数据挖掘技术和云计算技术。每个人在日常生活中都会产生相当多的数据资源，比如电子商务、网络浏览、设备操作和来访记录等等，大数据技术就是将此类数据进行挖掘和统筹，再兼由云计算平台对此类数据进行信息量的提取呈现。比如在商业的信息管理方面，大数据技术主要被应用在挖掘客户的兴趣、取向和意图等方面的信息，同时提高数据管理和网络架构的效率，从而让企业的销售成果使用更上一层台阶。面对日益复杂的竞争环境，各个领域对于此类技术人才的需求也越发增大。
2.Hadoop课堂的必要性
Hadoop框架具备高拓展性、高容错性、高可靠性、高效性和低成本等特点，在对大数据方面具有数据提取、变形和加载方面的巨大优势。Hadoop框架的核心架构为HDFS，同时能够让MapReduce实现紧密配合，帮助用户在对数据进行计算的同时提供分布式处理，利用大数据的集群优势进行高效的存储和运算等功能。除了HDFS和MapReduce之外，Hadoop还包括HBase、Hive、Pig、Zookeeper、Ambari、Avro、Sqoop等子项目，要想完成Hadoop框架的教学，就需要针对不同的子项目的不同特点进行整合，当前有不少高校都开展了Hadoop的课程教学，本文也主要是基于市场需求和教材要求对于现有的Hadoop课程教学进行调整和优化。
三、基于DT背景的高职Hadoop课堂教学设计
1.教学准备
本次课程是针对高职Hadoop课堂教学进行设计，起准备分为如下几项：
首先是硬件准备，Hadoop教学对于计算机有一定的运算能力要求，例如我校在配置计算机时就同意采用Limux Ubuntu作为主要的操作系统，配合较大的内存和处理能力更强的CPU为学生带来良好的学习体验。
其次是软件准备，我校采用的Hadoop供应商为Cloudera CDH，相较于其他Hadoop的版本，Cloudera CDH具有划分清晰、安全性高、支持多种安装包、文档清晰、更新速度快等优势。
最后是学习准备，笔者在教学前通过相应的问卷调查和教学观察，将学生依照不同的学习情况分为了四人一组的学习小组，小组之间的学生互相督促、共同进步。
2.教学设计
以Hadoop课程中的Hadoop性能优化教学为例，本课程笔者首先会测试Map和Reduce任务数量对Hadoop性能的影响进行分析，并依此进行相应的优化。通过Hadoop自带的Terasort排序程序，测试不同的Map任务和Reduce任务数量，对Hadoop性能的影响。实验数据由程序中的teragen程序生成，数据量为1GB和10GB。通过更改配置文件，从而调节Map任务和Reduce任务的数量;副本数设为3，其它参数默认。结果表明：当数据量为1GB和10GB时，把输入分片设置为128MB（此时，1GB数据Map任务=8，10GB数据Map任务=76），系统性能最佳;Reduce任务的数量应该设置为接近从节点数量，或者適当大于节点数，不宜设置为比节点数量小太多。通过此实验，使学生学习如何调整参数来提高Hadoop的性能，对Hadoop有更加深入的了解。
四、总结
总而言之，Hadoop在大数据处理方面具有一定的应用优势，同时Hadoop的应用门槛相对较低，未来的市场应用范围肯定会进一步增大，所以相关高校需要针对市场需求进行课程的调整和优化，基于Hadoop框架的特点设计具体的教学流程，学校和企业之间通力合作共同完成教学体系的构建，从而在DT时代的大背景下让学生能够走得更远。
参考文献：
[1]卢冶，张其亮，刘永良.基于“课程融合、网教结合、校企联合”的软件人才培养模式研究[J].计算机教育，2018（11）：45-48.
[2]马生俊，陈旺虎，郭宏乐，乔保民，李新田.Hadoop集群中影响应用性能的因素分析[J].小型微型计算机系统，2018，39（04）：719-724.