论文部分内容阅读
摘 要：身处大数据时代，新的数据研究方法将会给个性化职业指导工作带来新的机遇，这其中针对海量数据采用有效的挖掘方式是十分必要的，基于MapReduce平台的数据挖掘模型能够满足相关的要求。本文简要阐述了基于MapReduce平台的大学生个性化职业指导大数据挖掘的模型。
关键词：大数据；职业指导；大学生；数据挖掘；MapReduce
中图分类号：G647文献标志码：A文章编号：2095-9214（2016）04-0231-02
在社会科学领域，问卷调查是目前获得研究数据最主要的来源，包括抽样调查和小范围的全局调查。在职业指导过程中也存在着问卷调查这一形式，针对在校大学生的职业指导中，以问卷调查为信息采集的主要方式。问卷调查是获得信息的常用手段，职业指导师要求熟练掌握问卷调查的基本原理，不仅能够组织实施问卷调查，而且能够对调查活动进行评估。但所有的问卷调查都是在事先设定好问题的基础上展开的，这也就意味着我们只能从这些问题的结果中获取数据，且调查都需要选择特定时间进行。因此，想要通过问卷调查的形式，获得客观的数据其实并不容易。
伴随着云计算、物联网等技术的兴起与成熟，大数据的时代已经悄然来到我们的身边。大数据这个名词不算新鲜，早在2008年9月《Nature》杂志就刊登了大数据的专刊，从互联网技术、超级计算机、天文学、生物医学等方面来专门探讨对大数据的研究。大数据拥有数据量大、数据类型多、价值密度低及实效性高等特点。
在大数据的背景下有必要对现有的数据来源与分析重新进行审视。当记录下来的是学生的平时状态，我们也就不用担心调查研究存在偏见了。能够将原本无法量化的，如态度、情绪、意识等主观层面上的信息进行数据化，将会在大数据时代成为现实。将来通过大数据技术预测学生的职业行为趋势，对其提供更有针对性的职业指导服务。
一、重新定义有价值的数据
云计算和物联网的日趋成熟，使得学生在日常学习生活中产生的数据，如同一座金矿一样摆在我们的面前。过去，我们由于技术的限制，一般只关注那些我们认为与问题直接相关的数据，就如同相机的焦点一样，只能对准某一个平面，而选择哪一个“平面”也需要我们做出决定。光场相机的出现让先成像后对焦成为现实，大数据如同数据界的光场相机，在选择需要的“平面”之前，我们能够查看同一时间内其他的“平面”是否有价值，再做出决定。今天的我们无法想象，在不久的将来学生在一天当中点亮手机屏幕的次数会与他的家庭经济情况相关联。数据本身并不存在价值，如何收集、处理、分析以及合理的使用数据才是关键点。
收集数据是大数据应用的第一个步骤，也是极为重要的环节，人们也在不断努力地将人类的各种行为数据化。在社科领域，大数据的主要来源于三个方面：物联网、互联网和移动互联网，目前网络（互联网、移动互联网）上产生的数据量要远超过物联网，而物联网产生的数据却能够成为连接现实和虚拟的一座桥梁。
在高校中，学生的基础信息已经全面数据化，教务系统拥有学习成绩学分数据、学工系统拥有学生奖助贷数据、后勤系统拥有住宿数据，这些数据冰冷的储存在计算机当中，看起来和学生的现实生活相距甚远。但是当物联网的数据加入进来的时候，一切变得不一样了，如采用无纸化教学、考试后，教师就能通过学生在某一章节学习所花费的时间、考试时解答某一题正确率及所花费时间等数据有针对性的帮助学生解决学习上问题，并综合的评价这门课的学习成绩。再如，学生某段时间内的消费习惯、进出图书馆、自习室、实验室的时长和频率、在网络上热议和关注的话题等等此外，互联网上的微博、微信、QQ空间、QQ群、人人网、飞信以及校内外各类BBS和搜索引擎也蕴含着学生大量的思想状况、情绪波动、交友择业等动态信息。如果能够有效的分析使用这些数据，对于学生个性的把握将会更加到位，也能够为大学生个性化职业指导提供更加科学、客观的依据。
弱化问卷调查在职业指导中的作用，将成为大数据时代职业指导一个新趋势。利用大数据能够全面准确的反应一个人的个性特征的特性，让开展个性化的职业指导服务成为常态工作。那么，数据的获取就显得尤为关键，是将所有能够收集的到数据进行存贮，还是有筛选的进行存贮，是摆在我们面前的一个问题，数据不是信息，而是有待理解的原材料。
二、基于MapReduce的数据获取模型建立
数据获取也称数据挖掘，这一过程分为若干个步骤，一般是问题定义、数据准备、模型构造、数据挖掘、评估优化、知识应用等过程。这其中，该领域的专家学者为问题定义、数据准备、评估优化、知识应用等过程进行指导；而数据的管理、挖掘、分析人员主要是负责数据准备、模型构造、数据挖掘、评估优化等过程。这些过程中有相关人员独立完成，也有不同专业背景的人员协作共同完成。大数据的挖掘工作也离不开这几个主要步骤，但大数据的数据量超过以往许多，以往的数据存贮挖掘方式变得性价比极低，于是，Google公司于2004年推出了MapReduce编程模型，该模型最初是用于互联网大规模数据的处理，现成为大数据集处理的编程模型，还衍伸出Hadoop等编程模型。
MapReduce将数据处理任务抽象为一系列的Map（映射）-Reduce（化简）操作对。Map主要完成数据的过滤操作，Reduce主要完成数据的聚集操作。MapReduce对硬件要求比较低，无需专业的服务器作为支撑，甚至可以分散式的运行在家用计算机上。至此，MapReduce成功解决了大数据挖掘所带来的两个核心问题，即数据量过大对硬件性能要求高，以及资金的问题。
如上图所示，数据挖掘的过程先将输入的学生各种信息数据划分为若干份，主控程序负责分配Map、Reduce任务，被分配到Map任务的工作机读取数据分片，并从数据中抽取出相应的关键词或数据；而被分配到Reduce任务的工作机则从上述数据中，按照事先设定好的排列方式将数据进行分类排列。这种模型简化了数据挖掘的过程，直接按照事先制定好的条件从海量数据中提取数据。
作为职业指导师，不仅能够合理利用输出数据对被指导学生进行职业指导，还要能够作为该领域的专业人员参与制定主控程序，从而从整体上把握数据挖掘分析的全过程。为职业指导服务的大数据挖掘，并不是简单地呈现已经发生的事情，而是将隐藏在海量学生个人信息数据有价值的挖掘出来，反过来服务于职业指导工作。身为职业指导人员，应该在过往经验的基础上先行设计主控程序的总体方案，并在实际应用过程中不断调整，进一步拓展完善数据挖掘的途径。通过分析相关数据，可以为企事业单位到校招聘，推荐合适的学生参加；另一方面，也能够帮助职业指导人员对被指导学生进行个性化指导，增强指导的针对性和时效性。其中个性化指导遵循以人为本的原则，针对学生的实际情况、多样化的个性特点，引导其了解自己的职业兴趣、职业发展方向，帮助其制定符合自身特点与期待的职业生涯规划，并提供就业咨询、政策咨询、技术咨询等多方面的服务。
三、结束语
“不得不承认，对于学生，我们知道的还太少”——这是卡耐基·梅隆大学教育学院的一句经典口号，类似的思考在国内的教育领域同样存在。开展职业指导工作，首要前提就是能够充分了解被指导对象，从以往的粗放型服务向个性化服务转变。大数据摒弃问卷调查，转而采取收集研究个体平常所产生的数据，让全面追踪个体数据成为了可能，也让社会科学领域的研究从宏观层面走向了微观个体。未来，大数据将为大学生个性化职业指导提供了更加客观、科学、准确的数据支撑。也许，延续千年地因材施教的理想，已经离我们越来越近。
参考文献：
[1]维克托·迈尔-舍恩伯格，肯尼思·库克耶，周涛（译）.大数据时代：生活、工作与思维的大变革[M].浙江：浙江人民出版社，2012.
[2]易鑫.教育如何玩转大数据[N].北京：中国教育报刊社，2014[2014-3-26].http：//www.edu.cn/zong_he_news_465/20140326/t20140326_1090486.shtml.
[3]张家明.大数据背景下的大学生个性化就业指导[J].教育与职业，2014，24：98-100.
[4]朱坚坚.大数据时代背景下的ITS数据挖掘模型研究[J].江苏第二师范学院学报，2014，8：9-12.
关键词：大数据；职业指导；大学生；数据挖掘；MapReduce
中图分类号：G647文献标志码：A文章编号：2095-9214（2016）04-0231-02
在社会科学领域，问卷调查是目前获得研究数据最主要的来源，包括抽样调查和小范围的全局调查。在职业指导过程中也存在着问卷调查这一形式，针对在校大学生的职业指导中，以问卷调查为信息采集的主要方式。问卷调查是获得信息的常用手段，职业指导师要求熟练掌握问卷调查的基本原理，不仅能够组织实施问卷调查，而且能够对调查活动进行评估。但所有的问卷调查都是在事先设定好问题的基础上展开的，这也就意味着我们只能从这些问题的结果中获取数据，且调查都需要选择特定时间进行。因此，想要通过问卷调查的形式，获得客观的数据其实并不容易。
伴随着云计算、物联网等技术的兴起与成熟，大数据的时代已经悄然来到我们的身边。大数据这个名词不算新鲜，早在2008年9月《Nature》杂志就刊登了大数据的专刊，从互联网技术、超级计算机、天文学、生物医学等方面来专门探讨对大数据的研究。大数据拥有数据量大、数据类型多、价值密度低及实效性高等特点。
在大数据的背景下有必要对现有的数据来源与分析重新进行审视。当记录下来的是学生的平时状态，我们也就不用担心调查研究存在偏见了。能够将原本无法量化的，如态度、情绪、意识等主观层面上的信息进行数据化，将会在大数据时代成为现实。将来通过大数据技术预测学生的职业行为趋势，对其提供更有针对性的职业指导服务。
一、重新定义有价值的数据
云计算和物联网的日趋成熟，使得学生在日常学习生活中产生的数据，如同一座金矿一样摆在我们的面前。过去，我们由于技术的限制，一般只关注那些我们认为与问题直接相关的数据，就如同相机的焦点一样，只能对准某一个平面，而选择哪一个“平面”也需要我们做出决定。光场相机的出现让先成像后对焦成为现实，大数据如同数据界的光场相机，在选择需要的“平面”之前，我们能够查看同一时间内其他的“平面”是否有价值，再做出决定。今天的我们无法想象，在不久的将来学生在一天当中点亮手机屏幕的次数会与他的家庭经济情况相关联。数据本身并不存在价值，如何收集、处理、分析以及合理的使用数据才是关键点。
收集数据是大数据应用的第一个步骤，也是极为重要的环节，人们也在不断努力地将人类的各种行为数据化。在社科领域，大数据的主要来源于三个方面：物联网、互联网和移动互联网，目前网络（互联网、移动互联网）上产生的数据量要远超过物联网，而物联网产生的数据却能够成为连接现实和虚拟的一座桥梁。
在高校中，学生的基础信息已经全面数据化，教务系统拥有学习成绩学分数据、学工系统拥有学生奖助贷数据、后勤系统拥有住宿数据，这些数据冰冷的储存在计算机当中，看起来和学生的现实生活相距甚远。但是当物联网的数据加入进来的时候，一切变得不一样了，如采用无纸化教学、考试后，教师就能通过学生在某一章节学习所花费的时间、考试时解答某一题正确率及所花费时间等数据有针对性的帮助学生解决学习上问题，并综合的评价这门课的学习成绩。再如，学生某段时间内的消费习惯、进出图书馆、自习室、实验室的时长和频率、在网络上热议和关注的话题等等此外，互联网上的微博、微信、QQ空间、QQ群、人人网、飞信以及校内外各类BBS和搜索引擎也蕴含着学生大量的思想状况、情绪波动、交友择业等动态信息。如果能够有效的分析使用这些数据，对于学生个性的把握将会更加到位，也能够为大学生个性化职业指导提供更加科学、客观的依据。
弱化问卷调查在职业指导中的作用，将成为大数据时代职业指导一个新趋势。利用大数据能够全面准确的反应一个人的个性特征的特性，让开展个性化的职业指导服务成为常态工作。那么，数据的获取就显得尤为关键，是将所有能够收集的到数据进行存贮，还是有筛选的进行存贮，是摆在我们面前的一个问题，数据不是信息，而是有待理解的原材料。
二、基于MapReduce的数据获取模型建立
数据获取也称数据挖掘，这一过程分为若干个步骤，一般是问题定义、数据准备、模型构造、数据挖掘、评估优化、知识应用等过程。这其中，该领域的专家学者为问题定义、数据准备、评估优化、知识应用等过程进行指导；而数据的管理、挖掘、分析人员主要是负责数据准备、模型构造、数据挖掘、评估优化等过程。这些过程中有相关人员独立完成，也有不同专业背景的人员协作共同完成。大数据的挖掘工作也离不开这几个主要步骤，但大数据的数据量超过以往许多，以往的数据存贮挖掘方式变得性价比极低，于是，Google公司于2004年推出了MapReduce编程模型，该模型最初是用于互联网大规模数据的处理，现成为大数据集处理的编程模型，还衍伸出Hadoop等编程模型。
MapReduce将数据处理任务抽象为一系列的Map（映射）-Reduce（化简）操作对。Map主要完成数据的过滤操作，Reduce主要完成数据的聚集操作。MapReduce对硬件要求比较低，无需专业的服务器作为支撑，甚至可以分散式的运行在家用计算机上。至此，MapReduce成功解决了大数据挖掘所带来的两个核心问题，即数据量过大对硬件性能要求高，以及资金的问题。
如上图所示，数据挖掘的过程先将输入的学生各种信息数据划分为若干份，主控程序负责分配Map、Reduce任务，被分配到Map任务的工作机读取数据分片，并从数据中抽取出相应的关键词或数据；而被分配到Reduce任务的工作机则从上述数据中，按照事先设定好的排列方式将数据进行分类排列。这种模型简化了数据挖掘的过程，直接按照事先制定好的条件从海量数据中提取数据。
作为职业指导师，不仅能够合理利用输出数据对被指导学生进行职业指导，还要能够作为该领域的专业人员参与制定主控程序，从而从整体上把握数据挖掘分析的全过程。为职业指导服务的大数据挖掘，并不是简单地呈现已经发生的事情，而是将隐藏在海量学生个人信息数据有价值的挖掘出来，反过来服务于职业指导工作。身为职业指导人员，应该在过往经验的基础上先行设计主控程序的总体方案，并在实际应用过程中不断调整，进一步拓展完善数据挖掘的途径。通过分析相关数据，可以为企事业单位到校招聘，推荐合适的学生参加；另一方面，也能够帮助职业指导人员对被指导学生进行个性化指导，增强指导的针对性和时效性。其中个性化指导遵循以人为本的原则，针对学生的实际情况、多样化的个性特点，引导其了解自己的职业兴趣、职业发展方向，帮助其制定符合自身特点与期待的职业生涯规划，并提供就业咨询、政策咨询、技术咨询等多方面的服务。
三、结束语
“不得不承认，对于学生，我们知道的还太少”——这是卡耐基·梅隆大学教育学院的一句经典口号，类似的思考在国内的教育领域同样存在。开展职业指导工作，首要前提就是能够充分了解被指导对象，从以往的粗放型服务向个性化服务转变。大数据摒弃问卷调查，转而采取收集研究个体平常所产生的数据，让全面追踪个体数据成为了可能，也让社会科学领域的研究从宏观层面走向了微观个体。未来，大数据将为大学生个性化职业指导提供了更加客观、科学、准确的数据支撑。也许，延续千年地因材施教的理想，已经离我们越来越近。
参考文献：
[1]维克托·迈尔-舍恩伯格，肯尼思·库克耶，周涛（译）.大数据时代：生活、工作与思维的大变革[M].浙江：浙江人民出版社，2012.
[2]易鑫.教育如何玩转大数据[N].北京：中国教育报刊社，2014[2014-3-26].http：//www.edu.cn/zong_he_news_465/20140326/t20140326_1090486.shtml.
[3]张家明.大数据背景下的大学生个性化就业指导[J].教育与职业，2014，24：98-100.
[4]朱坚坚.大数据时代背景下的ITS数据挖掘模型研究[J].江苏第二师范学院学报，2014，8：9-12.