论文部分内容阅读
随着互联网的飞速发展,企业在发布招聘信息时逐渐摒弃了传统的线下招聘模式,开始选择boss直聘、前程无忧、拉勾网等线上招聘网站。同时,由于自动化和人工智能技术在各行业中的逐步应用,企业对高新技术类岗位复合型人才的需求量增大。据移动招聘平台boss直聘发布的《2018旺季人才趋势报告》显示,在2018年人才最为紧缺的前十个职位中,数据类岗位占比近50%。本文从招聘网站采集数据类岗位的招聘信息,通过文本挖掘技术探索数据类岗位的发展现状以及不同数据类岗位对人才要求的异同,对人才的学习规划和教育部门的培养方案具有一定的理论价值和现实意义。
本文首先根据boss直聘网站的特点编写爬虫程序,采集该网站中技术类下的数据类招聘信息作为本文的研究对象。爬虫程序设计过程中主要包括网页结构分析和网页内容分析、设计高效的爬虫策略以及字段解析入库三部分,最终采集的数据包括岗位名称、薪资范围、工作城市、学历、工作经验、公司名称、公司融资阶段、公司规模、公司所属行业、职位描述等10个字段。然后本文根据工作城市所属的地区将数据类招聘信息划分为东部地区、西部地区、中部地区和东北地区,分别探索四大地区发布数据类岗位招聘信息的企业现状和数据类岗位现状。并且分别对四大地区的招聘信息字段做关联规则,挖掘招聘信息字段之间隐藏的强关联规则。另外,本文对采集到的招聘信息中职位描述部分进行中文分词、去停用词等文本预处理,构造向量空间模型,将该文本表示为向量的形式。本文利用基于DF的特征相似度算法对特征进行降维,然后使用k-means聚类算法对招聘信息中职位描述文本进行文本聚类,从岗位的工作内容和招聘要求方面将数据类岗位聚为5类,分析不同类别的数据类岗位的薪资待遇以及对人才要求的差异。研究结果表明,东部地区数据类岗位的发展较好;数据类岗位对应聘者的专业技能要求较为综合,同时对应聘者的综合素质能力也有一定的要求。针对以上结果,本文分别对数据类人才的自我学习规划,以及教育部门的人才培养计划等提出建议,为缩小数据类人才缺口做出贡献。
本文首先根据boss直聘网站的特点编写爬虫程序,采集该网站中技术类下的数据类招聘信息作为本文的研究对象。爬虫程序设计过程中主要包括网页结构分析和网页内容分析、设计高效的爬虫策略以及字段解析入库三部分,最终采集的数据包括岗位名称、薪资范围、工作城市、学历、工作经验、公司名称、公司融资阶段、公司规模、公司所属行业、职位描述等10个字段。然后本文根据工作城市所属的地区将数据类招聘信息划分为东部地区、西部地区、中部地区和东北地区,分别探索四大地区发布数据类岗位招聘信息的企业现状和数据类岗位现状。并且分别对四大地区的招聘信息字段做关联规则,挖掘招聘信息字段之间隐藏的强关联规则。另外,本文对采集到的招聘信息中职位描述部分进行中文分词、去停用词等文本预处理,构造向量空间模型,将该文本表示为向量的形式。本文利用基于DF的特征相似度算法对特征进行降维,然后使用k-means聚类算法对招聘信息中职位描述文本进行文本聚类,从岗位的工作内容和招聘要求方面将数据类岗位聚为5类,分析不同类别的数据类岗位的薪资待遇以及对人才要求的差异。研究结果表明,东部地区数据类岗位的发展较好;数据类岗位对应聘者的专业技能要求较为综合,同时对应聘者的综合素质能力也有一定的要求。针对以上结果,本文分别对数据类人才的自我学习规划,以及教育部门的人才培养计划等提出建议,为缩小数据类人才缺口做出贡献。