论文部分内容阅读
摘 要：随着互联网事业的发展，大数据挖掘已经成为企业关注的重要问题，本文对大数据挖掘技术进行分析，体现了对海量数据的整合，企业可以通过大数据挖掘技术，实现对客户信息的整理，并且为客户提供个性化的服务模式。
关键词：大数据挖掘;关键技术;研究
一、大数据概念
随着互联网技术的不断发展，大数据已经逐渐影响人们的学习和生活，所谓大数据，是指数据相对较为庞大，无法通过计算机软件有效的获取。IBM曾经提出大数据的4个特征：（1）数据量庞大，达到PB等级。（2）存在视频、图片以及日志等多样化的文件形式。（3）具有较快的处理速度。（4）具有高质量的数据。在大数据处理过程中，通过数据分析挖掘技术，可以挖掘数据的价值。
互联网大数据是指用户在使用终端的情况下产生的数据信息，其包括网络协议以及流量等情况，网络是由供应商提供，同时其可以通过数据信息来获取用户的相关数据[1]。随着互联网事业的不断发展，企业同样获取了较大的发展机遇，互联网大数据可以为其发展提供基础信息以及使用信息，通过对数据的掌握，了解网络的运行状况，并且可以加强用户的体验。大数据分析是对网络的服务管理，可以分析用户体验的相关信。
二、大数据分析及数据挖掘技术
数据不经过分析是没有使用价值的，只有经过分析之后变为特定的格式的信息，才能在应用时发挥数据潜在的价值。在大数据使用之前，要对大数据进行分析和数据挖掘，这一活动的目的是从看起来没有什么关联的大量的、复杂的数据中，通过技术手段快速的找出这些数据之间的存在潜在关联。对大数据进行分析的处理流程与传统数据进行分析处理流程基本相同，但由于大数据要处理的数据的结构十分复杂（有结构化数据也有非结构人数据）、数据量非常大，而且对数据处理时效性要求还非常高，所以在进行大数据分析和数据挖掘时，有新的、更高的要求。
对大数据进行分析和挖掘，本质就是从获得的海量数据中，按照某种方法或策略，采用相关技术手段来提取这些数据里所包含的、我们不能直接发现的、但又有应用价值的信息的过程和方法。在进行大数据分析与数据挖掘时，可以采用不同的技术手段，这些技术又分为大数据描述性技术和大数据分析预测性技术。大数据描述性技术主要是利用技术手段分析海量数据与数据之间存在的相关规律的技术;而大数据分析预测性技术主要是利用技术手段对使用历史数据进行分析，从而预测这一行业或领域未来情况的技术。
大数据分析与数据挖掘技术在整个大数据应用过程中十分重要，它实现功能主要有：（1）未来发展的趋势预测功能。这一功能主要是通过对数据本身进行特定分析，然后对数据规律进行总结，继而通过总结来预测未来的发展趋势，也就是我们常说的所谓“智慧”;（2）大数据的总结功能。这一功能主要是利用数学上经常使用的统计学方法来实现，如：在对大数据进行分析时可以用“求方差”或者求“标准差”等方法，来对大量数据进行统计与分析;（3）数据的聚类与分类功能。主是把海量数据按不同类别分解成不同的子集，方便用户理解;（4）数据关联分析与数据偏差检测功能。主要用于发现事物之间的关联性，找出极端的特殊例子。
数据分析与挖掘技术的本质是知识发现的过程，通常可以分为6 个子过程，分别为定义数据分析与挖掘目标、进行数据取样、进行数据探索、进行数据预处理、模式发现、模式评价。在数据分析与挖掘前需要对数据分析与挖掘目标进行定义;数据取样是利用样本数据对总体目标进行评价估计的重要方法;数据探索的目的是发现数据中复杂关系;数据预处理是保证数据质量的重要手段;模式发现是利用关联分析、神经网络分析等分析技术对事物或现象进行描述、识别、分类和解释的过程;模型评价是在建立的各种模型中找出大数据分析过程中解决实际问题的所适用的模型。在数据分析和挖掘过程中要用到各种算法，不同的算法有不同的作用和适用场合。云计算技术可以为大数据分析与挖掘提供稳定可靠的算力，已经成为大数据分析及数据挖掘技术重要支撑技术。
三、实时数据挖掘技术
互联网数据具有复杂性的特征，其不利于实现故障的诊断以及用户的体验，数据挖掘模块是通过对无线网络的理解，采用数据分析和挖掘的方式获取报表，以此来开放应用程序编程接口（Application Programming Interface，API），其可以获取以下几种类型的数据信息：（1）网络分析信息，通过对流量以及会话等模块的分析，可以实现对网络性能的关键绩效指标（Key Performance Indicator，KPI）分析。（2）网元分析。通过网元对比以及网元组对比等趋势分析，可以获取RNC性能负载。（3）终端分析。通过终端设备的使用情况分析，可以获取小时的数据变化，继而可以获取相关的性能指标。（4）用户分析。通过对用户数据的比较，可以获取用户资源的使用情况。（5）应用分析。通过对用户应用业务的分析，可以获取用户的累计分布情况以及单个用户的时间变化。（6）通过QoS以及QoE等指标的分析，可以获取用户网络状况以及负荷等相关信息。
在实时数据分析中，多媒体数据挖掘同样是重要的技术手段。通过画像建立以及视频推广等模式进行分析。用户画像的挖掘技术通过视频播放以及注册搜索等行为，采用大數据分类方式构建模型，包括性别或者年龄模型等，通过对模型的预测，可以对用户进行判断，以此来为企业的发展提供数据信息支持。视频推荐模式是根据用户的行为，对视频的相关热度等情况进行分析，可以获取用户的兴趣反馈数据，其便于识别用户的ID，经过信息整理，企业可以采用针对性的推荐来满足客户的基本需求。另外，通过用户画像以及视频推荐，可以为广告企业进行定位，其将符合用户需求的广告投放到定向的人群，以此来提升媒体的运营质量。
随着互联网事业的发展，大数据挖掘已经成为企业关注的重要问题，本文对大数据挖掘技术进行分析，体现了对海量数据的整合，企业可以通过大数据挖掘技术，实现对客户信息的整理，并且为客户提供个性化的服务模式。
参考文献：
[1]李平荣.大数据时代的数据挖掘技术与应用[J].重庆三峡学院学报，2014（3）：45-47.
[2]段云峰，等.大数据的互联网思维[M].北京：电子工业出版社，2015
[3]程学旗，等.大数据系统和分析技术综述[J].软件学报，2014，（09）
作者简介：
王文彬（1967-），男，河南濮阳人，硕士，教授，研究方向：计算机应用技术。
基金项目：濮阳职业技术学院自然科学项目，互联网环境下大数据挖掘关键技术研究， 2020PZYKY2
关键词：大数据挖掘;关键技术;研究
一、大数据概念
随着互联网技术的不断发展，大数据已经逐渐影响人们的学习和生活，所谓大数据，是指数据相对较为庞大，无法通过计算机软件有效的获取。IBM曾经提出大数据的4个特征：（1）数据量庞大，达到PB等级。（2）存在视频、图片以及日志等多样化的文件形式。（3）具有较快的处理速度。（4）具有高质量的数据。在大数据处理过程中，通过数据分析挖掘技术，可以挖掘数据的价值。
互联网大数据是指用户在使用终端的情况下产生的数据信息，其包括网络协议以及流量等情况，网络是由供应商提供，同时其可以通过数据信息来获取用户的相关数据[1]。随着互联网事业的不断发展，企业同样获取了较大的发展机遇，互联网大数据可以为其发展提供基础信息以及使用信息，通过对数据的掌握，了解网络的运行状况，并且可以加强用户的体验。大数据分析是对网络的服务管理，可以分析用户体验的相关信。
二、大数据分析及数据挖掘技术
数据不经过分析是没有使用价值的，只有经过分析之后变为特定的格式的信息，才能在应用时发挥数据潜在的价值。在大数据使用之前，要对大数据进行分析和数据挖掘，这一活动的目的是从看起来没有什么关联的大量的、复杂的数据中，通过技术手段快速的找出这些数据之间的存在潜在关联。对大数据进行分析的处理流程与传统数据进行分析处理流程基本相同，但由于大数据要处理的数据的结构十分复杂（有结构化数据也有非结构人数据）、数据量非常大，而且对数据处理时效性要求还非常高，所以在进行大数据分析和数据挖掘时，有新的、更高的要求。
对大数据进行分析和挖掘，本质就是从获得的海量数据中，按照某种方法或策略，采用相关技术手段来提取这些数据里所包含的、我们不能直接发现的、但又有应用价值的信息的过程和方法。在进行大数据分析与数据挖掘时，可以采用不同的技术手段，这些技术又分为大数据描述性技术和大数据分析预测性技术。大数据描述性技术主要是利用技术手段分析海量数据与数据之间存在的相关规律的技术;而大数据分析预测性技术主要是利用技术手段对使用历史数据进行分析，从而预测这一行业或领域未来情况的技术。
大数据分析与数据挖掘技术在整个大数据应用过程中十分重要，它实现功能主要有：（1）未来发展的趋势预测功能。这一功能主要是通过对数据本身进行特定分析，然后对数据规律进行总结，继而通过总结来预测未来的发展趋势，也就是我们常说的所谓“智慧”;（2）大数据的总结功能。这一功能主要是利用数学上经常使用的统计学方法来实现，如：在对大数据进行分析时可以用“求方差”或者求“标准差”等方法，来对大量数据进行统计与分析;（3）数据的聚类与分类功能。主是把海量数据按不同类别分解成不同的子集，方便用户理解;（4）数据关联分析与数据偏差检测功能。主要用于发现事物之间的关联性，找出极端的特殊例子。
数据分析与挖掘技术的本质是知识发现的过程，通常可以分为6 个子过程，分别为定义数据分析与挖掘目标、进行数据取样、进行数据探索、进行数据预处理、模式发现、模式评价。在数据分析与挖掘前需要对数据分析与挖掘目标进行定义;数据取样是利用样本数据对总体目标进行评价估计的重要方法;数据探索的目的是发现数据中复杂关系;数据预处理是保证数据质量的重要手段;模式发现是利用关联分析、神经网络分析等分析技术对事物或现象进行描述、识别、分类和解释的过程;模型评价是在建立的各种模型中找出大数据分析过程中解决实际问题的所适用的模型。在数据分析和挖掘过程中要用到各种算法，不同的算法有不同的作用和适用场合。云计算技术可以为大数据分析与挖掘提供稳定可靠的算力，已经成为大数据分析及数据挖掘技术重要支撑技术。
三、实时数据挖掘技术
互联网数据具有复杂性的特征，其不利于实现故障的诊断以及用户的体验，数据挖掘模块是通过对无线网络的理解，采用数据分析和挖掘的方式获取报表，以此来开放应用程序编程接口（Application Programming Interface，API），其可以获取以下几种类型的数据信息：（1）网络分析信息，通过对流量以及会话等模块的分析，可以实现对网络性能的关键绩效指标（Key Performance Indicator，KPI）分析。（2）网元分析。通过网元对比以及网元组对比等趋势分析，可以获取RNC性能负载。（3）终端分析。通过终端设备的使用情况分析，可以获取小时的数据变化，继而可以获取相关的性能指标。（4）用户分析。通过对用户数据的比较，可以获取用户资源的使用情况。（5）应用分析。通过对用户应用业务的分析，可以获取用户的累计分布情况以及单个用户的时间变化。（6）通过QoS以及QoE等指标的分析，可以获取用户网络状况以及负荷等相关信息。
在实时数据分析中，多媒体数据挖掘同样是重要的技术手段。通过画像建立以及视频推广等模式进行分析。用户画像的挖掘技术通过视频播放以及注册搜索等行为，采用大數据分类方式构建模型，包括性别或者年龄模型等，通过对模型的预测，可以对用户进行判断，以此来为企业的发展提供数据信息支持。视频推荐模式是根据用户的行为，对视频的相关热度等情况进行分析，可以获取用户的兴趣反馈数据，其便于识别用户的ID，经过信息整理，企业可以采用针对性的推荐来满足客户的基本需求。另外，通过用户画像以及视频推荐，可以为广告企业进行定位，其将符合用户需求的广告投放到定向的人群，以此来提升媒体的运营质量。
随着互联网事业的发展，大数据挖掘已经成为企业关注的重要问题，本文对大数据挖掘技术进行分析，体现了对海量数据的整合，企业可以通过大数据挖掘技术，实现对客户信息的整理，并且为客户提供个性化的服务模式。
参考文献：
[1]李平荣.大数据时代的数据挖掘技术与应用[J].重庆三峡学院学报，2014（3）：45-47.
[2]段云峰，等.大数据的互联网思维[M].北京：电子工业出版社，2015
[3]程学旗，等.大数据系统和分析技术综述[J].软件学报，2014，（09）
作者简介：
王文彬（1967-），男，河南濮阳人，硕士，教授，研究方向：计算机应用技术。
基金项目：濮阳职业技术学院自然科学项目，互联网环境下大数据挖掘关键技术研究， 2020PZYKY2