论文部分内容阅读
摘 要：随着数据通信、传感器等相关技术的不断发展，以数据流为首的获取数据量方式逐渐成为工业生产领域中常用的方式手段。举例而言，典型工业应用领域如电力系统对于数据流处理方式的依赖程度较高。究其原因，主要是因为数据流方式在一定程度上具备高精度、高效性的优势特点，通过发挥自身的功能优势，获取连续有序的数据项序列，提高工业生产领域工作效率与质量。针对于此，本文主要立足于数据流情况对数据流概要与数据流相关技术内容进行研究与分析，以供参考。
关键词：数据流;传感数据;预测;分析
前言：数据流基本上可以理解为具有实时性、连续性以及有序性特点的数据项序列。其中，关于数据流的数量在理论上是趋于无限的，一般难以对其进行完整存储。与此同时，数据流上的查询可事先注册于系统，按照触发方式或者周期性表达方式促使数据流连续运行，并周而复始返回查询结果。不难看出，数据流在一定程度上可以利用长时间运行以及连续性查询特点，广泛应用于多个典型领域当中。结合当前应用发展情况来看，数据流概要以及相关分析技术已经成功应用于我国工业领域生产当中，无论是在数据分析效率还是在数据应用效率方面均得到了明显加强。
1 数据流概要及数据流分析技术应用
1.1 数据流预处理
对于数据流序列而言，如果序列中某个元素存在缺失或者延迟到达现象，就很容易导致在准确修正方面存在较大难度。举例而言，在传感器网络环境中，如果存在网络拥堵或者噪声干扰等异常现象，数据采集通常会利用监听模式启动采集装置并发送相关数据。但是需要注意的是，在这种运行模式下，采集时刻数据可能会无法预期到达[1]。
此时一般该时刻数据通常设置为零，容易造成误差问题。可以说，如何高效准确重构传感器数据始终是传感器数据流分析工作予以重点解决的问题。结合当前应用情况来看，关于异常数据检测方法的应用主要可以从统计、特征选择以及神经网络等方面进行研究与分析。
1.2 数据流概要生成技术
数据流概要生成技术基本上可以视为保障数据流得以安全高效应用的重要技术内容。结合当前应情况来看，构建数据流概要通常会涉及到以下几种方法内容：
（1）抽样方法。抽样方法基本上可以视为生成概要数据结构的重要手段，可从数据集中抽取小部分数据进行应用与分析，并根据该样本集合情况获得最终查询结果。一般来说，抽样方法可根据作用性质不同，细化分为均匀抽样与偏移抽样两种方式。在具体使用过程中，研究人员可根据实际情况进行合理选用。
（2）直方图方法。直方图方法主要是将一个大数据集划分为多个小数据集。其中，小数据集的每一个数字都可以代表数据流特征及相关频率。结合实践应用情况来看，直方图表示方法具有较强的直观性与简洁性，一般多可以很好地描述大数据集轮廓[2]。
（3）小波方法。小波方法可以视为一种具有通用性特点的数字信号处理技术，主要根据输入的模拟量以及数字量，将其变换成为小波参数。其中，少数几个小波参数可以拥有较大能量。结合这一特性，研究人员可选择少数小波参数还原原始信号。结合当前应用情况来看，小波分析方法通常会被应用于数据库领域当中。举例而言，利用小波分析方法对高维数据进行降维处理。
1.3 数据流预测与分类
结合当前应研究情况来看，在数据流挖掘算法的研究方面，主要可以从计算数据流信号、典型趋势以及决策树预测等方面进行研究与分析。结合分析反馈情况来看，数据挖掘领域中的未来连续值在一定程度上可以视为预测数值。其中，对于预测未知连续值或者离散值所属的类别而言，研究人员可以从数据流预测与其相关分类工作方面进行研究与分析，具体如下：
一方面，在数据流预测分析方面，研究人员可利用回归分析中最小二乘法实现对基于异常模式下趋势监测工作的优化分析。以车辆跟踪信息以及电力负荷数据为例，研究人员可利用上述方法对变化的数据流值进行科学预测。另一方面，研究人员也可以利用人工智能方法对预测数据流中的周期稳定性进行研究与分析。结合分析反馈情况来看，基于人工智能方法的数据流预测分析工作在预测精度方面表现较高。而回归分析中的最小二乘法虽在预测速度方面表现较快，但是在预测精度方面远不及人工智能方法。但是需要注意的是，人工智能方法在数据流预测方面还是存在不确定因素，如无法适应流值在不同时段所涉及到的波动特点[3]。
2 数据流在典型应用领域中的实践分析
2.1 传感器网络查询
传感器网络多可以应用于不同监控应用领域当中。其中，像复杂的过滤以及对异常事件警报活动的响应都可以应用传感器网络进行实现。其中，多数据流上的聚集以及连接可利用分析功能实现对多个数据源的研究分析。根据分析反馈结果，以单个数据流的聚集用作为单个传感器错误补偿。结合以往的应用实践经验来看，传感器网络查询方式可应用于配电站汇报工作当中。举例而言，工作人员可结合电力消耗统计情况对配电站发电速率进行调整优化。除此之外，工作人员也可以将该种方式应用于核电厂异常事件监测当中，加强对相关数据的监测管理。
2.2 网络流量分析
一般来说，在实时情况下，Internet通信量相关分析系统可以在流量统计以及关键条件检测中得到良好应用。其中，Internet中比较受欢迎的信息源以及目的地址流量模式，可以有效遵守能量分配规律，实现示例查询过程。举例而言，在网络流量分析过程中，可根据每一个源目的对所使用的带宽数量进行研究分析，并按照协议类型以及子網掩码分组进行针对性处理[4]。
2.3 事务日志分析
Web使用日志的在线挖掘以及电话呼叫进入等功能可以实现对数据流模式特征的集中体现。举例而言，事务日志分析主要以发现客户行为模式为主，对于存在欺诈可疑消费等行为所涉及到的数据进行动态获取。在检测分析过程中，系统可通过实时检查Web服务器日志情况，对当前数据流问题进行研究分析。并主动挖掘移动电话记录，对各个用户以及电话呼叫过程中所存在的基站数目进行研究分析。
2.4 股票行情自动收录
股票价格在线分析主要可以从其相关性以及识别趋势等方面进行动态研究与分析，并根据分析反馈结果对套汇时机以及未来价格进行预测。举例而言，在分析过程中，研究人员可根据最近成交量的最高振荡变更率表现情况，查找所有价格介于一定范围的股票，完成对股票行情自动收录过程[5]。
结论：总而言之，数据流研究所涉及的领域范围十分宽泛。为保障数据流可以在各行业领域中得到良好应用与推广，建议相关研究人员应该对数据流概要以及数据流分析技术等问题进行统筹规划与合理部署。与此同时，重点针对潜在的新数据流应用需求进行研究分析，并主动结合人工智能等新兴技术内容，实现对相关数据内容的动态研究与分析。需要注意的是，当前数据流所涉及到的部分研究成果难以直接应用于各领域当中，仍旧需要研究人员不断努力以及付诸实践，健全优化数据流管理系统及相关技术内容，保障数据流应用发展进程。
参考文献：
[1]周勇. 基于并行计算的数据流处理方法研究[D].大连理工大学，2018.
[2]陈华辉，施伯乐，钱江波，陈叶芳. 基于小波概要的并行数据流聚类[J]. 软件学报，2020，21（04）：644-658.
[3]曹振丽，孙瑞志，李勐. 一种基于高斯混合模型的不确定数据流聚类方法[J]. 计算机研究与发展，2019，51（S2）：102-109.
[4]王德文，李俊. 能源互联网多能扰动识别的数据流处理模型[J]. 电力系统自动化，2018，40（23）：49-55+69.
[5]陈华辉，施伯乐. 数据流上具有数据遗忘特性的小波概要[J]. 计算机研究与发展，2019，46（02）：268-279.
（国电南瑞科技股份有限公司，江苏 南京 210000）
关键词：数据流;传感数据;预测;分析
前言：数据流基本上可以理解为具有实时性、连续性以及有序性特点的数据项序列。其中，关于数据流的数量在理论上是趋于无限的，一般难以对其进行完整存储。与此同时，数据流上的查询可事先注册于系统，按照触发方式或者周期性表达方式促使数据流连续运行，并周而复始返回查询结果。不难看出，数据流在一定程度上可以利用长时间运行以及连续性查询特点，广泛应用于多个典型领域当中。结合当前应用发展情况来看，数据流概要以及相关分析技术已经成功应用于我国工业领域生产当中，无论是在数据分析效率还是在数据应用效率方面均得到了明显加强。
1 数据流概要及数据流分析技术应用
1.1 数据流预处理
对于数据流序列而言，如果序列中某个元素存在缺失或者延迟到达现象，就很容易导致在准确修正方面存在较大难度。举例而言，在传感器网络环境中，如果存在网络拥堵或者噪声干扰等异常现象，数据采集通常会利用监听模式启动采集装置并发送相关数据。但是需要注意的是，在这种运行模式下，采集时刻数据可能会无法预期到达[1]。
此时一般该时刻数据通常设置为零，容易造成误差问题。可以说，如何高效准确重构传感器数据始终是传感器数据流分析工作予以重点解决的问题。结合当前应用情况来看，关于异常数据检测方法的应用主要可以从统计、特征选择以及神经网络等方面进行研究与分析。
1.2 数据流概要生成技术
数据流概要生成技术基本上可以视为保障数据流得以安全高效应用的重要技术内容。结合当前应情况来看，构建数据流概要通常会涉及到以下几种方法内容：
（1）抽样方法。抽样方法基本上可以视为生成概要数据结构的重要手段，可从数据集中抽取小部分数据进行应用与分析，并根据该样本集合情况获得最终查询结果。一般来说，抽样方法可根据作用性质不同，细化分为均匀抽样与偏移抽样两种方式。在具体使用过程中，研究人员可根据实际情况进行合理选用。
（2）直方图方法。直方图方法主要是将一个大数据集划分为多个小数据集。其中，小数据集的每一个数字都可以代表数据流特征及相关频率。结合实践应用情况来看，直方图表示方法具有较强的直观性与简洁性，一般多可以很好地描述大数据集轮廓[2]。
（3）小波方法。小波方法可以视为一种具有通用性特点的数字信号处理技术，主要根据输入的模拟量以及数字量，将其变换成为小波参数。其中，少数几个小波参数可以拥有较大能量。结合这一特性，研究人员可选择少数小波参数还原原始信号。结合当前应用情况来看，小波分析方法通常会被应用于数据库领域当中。举例而言，利用小波分析方法对高维数据进行降维处理。
1.3 数据流预测与分类
结合当前应研究情况来看，在数据流挖掘算法的研究方面，主要可以从计算数据流信号、典型趋势以及决策树预测等方面进行研究与分析。结合分析反馈情况来看，数据挖掘领域中的未来连续值在一定程度上可以视为预测数值。其中，对于预测未知连续值或者离散值所属的类别而言，研究人员可以从数据流预测与其相关分类工作方面进行研究与分析，具体如下：
一方面，在数据流预测分析方面，研究人员可利用回归分析中最小二乘法实现对基于异常模式下趋势监测工作的优化分析。以车辆跟踪信息以及电力负荷数据为例，研究人员可利用上述方法对变化的数据流值进行科学预测。另一方面，研究人员也可以利用人工智能方法对预测数据流中的周期稳定性进行研究与分析。结合分析反馈情况来看，基于人工智能方法的数据流预测分析工作在预测精度方面表现较高。而回归分析中的最小二乘法虽在预测速度方面表现较快，但是在预测精度方面远不及人工智能方法。但是需要注意的是，人工智能方法在数据流预测方面还是存在不确定因素，如无法适应流值在不同时段所涉及到的波动特点[3]。
2 数据流在典型应用领域中的实践分析
2.1 传感器网络查询
传感器网络多可以应用于不同监控应用领域当中。其中，像复杂的过滤以及对异常事件警报活动的响应都可以应用传感器网络进行实现。其中，多数据流上的聚集以及连接可利用分析功能实现对多个数据源的研究分析。根据分析反馈结果，以单个数据流的聚集用作为单个传感器错误补偿。结合以往的应用实践经验来看，传感器网络查询方式可应用于配电站汇报工作当中。举例而言，工作人员可结合电力消耗统计情况对配电站发电速率进行调整优化。除此之外，工作人员也可以将该种方式应用于核电厂异常事件监测当中，加强对相关数据的监测管理。
2.2 网络流量分析
一般来说，在实时情况下，Internet通信量相关分析系统可以在流量统计以及关键条件检测中得到良好应用。其中，Internet中比较受欢迎的信息源以及目的地址流量模式，可以有效遵守能量分配规律，实现示例查询过程。举例而言，在网络流量分析过程中，可根据每一个源目的对所使用的带宽数量进行研究分析，并按照协议类型以及子網掩码分组进行针对性处理[4]。
2.3 事务日志分析
Web使用日志的在线挖掘以及电话呼叫进入等功能可以实现对数据流模式特征的集中体现。举例而言，事务日志分析主要以发现客户行为模式为主，对于存在欺诈可疑消费等行为所涉及到的数据进行动态获取。在检测分析过程中，系统可通过实时检查Web服务器日志情况，对当前数据流问题进行研究分析。并主动挖掘移动电话记录，对各个用户以及电话呼叫过程中所存在的基站数目进行研究分析。
2.4 股票行情自动收录
股票价格在线分析主要可以从其相关性以及识别趋势等方面进行动态研究与分析，并根据分析反馈结果对套汇时机以及未来价格进行预测。举例而言，在分析过程中，研究人员可根据最近成交量的最高振荡变更率表现情况，查找所有价格介于一定范围的股票，完成对股票行情自动收录过程[5]。
结论：总而言之，数据流研究所涉及的领域范围十分宽泛。为保障数据流可以在各行业领域中得到良好应用与推广，建议相关研究人员应该对数据流概要以及数据流分析技术等问题进行统筹规划与合理部署。与此同时，重点针对潜在的新数据流应用需求进行研究分析，并主动结合人工智能等新兴技术内容，实现对相关数据内容的动态研究与分析。需要注意的是，当前数据流所涉及到的部分研究成果难以直接应用于各领域当中，仍旧需要研究人员不断努力以及付诸实践，健全优化数据流管理系统及相关技术内容，保障数据流应用发展进程。
参考文献：
[1]周勇. 基于并行计算的数据流处理方法研究[D].大连理工大学，2018.
[2]陈华辉，施伯乐，钱江波，陈叶芳. 基于小波概要的并行数据流聚类[J]. 软件学报，2020，21（04）：644-658.
[3]曹振丽，孙瑞志，李勐. 一种基于高斯混合模型的不确定数据流聚类方法[J]. 计算机研究与发展，2019，51（S2）：102-109.
[4]王德文，李俊. 能源互联网多能扰动识别的数据流处理模型[J]. 电力系统自动化，2018，40（23）：49-55+69.
[5]陈华辉，施伯乐. 数据流上具有数据遗忘特性的小波概要[J]. 计算机研究与发展，2019，46（02）：268-279.
（国电南瑞科技股份有限公司，江苏 南京 210000）