【摘 要】
：
ETL（Extract-Transform-Load）系统是数控机床传感器数据分析中不可或缺的一个重要组成部分.针对近年来数据量越来越大和实时性要求越来越高的问题,本文对ETL系统中传统的变更数
【机 构】
：
中国科学院沈阳计算技术研究所,中国科学院大学
论文部分内容阅读
ETL（Extract-Transform-Load）系统是数控机床传感器数据分析中不可或缺的一个重要组成部分.针对近年来数据量越来越大和实时性要求越来越高的问题,本文对ETL系统中传统的变更数据捕获方案做了改进,设计了适用于该数据的实时数据抽取方案,并详述了整个分布式架构的设计.实验表明,该ETL系统在数控机床传感器数据的实时处理上,具有较高的效率.
其他文献
地震特别是大震前会产生一些异常,但这些异常信息难以识别,导致无法充分利用这些异常信息预测地震的发生时间,减少地震带来的灾害影响.针对这个问题,提出一种基于量子漫步算法的震前异常挖掘方法,提取汶川地震和芦山地震的震前射出长波辐射(Outgoing Long-wave Radiation, OLR)异常,进而计算地震前后的P值,异常值CD等数据,通过统计分析方法,探索OLR异常与地震的关系.并且通过实
为了解决大规模云存储系统中管理节点发生故障导致存储服务不可用的问题,建立了管理节点故障影响分析模型,提出了一种基于消息的管理节点动态自我恢复算法FRA-M.该算法通过基
在传统的java框架下开发的应用软件系统缺乏模块化、动态化的管理能力.在深入研究OSGI框架的基础上,本文在井下作业管理系统的开发过程中,采用OSGI规范与分层解耦思想结合的
针对高分辨率遥感图像中提取的特征点数目过大且易存在误匹配点的问题,提出了一种粗配准和精配准相结合的高分辨率遥感图像配准算法.首先对图像降采样处理后,提取大尺度空间下的SIFT特征点,求得仿射变换模型完成图像粗配准;然后对图像进行分块,利用SIFT方法对每幅子块图像提取特征点,并找到对应子块图像之间的匹配点对;之后利用特征点构建Delaunay三角网,计算每对子块图像之间的三角形相似度,构成相似矩阵
针对传统的采用关键词搜索人物图片的方式在使用查询关系人语句进行查询时不能识别语义的不足,设计并实现了一种基于人物关系的图片搜索系统架构.基于文档共现和句子共现的关
研究了适用于室外空间的修正加权质心定位算法,该算法对接收信号强度指示测距原理进行分析,可在未知路径衰落指数的情况下,将距离关系转化为接收功率关系,通过高斯滤波处理得
SMS短信网关（Short Message Service,SMS）具有并发量大、峰值高、难预测以及消耗资源量大的特点,如何保障系统高效、稳定运行一直是电信运营商致力解决的关键问题之一.本文提出
为解决传统视频图像数据处理时,通常以软件为基础,存在工作量大、存储时间长的问题,提出了基于FPGA硬件结构处理的设计,提高系统的处理速度和实时性.针对图像处理问题,采用背景差分法检测运动目标,通过二值化方法剔除图像中的静止场景,然后再做形态滤波,消除空洞和噪声点,最后提取出目标中心点,达到检测运动目标的目的.同时加入sobel边缘检测模块,扩展运动目标检测体系结构,在检测目标时,系统能够根据物体的
为提高SDN控制器的使用效率以及多控制器之间的负载均衡度,对多控制器的部署问题进行了研究,并提出了一种交换机动态迁移机制.该动态迁移机制基于周期性运行的自优化的算法实
当前投入使用的车辆检测系统普遍采用图像回传至服务器后主机集中处理的方式,存在输出数据大,处理时间长等缺点.本文依据ITS系统的构成提出了嵌入式硬件平台的搭建方案,着重