数据清洗方法在电力企业数据中心的应用研究

来源 :兰州理工大学 | 被引量 : 14次 | 上传用户:cellx
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据中心建设是国家电网“十一五”期间“SG186工程”重点实施项目之一,旨在利用数据仓库整合电力企业内部分散的业务数据,并通过便捷有效的数据访问手段,可以支持电力企业内部不同部门、不同需求、不同层次的用户随时获得自己所需的信息,并能将网络中分布的行业数据集成到一起,为决策者提供各种类型的数据分析。数据中心的主要特点是通过统一的数据定义和命名规范,保证数据的唯一性、准确性、完整性、规范性和时效性,提供一个标准的、一致的数据共享和访问平台。本文主要研究对象是电力营销计费系统所需的底度电量数据值,针对在数据抽取过程中对电量数据中产生的“噪音数据”进行清洗,在文章中的对“噪音数据”的清洗过程是:首先利用切比雪夫原理设定一个判断区间来检测“噪音数据”,然后将这些“噪音数据”中的异常的属性值删除,然后对这些被删除的属性值当空缺值来处理。而对空缺值的处理,文中利用了基于遗传神经网络预测模型的填补空缺值的方法,该方法分利用了遗传算法的全局搜索能力和神经网络的非线性映射能力,在很大程度上提高了数据的预测精度。并验证了该方法的可行性以及在提高数据预测精度方面的有效性。本文主要研究重点是数据中心在ETL过程中的数据清洗过程。根据国家电网“SG186工程”规划中关于数据中心的建设要求和数据中心ETL功能架构,数据中心的ETL过程主要分为抽取、清洗、转换和加载四个主要部分(较之通常的ETL过程,将清洗过程从原有的抽取过程中剥离出来单独研究),根据电力系统实际生产业务需要,本文又将数据抽取中的“清洗”过程划分为两个子流程:即先通过检测异常数据并将其值置为“NULL”,然后根据其余有效值对已置“NULL”的数据进行预测填充。简而言之,随着计算机信息技术的不断发展和企业决策与辅助分析系统对数据质量要求的不断提高,数据抽取过程遇到的“噪音数据”或“脏数据”不能再做简单的删除处理,因为在删除这些数据时有可能丢失大量的可用的“关键数据”,因此数据清洗正在逐渐的演变为数据抽取中一个重要的环节,其理论研究与实践就显得非常具有实用价值。
其他文献
文中提出了一种基于基本图样,通过记录其作图技法,可最终自动生成服装纸样的方法.在具体实现过程中,它模拟传统的制图方法,结合参数化绘图思想,简化人手辅助绘图,将衣片关键
2000-2003年,我们收治小儿室性心动过速(VT)患儿30例,采用心律平静脉注射治疗,取得了较好的疗效,现报告如下。
目的 了解性激素在系统性红斑狼疮(SLE)中的影响.方法 分析19例自然绝经后发病的女性SLE患者一般情况、初发症状、临床表现、实验室检查等资料,并与75例育龄期女性SLE进行对比.结果 自然绝经后发病的SLE患者肌痛、肌无力及体重下降的发生率明显增高,P<0.01;而皮疹的发生率则较低,P<0.05;白细胞下降及抗核抗体(ANA)阳性的发生率明显降低,P<0.05.结论 性激素在SLE的发病及临
目的 回顾性观察有、无脂肪肝的大肠癌(CRC)患者肝转移发生的差异,分析脂肪肝对CRC肝转移的可能影响。方法 经结肠镜与病理和/或手术诊断的CRC患者326例,其中肝转移70例,脂肪肝55例
目的:探讨立姿振动引起男青年运动员血管活性物质浓度的变化.方法:将运动员随机平分为2个实验组和1个对照组,均站在振动台上深蹲训练,实验组受到同振幅和频率、不同加速度的振
目的 研究老年2型糖尿病患者凝血指标变化及其与慢性血管并发症形成的关系.方法采用双抗体夹心酶联免疫吸附(ELISA)法,检测128例老年2型糖尿病患者和50例正常对照者血浆血管性假性血友病因子抗原(vWF:Ag)、血栓调节蛋白(TM)、凝血酶原片断(F1+2)水平.结果糖尿病组血浆vWF:Ag(152.3±16.9)%、TM(31.6± 3.0)μg/L、F1+2(18.1±2.1)nmol/L,
目的 探讨采用硬通道微创救治危重大脑实质出血的适应证、时机及与近期死亡、远期残障的关系.方法 本组资料采用回顾性方法,对166例各种不同部位危重的大脑实质出血,在CT引导下或在床头行微创血肿抽吸和液化引流术,并结合积极有效的综合治疗;对院内死亡的患者进行死因分析,对存活出院的患者,在发病6个月后采用改良Rankin量表(RS)进行1次门诊复诊或电话随访.结果 166例患者院内死亡17例,院内病死率
为打造富有特色的校园文化。推进和谐校园建设。提高中小学生的语言表达能力和创作能力。《创新作文》编辑部和广西写作学会联合举办第五届“创新杯”全国中小学生作文、书画
骨化性气管支气管病(tracheobroncheopathia osteochondroplasticsa,TO)是指气管、支气管黏膜下有多发性骨质或软骨组织结节状增生并突向管腔的良性病变.现将我院新近收治的1例TO患者报道如下并结合文献复习。
土地是一切生产和存在的源泉,尤其是可用耕地,它承载着人类基本的粮食生产功能与长远发展需求,是人类一切生存和发展的根基所在。尤其在我国,60%以上的人口居住在农村,耕地问