面向交通定位数据的可视清洗系统

来源 :浙江工业大学 | 被引量 : 0次 | 上传用户:lairr
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着近年来机动车保有量的持续增加和城市公共交通系统的逐步完善,渐渐积累了海量的交通定位数据。在如今的大数据时代,结合可视化和可视分析的方式可以有效的摸索出城市道路的通行规律,但是,由于采集设备故障和传输网络延迟,原始交通定位数据中散布着大量脏数据,而传统的数据清洗工具主要应用在小规模的结构化数据上,面对海量存储且高维度的交通定位数据已难以应付。为了解决上述问题,本文设计了一种基于web平台的数据可视清洗系统,对不同种类的脏数据给出了不同的检测和处理方法,并通过人机交互的方式,让用户控制脏数据检测的手段和清洗的强度。本文的主要工作和成果如下:(1)非异常脏数据清洗。本文将交通定位数据的非异常脏数据种类分为属性缺失数据、重复数据和错误数据,并分别为其选取了不同的检测方法和清洗手段,保证了各种非异常脏数据都能得到合理有效的处理。(2)异常数据检测与处理。针对数据库无法识别的异常数据,系统首先利用多种可视化视图组件方便方便用户进行探究,然后提供异常数据的挖掘和处理工具,结合多种交互方式,从多个角度对数据的异常可能进行判定。(3)数据可视清洗系统架构设计。系统搭建基于B/S架构设计,运行时不必局限于指定的操作系统和运行环境,在清洗操作前完成了多项预处理工作,在浏览器绘制中,引入了React.js技术加速绘制,有效提高了可视分析的效率,减少了用户的使用成本本文最后以杭州市出租车GPS数据为例,结合本文系统提供的数据清洗方法和功能,对其做了全面有效的清洗工作,利用速度流量像素图的效果变化验证了系统的有效性,最后,利用脏数据的分布规律为其产生原因的探索工作提供参考。
其他文献
技工教育可持续发展是指技工教育与经济双向互动、和谐发展。即技工教育为经济持续发展提供智力和技能支持,同时经济决定教育的发展,通过市场调节为教育系统不断注入新的动力
2012年1月29日,古巴共产党(以下简称"古共")中央第一书记、古巴国务委员会主席劳尔·卡斯特罗在古共第一次全国会议上正式宣布,批准限制公职官员任期提案,规定个人担任国家和
2016粤豪又一新品力作——美人“芯机”,即足金伸缩戒指。创新“芯机”的极致,经典的创意,以轻松佩戴为理念打造,采用稀有金属钛为内芯,纯手工雕琢而成的粤豪原创伸缩戒指。历经多
无主句是一种没有主语的特殊汉语句式。本文从亚欧首脑会议实践着手,探讨研究无主句交替传译中的问题。笔者结合实践案例,从汉英语言差异的角度分析汉语无主句交替传译三大问
所谓的自然保护区不仅仅是自然保护的孤岛,自然保护区与周围的社区应该是紧密相连的,而要想做好自然保护区的管理工作,就应当加快自然保护区的立法,对自然保护区进行科学合理
4月17日《羊城晚报》报道,近日,广州市花都区委、区政府办公室原副主任兼机关事务管理局原局长任东华因犯受贿罪、贪污罪、行贿罪,三罪并罚被判处有期徒刑6年。
自古以来,讲起珠宝,国人一直对金情有独钟,特别是在传统的春节,“穿金”素来都是一种富贵吉祥的象征。购买金饰似乎已经是一个传承了千年的传统。黄金佩戴的历史甫来已久,早在公元
还有什么比灿烂的大宝石更能打动女人的心呢?缤纷的色彩是彩宝美饰的本性,绚烂的颜色,多变的造型,彩宝美饰的炫光抢眼到奢靡,令女人们爱不释手,仿佛将星辰的色彩折射到全身,让佩戴上