基于Flink和Hadoop的卡口数据分析

来源 :交通科技与管理 | 被引量 : 0次 | 上传用户:szoysj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文章针对传统方式存储与处理大数据的局限性,提出了基于Flink和Hadoop的卡口数据分析方法,通过Flink对原始卡口数据流进行高效的初步处理和异常数据过滤,得到高质量原始卡口数据,采用HBase读写海量卡口数据,利用MapReduce计算指定时间内所有车辆的路段旅行时间,并利用Mahout中的K-Means进行聚类分析获取有效且符合实际的结果值,通过实验验证,证明方法的有效性和合理性。
其他文献
随着数字经济的发展,各国对数据安全、信息保护的关注度不断上升。在我国对外投资贸易史上,也出现过TikTok在欧美等地面临数据处理不合规被罚款等情况,各跨国企业理应进行数据合规治理,在内外谋求更好的发展。因此,本文首先从合规的概述和重要性出发谈论数据合规的影响;其次指出企业在进行数据合规时面临需要平衡保护个人信息和经济收益、面对各国数据法规存在差异以及合规成本高难度大等问题;最后指出企业在数据合规上
期刊
目的 将高效液相色谱(HPLC)指纹图谱、抗氧化活性研究与化学计量学分析相结合,对15批蓬莪术多糖进行质量评价。方法 以葡萄糖为对照品,采用苯酚-硫酸法测定总糖含量;以三氟乙酸水解蓬莪术多糖,采用1-苯基-3-甲基-5-吡唑啉酮柱前衍生化-高效液相色谱法(PMP-HPLC)建立蓬莪术多糖的指纹图谱,评价指纹图谱相似度、层次聚类分析和偏最小二乘法-判别分析;使用1,1-二苯基-2-三硝基苯肼(DPP
期刊
<正>数据处理者是数据安全合规领域中负有数据安全保障义务的合规主体。作为数据安全合规主体的数据处理者未能履行其数据安全保障义务的,将可能涉及两类法律风险,即民事法律风险和行政法律风险。近年来,随着“大数据”这一概念的深入人心,“数据安全”越来越成为社会各方所关心和热议的话题。去年,随着滴滴公司因涉嫌非法泄露国家数据和违法收集个人信息接受多部门联合调查并最终受罚80.26亿元,“数据安全”也开始成为
期刊
探讨了人工智能在数字经济中面临的挑战和风险,以及政府应采取的政策和措施,以保障人工智能在数字经济中的安全、可靠和公正。
期刊
目的:对中医药文化普及现状的困境进行分析,并总结管理干预对策。方法:选取医院精神科2020年6月—2022年6月收治的100例患者为研究对象,通过派发调查问卷的方式调查100例精神疾病患者的中医药文化普及情况及中医药文化普及需求,分析其中医药文化普及过程的困难,以随机表数字法将100例患者均分为对照组和观察组各50例。对照组患者展开常规管理,观察组患者应用中医药管理。比较两组患者的中医药文化普及情
期刊
低碳高效煤炭能源结构转型是碳达峰碳中和(“双碳”)背景下我国能源持续发展的必由之路,煤炭地下气化(UCG)正是其中的一项重要战略选择。基于历史文献调研,分析了我国UCG现场试验探索历程,展望了我国UCG产业化前景。分析认为,我国UCG技术发展和现场试验历程先后经历了初步尝试、沉寂/复苏、广泛探索、技术突破、试验扩展5个发展阶段,为我国新一轮UCG产业化探索奠定了深厚的科学技术基础。以上历程中,3项
期刊
<正>如今,数据资产、数据资源不断汇聚到社会空间中形成数字空间。这个空间可以汇总人工智能工具,助力数字化转型、再造多种业务流程。“但数字空间涉及一系列问题,例如,如何在组织内部有效地管理数据、高质量地展现数据?如何发掘市场上的数据使用需求?如何根据需求提供相应的产品和服务?”中国软件评测中心数据治理中心副主任评估事业部总经理王闯指出了数字经济时代的痛点。
期刊
数据合规官在企业数据治理中处于核心地位,国外已有不少国家对此进行了立法与实践方面的探索。本文通过文献分析、比较分析方法,反思当下企业数据治理中的合规困境,提出数据合规官是具有独立地位的企业战略性高级管理人员,其人员选任必须满足专业资格标准,其职能分类涵盖数据认知、数据咨询和数据处理等六大方面。在企业数据治理责任方面,必须明确数据合规官的法律责任边界,以国际经验中的特别注意标准、特定意图(默许)标准
期刊
SHITSUKE是日本家庭德育中重要一环,但是现代日本社会普遍认为现代家庭教育能力低下,觉得现在的家庭教育不如以前,那么事实果真如此吗?这需要我们追本溯源,从历史进程的角度来看待SHITSUKE:从近代江户时期受中国儒学思想的影响,日本就已经有意识的进行SHITSUKE,并产生了藩校和寺子屋等早期学校教育形态。到明治和大正时期,SHITSUKE主体由区域共同体转变为了学校,并且逐渐西洋化,这时期是
期刊
随着企业数据合规研究的逐渐深入,有必要对国内相关研究文献进行回顾和分析,为企业数据合规后续研究提供参考。运用系统性文献综述的方法,从企业数据合规政策法规、数据合规管理、数据保护合规、数据跨境流动合规4个视角来梳理我国企业数据合规研究现状。通过梳理分析发现,我国企业数据合规研究尚处于起步阶段,企业数据合规研究多是从政策法规文本解读、数据合规业务及数据合规处理技术规范的角度分析,综合性理论研究成果不多
期刊