交通安防大数据的实时快速检索关键技术研究

被引量 : 0次 | 上传用户:dr_rush
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着城市化进程加快,城市人口迅速增加,带来了日益严重的交通安全问题。“智能交通”可以通过城市监控所采集的大量数据,对交通情况、城市安全进行分析,协助城市管理者管理城市的交通与安全。HBase数据库可以大规模存储车辆信息,但是无法快速实时进行检索。本研究主要面向对HBase中存储的过车记录进行快速实时检索,提出通过降低网络开销、硬盘读取开销的优化方法。首先,在HBase中建立二级索引降低检索中扫描的数据量,计算二级索引来获得符合检索条件的记录。实验结果表明,返回第一条过车记录的检索响应时间相比无二级索引时降低45倍。其次,二级索引从存储端传输至客户端的网络传输开销时间占总检索时间的20%。为了降低网络传输开销,基于近数据计算理论,通过HBase协处理器构建加速框架将二级索引的获取和计算移动到存储节点进行。在集成了该加速框架后,网络开销降低了 12倍,检索响应时间加速比为1.4。最后,在检索时发现存储节点从硬盘读取二级索引的时间占总时间开销的70%。为了降低硬盘读取时间开销,根据二级索引离散度的不同,组合多种无损压缩算法对二级索引进行压缩来降低硬盘读取时间,并在HBase协处理器中实现压缩后索引的计算。实验结果表明,硬盘读取时间降低73%,检索响应时间降低 80%。
其他文献
近年来国际经济在金融危机的背景下曲折发展,发达国家经济低迷,复苏缓慢,而作为目前世界第二大经济体的中国则不断深化改革,调整经济结构,保持经济稳定增长,对全球经济企稳做
随着中国“走出去”步伐的加快,中国对外直接投资取得了显著成绩,中国企业越来越重视在全球范围内优化资源配置。“一带一路”作为中国重要的开放型经济战略,更为中国企业对
通过1980年~2003年和2004年~2011年两个时间段的词频统计与可视化知识图谱等方法的比较分析与研究,展现了国内主题词表研究领域的热点和趋势,认为:国内对主题词表的研究内容在
2013年习近平总书记提出的“一带一路”战略助推了中国对外直接投资的加速发展,同时加大对“一带一路”沿线国家的投资也是推动国际产能合作和实现“一带一路”战略的关键一
现阶段我国制造业面临着发达国家和新兴经济体的双重挤压、低成本优势快速递减和新竞争优势尚未形成的两难局面,传统的依赖投资及外需支持的制造业已越来越不具有竞争优势,如
本研究在日粮中添加具有不同脂肪酸特征的油籽,即油菜籽(52%的C18:1)、葵花籽(66%的C18:2)和胡麻籽(55%的C18:3),以研究它们对舍饲育肥绵羊瘤胃发酵特性、生长性能和脂肪酸组
在经济新常态的环境下,市场投资结构将会逐步发生变化,理论界与实务界正竭力探求更能对抗风险、更科学有效的成本核算方式。此外,市场环境日趋尖锐化以及经济下行压力日渐加
开发建设加油站、打造强大的成品油销售网络,对PC能源集团构筑全产业链竞争优势、实现商业价值最大化而言,具有十分重要的战略意义。本文立旨在通过系统分析GXPC公司在加油站
从国际贸易环境角度看,国际经贸规则正在进行重构,多边以及区域贸易谈判的新贸易议题对服务贸易的重视程度正在不断增加。显然,服务贸易自由化将是未来贸易自由化的重点。从
日本菟丝子的种子,经处理和灭菌,培养成无菌苗。然后取其茎尖,接种在附加玉米素2~4mg/L和NAA0.2~0.4mg/L的B5或MS培养基上,每日光照8小时,约经一个月,茎尖略伸长增粗,开始花芽