多核系统并发哈希表研究

来源 :湖南大学 | 被引量 : 3次 | 上传用户:comeonlinli
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着多处理器技术的日臻成熟以及集成到单个处理器上的处理器核心数量的日趋增加,计算机的运算能力的瓶颈不断被打破,同时这也为设计具有高可扩展性的并发数据结构以及开发基于多核架构的高性能软件系统提出了挑战。并发哈希表是一种重要的并发数据结构,因其处理元素的开销为常数时间的特性被广泛应用于多核架构的软件系统开发。在并发哈希表的设计、优化以及应用中,处理器的体系结构,缓存一致性协议,内存带宽,内存访问延迟以及多线程的同步机制都对其性能产生重大影响。本文针对基于多核系统的并发哈希表做了如下工作:首先,设计了用于并发哈希表的测试、评估的统一测试框架CHTBench。CHTBench是目前第一个用于并发哈希表性能比较与评估的,能保证测试结果公平性与客观性的测试框架。它提供统一的测试接口,具有可配置的线程与核的映射关系,能够测试不同规模的数据集以及数据集中更新操作的比重等。此外,CHTBench使用sspfd进行延迟的测算,综合考察不同并发哈希表线程扩展性,查询和更新吞吐量等宏观指标。结合其它的工具,如likwid对缓存命中率,内存带宽,跨内存节点通信开销等微观指标进行分析以及sspfd对各种操作类型的延迟进行比较。使用CHTBench可以为并发哈希表的评估和比较提供相对公平的测试环境。第二,基于CHTBench测试框架对现有的几种具有代表性的并发哈希表在四个不同的多核系统上进行了深入的剖析。对并发哈希表的评估选用的性能指标涵盖宏观和微观两个层面,包括吞吐量的线程扩展性,延迟,分层内存结构对性能的影响,不同线程与核映射方式之间的性能差异,同步机制的性能评估以及内存消耗。通过对上述指标的分析,找出现有并发哈希表设计方法中存在的问题以及可能的性能瓶颈,分析总结了8条设计、优化并发哈希表的最佳实践原则,为将来进一步设计基于多核系统的、具有高可扩展性的并发哈希表奠定理论和实践基础。根据对比现有文献以及相关研究工作,我们对于并发哈希表的评估所用的方法和涉及的评估指标是迄今为止最全面的。第三,使用Intel限制性事务内存(RTM)实现了基于硬件事务内存的缓存行哈希表。使用全局锁实现了基于RTM的缓存行哈希表。实验评估结果表明,当数据集的规模大于最后一级缓存容量时,基于RTM的缓存行哈希表的性能是使用传统的细粒度锁方法实现的缓存行哈希表的120%。使用硬件事务内存进行并发哈希表的设计真正做到了粗粒度锁方法的简便与细粒度锁方法的高性能的有机结合。同时,为了消除Intel TSX的Lemming效应对性能的影响,设计了两种软件辅助方法:软件辅助的锁省略方法(SLR)和软件辅助的冲突管理方法(SCM)。实验结果表明,这两种方法对基于RTM的缓存行哈希表性能的提升比使用Intel官方推荐的RTM Retry机制更明显。最后,使用不完整键Cuckoo哈希方法设计并实现了支持多线程并发的Cuckoo过滤器。这是迄今为止第一款支持多线程并发的过滤器实现,同时也是第一款基于硬件事务内存的过滤器。原始的布隆过滤器不支持删除操作,实现删除操作需要引入额外的空间开销,通过使用不完整键Cuckoo哈希方法,通过哈希函数生成指纹,利用Cuckoo哈希表多路组相连能够存储多个相同的指纹信息的特点实现了删除操作,不额外增加过滤器的空间开销。使用基于IntelRTM的读写锁实现了多线程并发的Cuckoo过滤器。实验评估表明,并发Cuckoo过滤器的初始化速度是使用单个线程初始化的10倍,查询操作的性能是单个线程的38倍,处理更新占10%的数据集的性能是单个线程的11倍。此外,还对retry的最大值如何选取以及使用不同软件优化方法的Cuckoo过滤器版本进行了线程扩展性的比较。
其他文献
采用数值方法模拟了强弱两种阻尼条件下传热迟滞时间对一维Rijke管热声系统稳定性的影响,发现Rijke管系统存在稳定性切换现象.在推导了无量纲形式的管内声波动量方程和能量方
企业领导制度是企业制度的核心内容之一,国有企业建立现代企业制度,必然要求改革现有的横向分权的国有企业领导制度,建立纵向授权的企业领导制度──现代公司制企业的法人治理结
伴随着经济全球化的步伐,中国持续稳定的经济增长积极推动了中国的城市化,并改变了中国城市体系的发展背景和基础,协同和整合成为城镇相互关系的主流。同时国内的区际经济产
为了降低女职工因生育行为对职业发展的影响,本文以多中心治理理论为基础,构建"市场-社会-家庭-女性个体"四个中心的职业发展支持体系。研究发现,相校于单中心的治理体系,多
近些年来,动漫侵权纠纷发生率在不断上升,这是在动漫产业巨大的商业利益及良好的市场前景的吸引之下,不法者过分追逐经济利益所导致的一种现象。笔者在本文中通过运用归纳分
长期以来,人们大都把马克思解释成科学主义和实证主义学者,认为马克思的共产主义学说是纯粹理性的,它和浪漫主义毫无联系,从而遮蔽了马克思与浪漫主义的关系,使我们对马克思
数据仓库、OLAP分析和数据挖掘技术是新兴的数据管理和分析技术,其应用也越来越广泛,但目前在公安领域的应用还不多。本课题就是以满足公安指挥中心对辅助决策信息方面的需求
【阅读提示】$$    镉米,又见镉米!$$    日前,广州市食品药品监督局公布第一季度抽检数据,结果显示,在18个批次米及米制品中,有8批次镉超标,不合格率高达44.4%,而其中大多数
报纸
票据的产生和广泛流通是市场经济高度发展的结果。然而,在使用票据过程中,票据纠纷的产生,往往都与票据权利义务的认识偏颇密切相关。从票据特征入手,通过对票据权利的取得、