新型存储介质NVM指的是一类无电力供应时数据不会丢失的存储器件。NVM具有可字节级寻址、高带宽等特性,可提升存储系统性能,因此出现了一系列面向NVM的文件系统。考虑到文件系统中存在22%–48%的冗余,引入数据去重可以减少冗余数据,扩大逻辑存储空间,降低存储成本,减少数据写入有助于延长硬件寿命,带来潜在的吞吐提升。现有面向NVM文件系统的数据去重方案未能充分结合硬件特性,提高系统吞吐,也未能充分保障文件系统元数据与去重元数据之间的一致性。针对过往去重方案未能充分释放NVM吞吐的问题,提出了面向NVM文件系统的高吞吐去重技术。现有的重复块检测方案会引入大量的计算开销,观察到NVM读带宽较高,字节级比对的开销远小于强哈希计算的开销,本文设计了弱哈希与字节级比对结合的重复块检测方案。因为文件系统容易出现碎片化的现象,本文提出了基于区域的元数据分配方式,以避免碎片化带来的吞吐下降。考虑到内核中索引结构的可扩展性能较差,本文提出了高度受控的索引结构,并在索引中增加缓存信息以减少NVM的读取次数。过往去重方案未能保障文件系统元数据与去重元数据之间的一致性,因此本文提出了面向NVM文件系统的一致性去重技术。本文结合NVM文件系统特点,提出了引用计数一致性机制,将引用计数保存于内存索引以减少一致性开销。为了减少元数据的一致性开销,本文设计了元数据延迟持久化机制,粒度与缓存行对齐。为了保障去重元数据与文件系统元数据之间的一致性,本文结合NVM文件系统特点,设计开销更小的一致性方案,选择在崩溃时进行恢复。该方案普适性良好,可迁移到不同的NVM文件系统。最终,本文基于最新的NVM文件系统NOVA实现了所提出的方案LightDedup。微基准测试结果显示,相较于目前最好的面向NVM文件系统的数据去重方案NV-Dedup,Light-Dedup的整体吞吐提高了0.4–3.7倍。相较于NOVA,Light-Dedup宏基准测试下整体吞吐提高了1.6–5.9倍。