分享自:

基于NVMe SSD的日志文件系统I/O性能稳定与提升研究

期刊:Science China Information SciencesDOI:10.1007/s11432-019-2808-x

本文档属于类型a,即报告了一项原创性研究。以下是基于文档内容生成的学术报告:


研究作者与机构
本研究的作者包括Lin Qian、Bin Tang、Baoliu Ye、Jianyu Wu、Xiaoliang Wang和Sanglu Lu。他们分别来自中国南京的国家重点软件技术实验室(National Key Laboratory for Novel Software Technology)和国家电网电力研究院(State Grid Electric Power Research Institute)。该研究于2022年3月发表在《Science China Information Sciences》期刊上,论文标题为“Stabilizing and Boosting I/O Performance for File Systems with Journaling on NVMe SSD”。

学术背景
本研究属于计算机科学与存储系统领域,具体关注文件系统的输入输出(I/O)性能优化。随着非易失性内存(Non-Volatile Memory, NVM)技术的发展,NVMe固态硬盘(Solid-State Drive, SSD)被广泛用作外部日志设备以提高文件系统的I/O性能。然而,在面对典型的小写(microwrite)工作负载时,现有系统存在严重的I/O性能波动,且NVMe SSD的利用率极低。这一问题的主要原因是,将数据写回基于硬盘驱动器(Hard Disk Drive, HDD)的后端文件系统的速度远慢于日志写入,导致日志写入因两阶段机制而频繁冻结。因此,本研究旨在提出一种内存加速架构,以稳定并提升此类日志文件系统的I/O性能。

研究流程
1. 问题分析与实验验证
研究团队首先在Ceph文件系统的Filestore存储引擎上进行了实验,验证了NVMe SSD作为外部日志设备时的I/O性能波动问题。实验结果表明,尽管NVMe SSD的写入速度极快,但由于后端HDD的写入速度较慢,导致日志队列频繁冻结,进而引发严重的性能波动。

  1. 提出解决方案:MIM架构
    为解决上述问题,研究团队提出了“内存合并加速架构”(Merging-in-Memory, MIM)。MIM的核心思想是将多个随机小写操作在内存中合并为顺序大块写入,从而加快写回速度。MIM采用了一种基于哈希表的多重链表(Hash-Table-based Multiple Linked Lists, HTMLL)数据结构,能够高效地合并小写操作,并减少写地址和对象开关的频率。

  2. MIM的详细设计

    • HTMLL数据结构:HTMLL由哈希表和多个链表组成,哈希表以对象ID(Object ID, OID)为键,链表用于存储具有相同OID的小写操作。这种设计能够快速定位并合并小写操作。
    • 刷新机制:MIM采用了一种基于时间和空间阈值的刷新策略,以确保合并操作的优势得到充分利用,同时防止日志队列过长。
    • 检查点机制:由于合并操作可能导致写入顺序改变,MIM重新设计了检查点机制,以确保数据的一致性和持久性。
  3. 实验验证与性能评估
    研究团队在Ceph Filestore上实现了MIM原型,并进行了广泛的性能评估。实验包括三种工作负载:FIO、Varmail和Fileserver,分别模拟了不同的应用场景。实验结果表明,MIM不仅消除了严重的性能波动,还将每秒I/O操作数(IOPS)提高了1倍至12倍,并将写入延迟降低了75%至98%。

主要结果
1. 性能提升:在FIO工作负载下,MIM的IOPS性能比原始Ceph Filestore提高了9.0倍至12.3倍(4 KB小写)、8.1倍至10.0倍(8 KB小写)和4.6倍至5.2倍(64 KB小写)。在Varmail和Fileserver工作负载下,MIM的性能提升相对较小,但仍显著优于原始系统。
2. 延迟降低:MIM在所有工作负载下均实现了极低的写入延迟(小于10毫秒),延迟降低幅度在76.4%至98.5%之间。
3. 资源利用率:MIM显著提高了NVMe SSD的利用率,同时仅增加了最多13%的内存消耗。

结论与意义
本研究提出了一种创新的内存加速架构MIM,有效解决了基于NVMe SSD的日志文件系统在面临小写工作负载时的性能波动问题。MIM通过合并小写操作、优化刷新和检查点机制,显著提升了系统的I/O性能和稳定性。该研究不仅具有重要的学术价值,还为实际应用中的文件系统优化提供了可行的解决方案。

研究亮点
1. 创新性:MIM架构首次将哈希表与多重链表结合,实现了高效的小写操作合并,解决了传统日志文件系统的性能瓶颈问题。
2. 实用性:MIM的设计简单且易于集成到现有的日志文件系统中,具有广泛的应用前景。
3. 实验验证:研究团队通过大量的实验验证了MIM的有效性,实验结果具有较高的可信度和说服力。

其他有价值的内容
研究团队还对比了MIM与其他Ceph存储引擎(如KStore和BlueStore)的性能,结果表明MIM在IOPS和写入延迟方面均显著优于这些存储引擎。此外,研究团队还探讨了MIM在大写工作负载下的表现,发现MIM仍能通过高速缓冲区提升写入吞吐量。


以上是对该研究的全面报告,涵盖了研究的背景、流程、结果、结论及其意义。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com