分享自:

基于机架感知的最小存储部分协作再生码的显式构造

期刊:IEEE Transactions on CommunicationsDOI:10.1109/TCOMM.2026.3652503

本文的研究发表于IEEE Transactions on Communications期刊第74卷,于2026年正式刊出。论文题为”Explicit Constructions for Rack-Aware Minimum Storage Partially Cooperative Regenerating Codes”。作者为Hengming Zhao, Dianhua Wu, 以及Minquan Cheng。其中,Hengming Zhao来自广西师范大学教育区块链与智能技术教育部重点实验室、广西多源信息挖掘与安全重点实验室,同时供职于南宁师范大学数学与统计学院。Dianhua Wu就职于广西师范大学广西应用数学中心及广西多源信息挖掘与安全重点实验室。通讯作者Minquan Cheng同样来自广西师范大学教育区块链与智能技术教育部重点实验室和广西多源信息挖掘与安全重点实验室。该研究得到了多项国家自然科学基金(NSFC)及广西科技项目基金的资助。

该研究的学术背景属于分布式存储系统中的纠删码(Erasure Code)设计与优化领域。随着Facebook、Google等公司广泛部署分布式存储系统,如何在节点不可靠的情况下,高效、可靠地存储和修复数据成为了核心挑战。经典的再生码(Regenerating Code)理论由Dimakis等人提出,揭示了存储容量与修复带宽之间的最优折衷关系。其中,最小存储再生码(Minimum Storage Regenerating Code, MSR Code)因其兼具最大距离可分(Maximum Distance Separable, MDS)属性(即从任意k个节点即可恢复原始文件)和最优修复带宽而受到广泛研究。

然而,实际大规模存储系统(通常采用机架式架构)存在两个重要趋势:其一,多个节点同时失效比单节点失效更为常见;其二,为了降低修复开销,系统常采用“惰性修复”策略,即积累一定数量的失效后再进行统一修复。针对多节点修复,已有两种主要模型:集中式修复(由一个数据中心统一修复所有失效节点)和协作式修复(多个新节点分两阶段协作修复)。协作式修复在效率、可靠性和可扩展性方面具有优势,但也面临挑战,例如因网络拥塞导致的节点临时不可访问,以及新节点地理分布带来的跨集群高带宽消耗问题。

为了克服这些挑战,研究者引入了部分协作修复(Partially Cooperative Repair)模型。在该模型中,每个参与修复的新节点(或机架)仅与一部分其他新节点交换数据,而非所有节点。这降低了因个别节点临时故障导致修复过程中止的风险,并减少了跨集群连接的带宽需求。另一方面,考虑到现代数据中心普遍采用的层次化拓扑(节点被组织在机架内),机架感知存储模型应运而生。在该模型中,同一机架(Rack)内的通信成本被视为零或可忽略,修复带宽主要指跨机架通信的数据量。结合这两种先进模型——机架感知存储与部分协作修复——来设计高效的纠删码,是本研究的核心动机。具体而言,研究旨在为多节点失效场景,设计并明确构建机架感知的最小存储部分协作再生码(Rack-Aware Minimum Storage Partially Cooperative Regenerating Codes, MSPCR Codes),以实现理论上的最优或渐进最优修复带宽,并尽可能降低子分组化级别(Sub-packetization Level,即每个节点存储的符号数),这是衡量编码实用性的关键指标。

研究的详细工作流程可以分为以下几个关键步骤:首先,建立理论下界;其次,基于两种不同构造方法,分别设计两类MSPCR码;最后,通过具体示例验证构造的正确性和性能。

第一步,理论下界推导。研究团队利用极值组合学(Extremal Combinatorics)的计数方法,为机架感知MSPCR码的修复带宽推导了一个新的紧致下界(定理1)。该下界公式为:γ ≥ h(d̄ + h̄ - δ)l / (d̄ - k̄ + h̄ - δ + 1)。其中,h为失效节点总数,h̄为包含失效节点的“宿主机架”数量,d̄为提供帮助的“辅助机架”数量,l为子分组化级别,δ为协作参数(每个宿主机架在协作阶段仅与h̄-δ个其他宿主机架通信),k̄为重构度(以机架为单位)。该下界是后续构造方案评估其最优性的基准。证明过程通过考虑数据收集器连接特定节点集合的场景,运用信息流割集论证完成。

第二步,第一类机架感知MSPCR码的构造与证明(定理2)。此构造采用“堆叠”方法。研究首先修改了文献中基于Hadamard设计的一种MDS阵列码的校验矩阵,得到一个基础MDS阵列码C。该码的校验方程涉及特定的对角矩阵,其对角线元素由有限域中精心选取的元构成,确保了MDS属性。然后,通过生成 (s̄ + h̄ - δ) 个该基础码的实例并将其“堆叠”起来,构成了最终的码C̃。这里s̄ = d̄ - k̄ + 1。码C̃的子分组化级别为 l = (s̄ + h̄ - δ) * s̄^{n̄},其中n̄为机架总数。

该码的修复流程严格遵循部分协作修复模型的两阶段: * 下载阶段:每个宿主机架ip从每一个辅助机架j下载一组特定的线性组合符号H_{ip,j}(a, m),其中a遍历所有符号位置,m遍历失效节点数b(当b较小时)或一个调整后的范围。这些组合是精心设计的,使得宿主机架在下载后,能够利用辅助机架传来的信息,结合本机架存活节点的数据,恢复出关于本机架失效节点的一组关键中间值,以及与其他宿主机架相关的类似中间值。 * 协作阶段:每个宿主机架ip仅从预先指定的一个子集Sp(包含h̄-δ个其他宿主机架)下载另一组线性组合符号H{iq,ip}(a, m)。集合S_p的选择满足特定条件(其索引构成模h̄下连续的h̄-δ+1个整数)。利用这些来自其他宿主机架的数据,结合在下载阶段已恢复的关于自身和其他机架的数据,宿主机架ip能够解出修复其内部b个失效节点所需的全部信息。

研究通过构建线性方程组,并证明其系数矩阵(范德蒙德矩阵或其变种)的可逆性,严格证明了修复方案的正确性。对于修复带宽,分析表明:当每个宿主机架内失效节点数b满足 1 ≤ b ≤ u - v(u为机架大小,v为k除以u的余数)时,该方案达到定理1给出的最优修复带宽;当 b 更大时(u - v + 1 ≤ b ≤ u),方案达到渐进最优修复带宽(即当辅助机架数d̄足够大时,修复带宽与最优值的比值趋近于1)。

第三步,第二类机架感知MSPCR码的构造与证明(定理3)。此类构造旨在显著降低子分组化级别,但主要针对辅助机架数d̄等于k̄+1(即s̄=2)这一重要特例。构造的核心思想是“分组”技术。研究直接定义了一个子分组化级别仅为 l = 2^{n̄} 的MDS阵列码C(其校验方程形式与第一类的基础码类似但参数不同)。修复过程的关键创新在于,根据汉明码(Hamming Code)将符号位置集合 [2^{n̄}] 划分成若干子集(例如v0, v1, …)。同时,将宿主机架集合F也划分成大小相等的组S_q。

修复的两阶段流程与第一类类似,但在数据传输内容上引入了基于汉明码划分的过滤条件: * 下载与协作阶段:宿主机架ip在下载或接收来自其他机架(辅助机架或协作宿主机架)的数据时,仅针对那些符号索引a满足其对应宿主机架组Sq上的“限制向量”a|{S_q}属于特定汉明码子集(例如v0)的符号进行操作。这种选择性传输极大地减少了需要交换的数据量,同时通过汉明码的性质保证了在协作阶段,每个宿主机架能够集齐修复其失效节点所需的全部线性组合。

通过类似的线性方程组可逆性证明,研究确保了修复的正确性。该构造同样在b ≤ u - v时达到最优修复带宽,在b更大时达到渐进最优。其最显著的优点是子分组化级别大幅降低。论文指出,当协作参数δ=1(即退化为完全协作模型)时,此类码与已知的机架感知最小存储协作再生码(MSCR)相比,子分组化级别降低了(h̄+1)倍。

第四步,示例验证。论文提供了两个具体示例来阐明构造方法。例1对应于第一类构造,参数为(n=12, k=5),展示了修复3个失效节点的完整步骤和带宽计算。例2对应于第二类构造,参数为(n=45, k=19),展示了修复12个失效节点的过程,并重点说明了如何利用汉明码分组来减少数据传输。两个示例都通过数值对比表格(见原文表III和表IV),直观展示了新编码在子分组化级别和修复带宽上相对于现有方案的显著优势。

研究的主要结果体现在两个方面:一是理论下界的建立(定理1),为机架感知部分协作修复模型提供了性能基准;二是两类明确构造的MSPCR码(定理2和定理3)。第一类码具有更一般的参数范围(适用于任意d̄ ≥ k̄),但子分组化级别较高。第二类码专为d̄ = k̄ + 1设计,牺牲了部分参数通用性,但换来了子分组化级别的指数级下降(从与s̄^{n̄}相关降至2^{n̄}),这对于实际部署至关重要,因为高子分组化级别会导致节点存储管理复杂度和访问开销增加。

研究的结论是,成功为机架感知部分协作修复模型设计并显式构造了两类MSPCR码。这些码在各自适用条件下,均能实现最优或渐进最优的修复带宽。特别地,第二类构造在协作参数δ=1时,将子分组化级别相比已知最优的机架感知MSCR码降低了(h̄+1)倍,这是一个重大改进。

该研究的科学价值在于,它首次系统性地将部分协作修复思想与机架感知存储模型相结合,拓展了再生码的理论框架。所推导的下界完善了该模型的理论基础。所提出的两类显式构造不仅具有理论最优性,而且通过分组等技术降低了实际应用门槛,推动了高效分布式存储编码从理论走向实践。其应用价值直接面向大规模数据中心,通过减少多节点失效修复时的跨机架流量和降低编码的存储管理复杂度,能够提升存储系统的可靠性、修复效率和经济性。

本研究的亮点突出:1. 问题新颖:率先系统研究机架感知场景下的部分协作再生码,抓住了实际系统中拓扑层次化和修复灵活性的双重需求。2. 理论完备:首先建立了修复带宽的紧致下界,为构造提供了目标。3. 构造明确:给出了两类明确的、可实现的编码构造,而非存在性证明。4. 性能优异:所构造的码达到理论最优或渐进最优带宽,且在关键参数上显著优于现有方案(特别是第二类构造大幅降低了子分组化级别)。5. 技术创新:巧妙运用了堆叠、基于汉明码的分组、以及精心设计的线性组合和协作集合选择策略,这些方法具有启发性和可推广性。

此外,论文在附录中提供了定理1的详细证明,在补充材料[40]中给出了多个引理的完整推导,确保了研究的严谨性和可复现性。文中对两种修复模型的直观对比(图示)、与现有工作的详细参数对比表格,都极大地增强了论文的可读性和说服力。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com