本文档是马耳他大学与欧洲核子研究中心（CERN）的研究人员合作完成并发表于2019年第11届图像信号处理与分析国际研讨会（ISPA）的一篇原创性学术研究论文，标题为“使用Mask R-CNN进行自动裂缝检测”。这篇论文报告了一项旨在利用先进的深度学习模型自动化检测混凝土表面裂缝的原创研究工作。以下是对该研究的详细学术报告。
本研究的核心作者包括来自马耳他大学通信与计算机工程系的Leanne Attard、Carl James Debono、Gianluca Valentino，以及来自CERN工程部门（测量、机电与测量组）和现场管理与建筑部门的Mario Di Castro、Alessandro Masi、Luigi Scibile。研究以题为《Automatic Crack Detection using Mask R-CNN》的论文形式，于2019年在克罗地亚杜布罗夫尼克举行的第11届图像信号处理与分析国际研讨会（ISPA）上发表，并被收录于该会议论文集。论文的DOI标识符表明其由IEEE出版。
本研究隶属于计算机视觉与土木工程健康监测的交叉学科领域，具体聚焦于基于视觉的基础设施无损检测。
研究背景： 桥梁、隧道、水坝等民用基础设施会因风化、腐蚀、碳化和热循环等因素老化，导致结构劣化。混凝土表面的裂缝是结构退化最早期的迹象之一，其数量、类型、宽度和长度反映了结构的劣化程度和承载能力。因此，定期检查至关重要。传统的检查方法依赖于人工目视调查，这种方式存在成本高昂、耗时耗力、效率低下、需要中断设施运行、依赖检查员主观经验且缺乏客观量化分析等一系列缺点。为了克服这些弊端，过去几十年研究人员提出了多种自动裂缝检测方法，包括基于阈值分割、数学形态学、边缘检测、纹理分析、小波变换、显著性检测和传统机器学习等技术的方案。然而，这些方法大多基于浅层抽象和手动设计的规则或特征，难以克服裂缝图像固有的挑战，如裂缝的不均匀性、表面纹理的多样性、背景复杂性、与裂缝纹理相似的噪声干扰（如接缝）以及复杂的裂缝拓扑结构。
近年来，深度学习，特别是卷积神经网络（Convolutional Neural Networks, CNNs），因其无需手动设计特征、能够学习高层次抽象和强大泛化能力的特性，为克服上述挑战提供了新的解决方案。一些研究已将CNN用于裂缝检测，但存在局限性：有的仅能进行图像块级别的分类而无法定位到像素级；有的虽然进行像素级预测，但仍需手动特征提取预处理，或忽略了像素间的空间关系。
研究目的： 本研究旨在探索并验证一种先进的深度学习模型——Mask R-CNN（掩码区域卷积神经网络），用于自动化检测混凝土表面的裂缝。具体目标不仅包括精确地定位裂缝（输出边界框），更重要的是获得每个裂缝实例的像素级掩码（Mask）。这种像素级的分割能力对于后续提取裂缝的长度、宽度等定量化属性以支持结构评估至关重要。研究的核心目标是证明Mask R-CNN能够有效应对裂缝检测中的复杂挑战，从而为自动化基础设施巡检提供一个强大、高效的工具，以期降低人工成本、时间消耗并提高安全性。
本研究是一个典型的基于深度学习模型的计算机视觉应用研究，其工作流程主要包含以下几个关键步骤：数据准备、模型选择与架构配置、训练策略制定、模型训练与调优、实验评估与分析。
1. 数据准备与数据库构建 研究对象是混凝土表面裂缝的图像。为了训练Mask R-CNN（这是一个需要实例分割标注数据的模型），研究人员基于现有的公共数据集SDNET2018构建了自己的标注数据集。SDNET2018提供了图像级别的“裂缝/非裂缝”分类标签，但缺乏模型训练所需的像素级掩码标注。 * 数据子集选择： 从完整的SDNET数据集中选取了200张256x256像素的RGB彩色图像作为一个子集。 * 掩码标注： 使用开源工具“PixelAnnotationTool”，人工地用画笔精细地勾勒出每张图像中所有裂缝对象的轮廓，生成对应的二值掩码图。由于裂缝通常细长且狭窄，标注工作需非常仔细。图2展示了原始图像及其对应标注掩码的样例。 * 数据集划分： 采用80/20规则进行划分：128张图像用于训练集，32张用于验证集，剩余的40张用于最终的独立测试集。这种划分确保了模型训练、超参数调整和最终性能评估的有效性。
2. 模型架构与配置 研究选用的核心模型是Mask R-CNN。该模型是在Faster R-CNN目标检测框架基础上扩展而来，增加了一个并行的分支用于预测每个检测对象的像素级掩码，并用更精确的ROIAlign操作替代了ROIPooling。 * 实现基础： 研究采用了Matterport在MIT许可证下发布的Mask R-CNN开源实现（基于Keras和TensorFlow）。 * 骨干网络： 使用了带有特征金字塔网络（Feature Pyramid Network, FPN）的ResNet架构作为特征提取器。FPN通过将高层特征传递到低层，使每一层都能结合低层和高层信息，有利于检测不同尺度的裂缝。实验对比了ResNet-50和ResNet-101两种骨干网络。 * 区域提议网络： RPN用于在图像上滑动扫描，生成可能包含目标的候选区域（锚框）。研究中启发性地调整了与RPN相关的超参数，如锚框尺度、长宽比、步长和非极大值抑制阈值，以获得更佳效果。
3. 训练策略与方法 考虑到自建数据集规模较小，研究人员采用了迁移学习、数据增强和细致的超参数调优策略来提升模型性能和泛化能力。 * 迁移学习： 没有从头开始训练模型，而是使用在大型通用数据集（ImageNet和COCO）上预训练的权重来初始化网络。这使模型具备了通用的视觉特征识别能力，然后通过“微调”使其适应特定的裂缝检测任务。 * 数据增强： 为了模拟更大的数据集并提高模型对光照、角度等变化的鲁棒性，研究引入了数据增强流程。实验了多种增强变换的组合，包括：水平和垂直翻转、不同角度的旋转、亮度变化、高斯模糊、对比度归一化和裁剪。使用了imgaug库来实现这些增强操作，并构建了不同的增强流程进行对比测试（见表III）。 * 超参数调优： 研究系统地探索了多种训练配置对结果的影响： * 训练计划： 尝试了不同的训练阶段设置。例如，先只训练网络的“头部”（负责特定任务的新增层）若干周期，然后再解冻并训练所有层更多周期。对比了不同周期数（如“50周期头部+150周期全部层”与“100周期头部+200周期全部层”）和每周期步数的影响。 * 学习率调度： 测试了固定学习率（0.001）、在训练中途减半学习率以及根据验证损失进入平台期后动态降低学习率等策略。
4. 实验评估与性能指标 模型性能使用精确率和召回率这两个关键指标进行评估。 * 评估标准定义： 对于一个检测到的裂缝掩码，如果其与真实标注掩码的重叠面积达到或超过30%，则判定为一个正确匹配（真阳性）。如果重叠大于0%但小于30%，则视为漏检（假阴性）。如果检测到的掩码与任何真实标注都不匹配，则视为误检（假阳性）。 * 精确率： 计算为（真阳性数）/（检测到的裂缝总数）。它衡量了检测结果的准确性，即有多少被检测为裂缝的区域确实是裂缝。 * 召回率： 计算为（真阳性数）/（实际存在的裂缝总数）。它衡量了检测结果的完整性，即模型找出了多少实际存在的裂缝。
研究通过一系列对照实验来分析不同配置（骨干网络、训练计划、学习率、数据增强）对这两个指标的影响。所有实验均在相同的测试集（40张图像）上进行评估，以确保结果可比性。
实验部分（第五章）呈现了详细的定量和定性结果，揭示了不同选择对最终性能的影响。
1. 骨干网络与训练计划的影响（表I） 测试结果表明，使用在COCO数据集上预训练的ResNet-101骨干网络，总体上比使用在ImageNet上预训练的ResNet-50表现略好。在训练计划方面，仅微调网络头部（如测试1、2）虽然能获得较高的精确率（85.7%-95%），但召回率很低（15%-47.5%），说明模型虽然检测得准，但遗漏了大量真正的裂缝。而采用“先训练头部，再训练全部层”的策略（如测试3、4）在保持高精确率（93.6%-93.9%）的同时，显著提高了召回率（72.5%-77.5%）。这表明解冻并微调整个网络的所有层，有助于模型更好地学习与裂缝相关的深层特征，从而发现更多裂缝。增加训练总周期数（测试4 vs 测试3）并未带来显著提升，验证损失曲线（图3）也显示后期已趋于平稳。而增加每周期步数（测试5）则导致召回率大幅下降，说明可能产生了过拟合。因此，测试3的配置（ResNet-101骨干，COCO预训练，50周期头部训练+150周期全部层训练）被确定为最佳训练计划。
2. 学习率调度的影响（表II） 在仅训练头部的阶段，固定学习率（测试1）导致高精度但低召回。在训练中途降低学习率（测试8）或在验证损失平台期动态降低学习率（测试9）都能提升召回率，其中动态调整策略（测试9）在召回率上取得了最佳平衡（60%），但精度有所牺牲（77.4%）。然而，在结合了“训练全部层”的最佳训练计划下（测试3），固定学习率（0.001）取得了综合最佳性能（精度93.9%，召回77.5%），而动态调整学习率（测试13）反而使性能下降。这表明在深度微调阶段，一个稳定适中的学习率可能更有利于模型收敛到良好的状态。
3. 数据增强的影响（表III） 数据增强策略的效果非常明显： * 无任何增强（测试10）：精度92.3%，召回60%。 * 仅使用水平和垂直翻转（测试11）：性能略有提升（精度92.9%，召回65%）。 * 使用包含翻转、旋转、亮度变化、高斯模糊的增强流程（测试3的配置）：性能得到显著改善，达到了所有实验中最高的召回率（77.5%）和很高的精度（93.9%）。 * 在以上基础上再加入对比度归一化和裁剪（测试12）：性能反而略有下降（精度91.7%，召回55%），可能因为过度增强或裁剪破坏了裂缝的连续性。 结论是，适度的数据增强（尤其是几何变换和光照变化）能够有效提升模型的泛化能力和检测完整性，而过于复杂的增强组合可能带来负面影响。
4. 最终模型性能与泛化测试 基于以上所有实验结果，采用测试3配置（最佳训练计划、固定学习率、适度数据增强）训练的Mask R-CNN模型，在独立测试集上取得了93.94%的精确率和77.5%的召回率。这是一个非常具有竞争力的结果，表明该模型能够以很高的准确度检测出超过四分之三的实际裂缝。 为进一步验证模型的泛化能力，研究人员将该模型应用于从互联网随机获取的图片以及他们在真实隧道中拍摄的照片。定性结果显示（图5），模型能够成功检测出不同曝光条件、不同墙面纹理下的各种裂缝，证明了其对于未在训练集中出现过的新场景也具备一定的适应能力。图4展示了在测试集上的一些检测结果可视化示例，可以直观看到模型生成的边界框和精确的裂缝掩码。
本研究成功地将先进的实例分割模型Mask R-CNN应用于混凝土表面裂缝检测这一具体工程问题。主要结论如下： 1. 有效性验证： Mask R-CNN能够有效地用于自动裂缝检测与像素级分割，在构建的数据集上达到了高精度（93.94%）和良好的召回率（77.5%）。 2. 技术优势： 该方法避免了传统方法需要手动设计特征的局限性，能够自动学习裂缝的深层特征，对复杂的背景纹理、光照变化和裂缝形态具有较好的鲁棒性。 3. 应用价值： 该工具为自动化基础设施巡检提供了强有力的技术支持。它能够显著降低人工检查的时间成本、经济成本和安全风险，并通过提供像素级裂缝掩码，为后续量化分析（如裂缝宽度、长度计算）奠定基础，从而支持更客观、精准的结构健康评估。
本研究的亮点突出体现在以下几个方面： 1. 方法的前沿性与适配性： 率先将当时计算机视觉领域最先进的实例分割模型Mask R-CNN引入到土木工程裂缝检测中，并验证了其在该专业领域应用的可行性与优越性。 2. 像素级输出的实用价值： 不仅完成“有无裂缝”的分类或粗略定位，更实现了像素级的精确分割。这一能力是后续进行裂缝参数精确量化的前提，相比此前一些仅能进行块分类或需要后处理的深度学习方法，更具直接应用价值。 3. 系统全面的实验分析： 研究并非简单地应用一个模型，而是进行了非常系统化的实验设计，详细探究并分析了骨干网络、迁移学习策略、训练计划、学习率调度、数据增强等多个关键因素对模型性能的影响。这些分析为后续相关研究提供了宝贵的经验参考和调优指南。 4. 关注泛化能力： 除了在标准测试集上的定量评估，还通过互联网图片和实地拍摄照片进行了定性泛化测试，初步证明了模型应对真实世界多样性的潜力。
论文在“背景与相关工作”部分对裂缝检测技术的发展历程进行了清晰的梳理，从早期的图像处理技术（阈值法、纹理分析、小波变换等）到传统的机器学习方法（SVM、AdaBoost、随机森林等），再到深度学习的应用，为读者理解本研究的技术演进脉络提供了很好的背景知识。同时，论文也明确指出了Mask R-CNN模型在推理速度上可能存在的挑战（由于是两阶段检测器），这为未来研究指明了可能的优化方向，例如探索更轻量化的单阶段实例分割模型。