FineCrop：利用类感知特征解耦与地块感知类重平衡技术实现细粒度作物映射

——基于Sentinel-2时间序列数据的深度学习新框架

主要作者与发表信息

本研究由武汉大学测绘遥感信息工程国家重点实验室（LIESMARS）的Lei Lei、Yanfei Zhong、Liangpei Zhang，以及电子科技大学资源与环境学院的Xinyu Wang等研究者共同完成，通讯作者为Xinyu Wang。该研究成果于2025年8月13日在线发表于Elsevier出版的ISPRS《摄影测量与遥感杂志》（ISPRS Journal of Photogrammetry and Remote Sensing）第228卷，页码为785至803页。

研究背景与科学问题

精细作物分类映射（Fine-grained crop mapping）要求对特定区域内所有作物类型进行精确区分，涵盖主粮作物、经济作物、园艺水果等主要类别及其下的诸多子类。这种高精度的作物分布信息对于精准农业管理、生物多样性监测、粮食安全保障以及经济决策具有不可替代的价值。然而，相较于仅区分主要作物的传统分类方法，精细作物分类面临着两大核心挑战：其一，不同作物子类之间的物候特征高度相似，例如不同品种的小麦或谷类作物在生长周期和植被指数曲线上表现出一致性，导致难以提取具有判别性的特征（Discriminative features）；其二，受政策、经济与农户偏好影响，作物类别分布呈现显著不均衡状态，即少数优势作物占据大量样本而大多数稀有作物样本稀少，这种长尾分布（Long-tail distribution）会导致分类模型对头部类别产生严重偏差，使得尾部类别被大量误分。

现有方法在这两方面均存在局限。基于特定植被指数的方法虽然物理意义明确，但往往只适用于单一作物；传统机器学习方法依赖人工特征设计，难以扩展到数百种作物类型；而深度学习方法尽管展现出了强大的特征提取潜力，但在数十乃至上百种作物类别下的应用潜力尚未得到充分挖掘。针对此空白，本研究提出了FineCrop框架。

FineCrop框架与实验流程

为评估FineCrop框架的有效性，研究团队首先构建了一个全新的细粒度作物分类基准数据集——FineCropSet。该数据集通过整合EuroCrops数据集中的高质量作物标签与来自Google Earth Engine平台的Sentinel-2 Level-2A地表反射率产品而生成。数据覆盖了三个具有高度作物多样性的欧洲研究区域：德国北莱茵-威斯特法伦州、斯洛伐克南部以及荷兰，分别使用了2021年或2020年的数据。FineCropSet在层级式作物与农业分类法（HCAT）的第三级包含多达138种作物类型，并提供了地块级（Parcel-level）的唯一标识编号，这对后续的地块感知算法至关重要。数据的预处理流程包括为消除边界误差而构建10米内侧缓冲区、剔除面积小于900平方米的小地块、对云像素进行掩膜、保留10个有效波段并统一重采样至10米空间分辨率，最终将区域分割为32×32像素的小块以便于模型训练。样本按6:2:2的比例经分层随机抽样划分为训练集、验证集和测试集，确保各子集内均包含所有作物类别且地块互不重叠。

在此基础上，研究提出了FineCrop框架，这是一个具有即插即用特性的双分支结构，可无缝嵌入到主流时空作物分类网络中。其核心由三部分组成： 1. 时空特征提取与聚合网络（Temporal-Spatial feature Extraction and Aggregation network, TSEA）：作为框架的基础，TSEA网络负责从不同时间长度的卫星影像时间序列（Satellite Image Time Series, SITS）中提取一致的时空特征。它包含一个可替换的基线模型作为时空特征提取模块（如ConvGRU、ConvLSTM、ConvStar、3D-UNet、U-TAE、TSViT等）和一个时间序列特征聚合模块（TSA），后者通过平均池化操作聚合时间维度，确保输出特征维度的一致性。 2. 类感知深度特征解耦分支（Class-aware deep Feature Disentanglement branch, CFD）：该分支的灵感源于“分而治之”的策略，旨在解决物候相似性问题。CFD通过一个通道扩展模块将TSEA输出的特征通道数扩展至类别数的η倍，生成数量为“类别数 × η”的特征组。随后利用两种损失函数进行优化：判别损失（Discriminative loss）引入类别标签作为监督信号，强制每组特征仅表征一个或少数几个特定子类别；典型损失（Typical loss）则是一种无监督损失，旨在最大化同一类别内不同通道间的特征差异，从而全面捕捉该类别的细节特征，避免特征冗余。 3. 地块感知类重平衡分支（Parcel-aware Class Rebalancing branch, PCR）：该分支的灵感源自数据聚合技术，旨在解决类别分布不均衡问题。它包含数据与模型两个层面的操作。在数据层面，实施地块合并操作（Parcel merge operation），通过聚合同一地块内所有像素的特征来计算地块级平均特征，以此利用地块作为基本种植单元的特性，显著降低数据集的类别不平衡因子（Class Imbalance Factor, CIF）。在模型层面，设计了一个地块尺度的类别感知损失函数（Parcel-scale class-aware loss），该函数在交叉熵损失中引入一个与类别样本数量成反比的类别感知因子（Category-Aware Factor, CAF），为尾部类别赋予更大的权重空间，从而校正分类器对头部类别的偏差，提升对稀有类别的判别能力。

整体优化目标为CFD分支的两个损失函数与PCR分支的类别感知交叉熵损失的加权和。在实验中，所有模型使用随机梯度下降优化器，并利用网格搜索为三个损失函数的权重以及CFD分支的通道数η等超参数确定了最优设置。

主要研究结果

实验结果表明，FineCrop框架在所有基线和研究区域上均能带来一致的性能提升，验证了其有效性与普适性。具体而言： * 整体性能提升显著：在德国北莱茵-威斯特法伦州数据集的像素级评估中，加入FineCrop后，可使得基线模型的总体准确率（OA）最高提升6.06%，Kappa系数最高提升5.48%。在斯洛伐克和荷兰研究区，同样观察到OA分别最高提升1.42%和0.89%，且经配对t检验验证，这些提升在统计学上均具有显著性（p值均小于0.05）。 * 关键指标大幅跃进：在更具挑战性的指标上，FineCrop展现出更大优势。对于Kappa系数和平均F1分数（mF1）这两个能更好反映不平衡数据上模型综合性能的指标，FineCrop可使其最高提升约22%和8%。这表明框架对改善不平衡类别分类效果极佳。 * 消融实验揭示内部机制：消融实验进一步量化了CFD与PCR分支的独立贡献。尤其关键的是，实验证明引入PCR分支后，数据集的类别不平衡程度可降低至原始值的1/5甚至1/18，直接证实了地块聚合操作在缓解长尾分布问题上的巨大作用。同时，特征可视化分析显示，CFD分支能够驱动模型从地块的边缘向中心方向提取更为精细的内部特征，从而捕捉到作物核心区域的纯净物候信号。

研究结论与价值

本研究得出的核心结论是：通过显式地解耦各类别的判别性特征并在特征和损失函数层面协同解决类别不平衡问题，可有效克服精细作物分类的两大核心挑战。FineCrop框架的成功证实了这一技术路径的可行性。该研究不仅提供了一个能显著提升模型在高度相似和不平衡类别上分类精度的算法框架，还贡献了一个可扩展、多时相的细粒度作物分类数据集FineCropSet，为后续研究建立了基准。

研究亮点与创新性

本研究的亮点主要体现在以下三个方面： 1. 即插即用的灵活性：FineCrop的双分支设计使其可轻松与多种主流深度学习架构集成，无需修改基网络结构，通用性强。 2. 问题导向的创新方法：CFD分支首次将特征解耦思想应用于作物多通道时序特征，针对物候相似性问题实现了精细化建模；PCR分支则创新性地将地块单元信息引入深度学习模型，从数据聚合和损失函数调整两个层面协同解决了困扰已久的类别不平衡问题。 3. 地块信息的深度挖掘：相较于多数研究仅在像素或规则图像块上建模，本研究充分挖掘了“地块”作为农业种植管理基本单元的先验知识，证明其在缓解噪声、降低不平衡度方面具有重要价值，为农业遥感研究提供了新的视角。