关于利用近端高光谱传感器系统预测黑土土壤有机质、速效氮、磷、钾的研究报告
一、 研究作者、机构与发表信息
本项研究由万书明 (黑龙江省黑土保护利用研究院、黑龙江省农业科学院)、侯佳琦 (中国环境科学研究院环境基准与风险评估国家重点实验室)、赵江山 (挪威生物经济研究所)、Nicholas Clarke (挪威生物经济研究所)、Corné Kempenaar (瓦赫宁根大学及研究中心) 和陈学立 (黑龙江省黑土保护利用研究院、黑龙江省农业科学院，通讯作者) 共同完成。研究成果以《Predicting soil organic matter, available nitrogen, available phosphorus and available potassium in a black soil using a nearby hyperspectral sensor system》为题，于2024年4月27日在线发表于国际期刊《Sensors》2024年第24卷第9期 (论文ID：2784)。该期刊由MDPI出版，本论文遵循知识共享CC BY 4.0许可协议开放获取。
二、 学术背景与研究目的
本研究隶属于精准农业与土壤光谱学的交叉领域，核心关注点在于利用可见光-近红外 (Vis-NIR) 高光谱技术快速、无损地评估土壤关键养分属性。黑土 (Mollisols) 是全球重要的土壤资源，尤其在中国的东北地区，对保障粮食安全至关重要。土壤有机质 (Soil Organic Matter, SOM) 不仅是陆地碳循环的核心组分，也对农田可持续性具有深远影响，为植物提供养分、改善土壤结构、增强保水能力并支持土壤生物群落。为实现精准施肥和高效养分管理，快速、准确地获取土壤属性信息，如SOM、速效氮 (Available Nitrogen, AN)、速效磷 (Available Phosphorus, AP) 和速效钾 (Available Potassium, AK) 的空间变异数据，成为现代农业与环境管理的迫切需求。
传统的土壤采样与实验室化学分析方法虽然准确，但耗时耗力、成本高昂，难以满足大范围、高密度的监测需求。高光谱成像 (Hyperspectral Imaging, HSI) 技术作为一种非破坏性方法，能够提供目标物质详细的光谱反射特征，在实验室条件下已被广泛应用于土壤属性（尤其是SOM）的定量反演，其原理基于有机质等在特定波段（如550-770 nm可见光区和1300-1500 nm近红外区）存在敏感吸收特征。
然而，将该技术从受控的实验室环境推向田间实际应用面临一个主要挑战：土壤水分 (Soil Moisture, SM) 的干扰。土壤水分会显著改变土壤的光谱反射特性。水分的存在会降低土壤颗粒与周围介质间的折射率差异，从而减少光的散射；更重要的是，水分子中O-H键的倍频与合频吸收带（主要位于近红外区域）会掩盖或干扰土壤中其他成分（如有机质中的C-H、N-H键）的特征吸收，导致光谱信息主要反映水分变化趋势，从而降低对目标养分属性预测的准确性。以往研究多在实验室对风干土样进行扫描，而利用手持式高光谱设备在自然光条件下、直接对不同水分含量的土壤进行预测的研究相对少见。
因此，本研究旨在解决上述瓶颈，具体目标包括：(1) 评估利用便携式高光谱相机在室外采集的光谱数据，预测黑土中SOM、AN、AP和AK的可行性；(2) 建立土壤属性与光谱数据之间的偏最小二乘回归 (Partial Least Squares Regression, PLSR) 模型，并比较不同土壤水分水平下模型的预测性能；(3) 为预测不同土壤属性推荐一系列特征波长，为开发基于离散波段的低成本、便携式高光谱传感器提供指导。
三、 详细研究流程
本研究包含五个主要步骤：样品采集与制备、土壤属性实验室测定、高光谱图像采集、光谱数据提取与预处理、模型建立与验证。
1. 样品采集与制备： 研究土壤样品于2019年采集自中国黑龙江省哈尔滨市的一处玉米试验田，土壤类型为黑土 (Mollisols)。共采集78个0-20 cm深度的土壤样品。样品经风干后过2 mm筛。随后，每个筛分后的土样被分为4个子样品，其中1份保持风干状态（原始含水量约2.2%-3.5%），其余3份通过定量添加蒸馏水，将重量含水量调整至目标水平：约20%、30%和40%。加水量的计算基于给定的质量平衡公式。调整含水量后的样品置于培养皿中，加盖密封静置超过18小时，以确保水分均匀分布。最终，共计312个 (78 × 4) 子样品用于后续的高光谱数据采集和建模。
2. 土壤属性实验室测定： 所有子样品对应的SOM、AN、AP和AK含量由黑龙江省黑土保护利用研究院测试中心采用标准方法测定。SOM（以有机碳计）使用元素分析仪测定；AN采用碱解扩散法测定；AP采用Olsen法测定；AK采用电感耦合等离子体原子发射光谱法测定。测得的土壤属性范围如表1所示：SOM为21.42–45.56 g/kg，AN为114.23–233.23 mg/kg，AP为11.96–45.73 mg/kg，AK为77.25–164.52 mg/kg，pH为6.6–7.1。
3. 高光谱图像采集： 使用Specim IQ (芬兰) 便携式高光谱相机系统采集土壤样品的光谱图像。该系统基于推扫式成像原理，光谱范围覆盖400-1000 nm，空间采样为每线512像素，光谱分辨率为7 nm，共计204个光谱波段。所有扫描均在晴天的上午10点至下午2点之间于室外进行。样品在培养皿中保持原状扫描，扫描前移除皿盖。每次扫描均使用白板作为参考目标进行标定，以获取相对反射率数据。
4. 光谱数据提取与预处理： 从相机系统导出高光谱数据后，使用Scyven 1.3.0软件手动追踪每个土壤样品并划定感兴趣区域。提取出的光谱数据首先进行对数转换，然后进行中心化并缩放至单位方差。随后，对处理后的数据先进行主成分分析 (Principal Component Analysis, PCA)，以识别异常值并观察整体趋势。PCA和后续的偏最小二乘判别分析 (Partial Least Squares Discriminant Analysis, PLS-DA) 均在MetaboAnalyst网络平台 (6.0版) 上完成。
5. 模型建立与验证： 采用偏最小二乘回归 (PLSR) 来拟合土壤属性 (SOM, AN, AP, AK) 与高光谱数据之间的模型。其中，土壤属性作为连续变量Y，高光谱反射率作为观测变量X。通过10折交叉验证来确定每个PLSR模型的最佳主成分数量。所有的多元分析，包括模型训练与验证，均在R环境 (4.3.1版) 中完成，使用了“pls”、“dplyr”和“MASS”等程序包。用于评估模型性能的统计指标包括决定系数 (R²)、均方根误差 (Root Mean Square Error, RMSE) 和预测变异解释度 (Q²)。这些指标量化了模型在校准和预测阶段的准确性。此外，研究利用变量重要性投影 (Variable Importance in Projection, VIP) 来识别对PLSR预测贡献最大的特征波长，VIP值大于1的波长被认为是重要的。
四、 主要研究结果
1. 不同水分含量土壤的光谱区分能力 (PCA与PLS-DA结果)： 主成分分析结果显示，风干土样组与三个复水组 (20%, 30%, 40%含水量) 的光谱数据在PCA得分图上能够被清晰地区分开来。三个不同含水量的组别之间也能被区分，但区分度不如与风干组之间明显。这一结果证实，在400-1000 nm波长范围内，不同含水量的土壤样品具有可区分的光谱特征。进一步的PLS-DA模型结果强化了这一结论，该模型能以较高的判别能力 (Q² = 0.85) 区分不同水分含量的组别。通过对PLS-DA模型进行变量重要性分析，发现区分水分含量的最关键波长集中在490 nm至530 nm之间，其中508 nm波长的VIP得分最高 (1.1288)。这初步表明，水分对光谱的影响在特定波段尤为显著。
2. 土壤属性预测模型的性能比较： 研究建立了基于不同水分含量数据集（风干、20% SM、30% SM、40% SM）的PLSR模型，并比较了它们对SOM、AN、AP、AK的预测效果。 * 土壤有机质 (SOM)： 基于风干样品建立的模型表现最佳，使用1个主成分时，其RMSE为4.47 g/kg，R²为0.4131。总体趋势是，随着土壤水分含量的增加，模型的预测性能下降 (RMSE增大)。基于30%含水量的模型表现相对稳健，RMSE波动最小。 * 速效氮 (AN)： 同样，基于风干样品的模型取得了最佳预测效果，使用3个主成分时，RMSE为20.92 mg/kg，R²为0.4554。模型性能随水分含量增加而恶化的趋势同样明显。 * 速效磷 (AP)： 与其他属性不同，AP的最佳预测模型并非基于风干样品，而是基于30%含水量的数据集，使用1个主成分时，RMSE为8.04 mg/kg，R²为0.4360。其次是基于40%含水量的模型。这表明一定程度的土壤水分可能对AP的间接光谱预测有积极作用。 * 速效钾 (AK)： 最佳预测模型再次出现在风干样品上，使用1个主成分时，RMSE为22.67 mg/kg，R²为0.5498。模型性能随水分增加而下降。
3. 特征波长的推荐： 通过VIP分析，研究为每种土壤属性的预测推荐了最重要的15个特征波长。 * SOM： 重要波长主要分布在414, 423, 431, 443 nm以及914–991 nm区域。 * AN： 重要波长主要分布在405, 420, 431 nm以及975–994 nm区域。 * AP： 重要波长分布较为分散，集中在572–586 nm, 601–619 nm, 643–678 nm以及905–997 nm区域。 * AK： 重要波长主要分布在411–443 nm以及911–1000 nm区域，其中920–997 nm区间尤为关键。
4. 水分含量对预测影响的机制探讨： 研究结果证实，水分含量对SOM、AN、AK的预测有显著的负面影响，水分越高，预测精度越低。这是因为水分会“掩盖”土壤固有的光谱特征，尤其是其强烈的O-H吸收带会干扰其他成分的信号。然而，AP的预测表现出独特的行为，在30%含水量时预测效果最好。作者引用前人研究指出，这可能与AP的预测依赖于其与水分或其他可通过光谱直接检测的组分（如某些粘土矿物）的间接相关性有关。磷在水相中的部分可能与光谱信号有较好的相关性，因此适度的水分反而可能有助于其预测。
五、 研究结论与价值
本研究得出结论：利用便携式高光谱传感器在室外获取的光谱数据，可以有效区分不同含水量的黑土样品，并能够对关键土壤养分属性进行定量预测。 1. 预测可行性： 对于SOM、AN和AK，基于风干土样建立的PLSR模型预测效果最佳。而对于AP，基于30%含水量土样的模型预测效果更好，这为田间实际含水量条件下的AP快速检测提供了乐观前景。 2. 特征波长指导： 研究明确提出了针对SOM、AN、AP、AK预测的一系列特征波长。这些波长主要集中在可见光蓝紫光区 (400-450 nm) 和近红外长波区 (900-1000 nm)。特别是，414, 423, 431, 988, 994 nm等波段对SOM和AN的预测都至关重要。 3. 应用价值： 所推荐的特征波长集，为开发面向特定土壤属性检测的、基于离散波段的低成本、便携式专用光谱仪提供了直接的理论依据和数据支持。使用选定的特征波段而非全波段光谱，可以大幅提高数据采集与处理速度，更适用于田间实时、快速的土壤监测，是推动高光谱技术从实验室走向田间应用的关键一步。
六、 研究亮点
七、 其他有价值的发现
本研究的讨论部分深入探讨了水分影响光谱预测的物理化学机制，例如水分改变土壤颗粒表面折射率、填充孔隙以及其吸收带对其他特征吸收的掩盖效应。同时，作者也指出，对于AP和AK这类在Vis-NIR区间没有直接光谱响应的“次级属性”，其预测依赖于与“初级属性”（如有机质、粘土矿物）或水分本身的间接相关关系，这种关系的复杂性是未来提高其预测精度需要进一步研究的方向。此外，研究确认了在特定水分条件下，使用较少PLSR主成分即可获得较好预测效果的可能性，这有助于构建更简洁、稳健的预测模型。