1.SWCC:新疆农作物遥感图像语义分割基准数据集
作者：张妍,卢毅果,范迎迎,钱育蓉
作者单位：新疆大学; 新疆信号检测与处理重点实验;新疆财经大学
关键词：农作物语义分割;深度学习;基准数据集;高光谱;多光谱
摘 要： 农作物语义分割能够识别图像中的不同农作物区域，提供像素级别的细粒度信息，有助于相关农业研究 人员更好地了解农田资源的分布和状态，从而支持更精确的农业管理和决策过程。提出了一个新的农作物语义分 割基准数据集（Shawan Crop Classification Dataset，SWCC）。该数据采集自中国新疆沙湾地区，由 Gaofen-1 卫星拍 摄，包含分辨率为 2 m 全色和 8 m 多光谱的数据，经过融合之后得到 2 m 的多光谱数据。SWCC 数据集中的所有 对象都通过精准目视解译与实地考察，标注了 5 个类别。与现有的专用农作物语义分割数据集相比，SWCC 数据 集具有 3 个特点：覆盖新疆多样农作物类别，具有高度的代表性，为农业科学研究提供了宝贵的数据资源；实现 2 m 高分辨率多光谱数据融合，显著提升图像细节与信息量；选取 RGB 和近红外 4 个波段，全面提取农作物特征信 息。基于 SWCC 数据集，本文评估了几种先进的算法，为基于深度学习的农作物语义分割方法提供了基准，这对 于评估算法的改进是有价值的。
1 引言
随着遥感技术的发展，利用无人机、激光雷达、 卫星等平台获取的丰富遥感数据逐渐应用于不同的 遥感应用 [1]。其中，农作物语义分割通过对遥感图 像的分析和处理，实现对农作物类型的像素级精准 分类与识别 [2]，提供不同农作物类型的信息，成为 遥感图像处理的重要任务之一 [3]。
传统的农作物语义分割方法受限于人工特征提 取和经验知识的依赖 [4]，在处理大规模、高维度的 农作物数据时存在一系列局限性。深度学习能够自 动地学习网络层内部的特征表征 [5]，从原始数据中 提取出关键信息，进而实现更好的作物识别 [6]，促 使农作物语义分割到了一个新的高度 [7]，显著提升 了作物识别的精度与效率，展现了深度学习在农作 物语义分割领域的巨大潜力与优势 [8]。
在计算机视觉领域，深度学习作为一种数据驱 动的方法 [9]，其性能受限于所使用数据的数量和质 量 [10]。因此，构建高质量且具有挑战性的数据集对 于推动该领域的技术进步至关重要 [11]。如表 1 所示， 武汉大学的 WHU Hi 数据集 [12]，专为农作物语义分 割任务设计，包含 3 个代表性场景，旨在构建精细 分类的模型，提高农作物语义分割精度。WHU-HiLongKou 数据集由空间分辨率为 46.3 cm 的 6 种农 作物航拍图像组成。WHU-Hi-HanChuan 数据集在 10.9 cm 的空间分辨率下采集了 7 种作物类型，但受
下午拍摄时光照影响，图像中阴影覆盖较为严重。 WHU-Hi-HongHu 包含了 3 种主要作物类型（棉花、 油菜和卷心菜）的 17 个不同品种。Weedmap 数据 集 [13] 是作为最著名和最大的多光谱数据集之一，包 含 10 196 张图像，专注于甜菜作物和杂草的分类任 务。VOAI 数据集 [14] 包含大约 2 300 张未经数据增 强的标准化图像以及超过 21 800 张增强后的图像。 weedNet 数据集 [15] 由 465 张多光谱图像组成，明确 划分为训练集（132 张甜菜作物图像和 243 张杂草图 像）与 90 张农作物和杂草混合图像的测试集，为农 作物与杂草的精细分类研究提供了有力支持。
尽管在农作物语义分割领域已取得了诸多进展， 但现有数据集仍然存在一些局限性，制约了该技术 在遥感领域的发展。
（1）数据多样性不足：大多数数据集仅涵盖有 限种类的农作物或特定生长条件下的作物，这导致 了数据集在多样性上的匮乏，限制了模型在复杂场 景下的泛化能力。
（2）图像质量受限：由于采集设备性能、处理 流程或数据存储的限制，现有数据集中的图像分辨 率普遍较低。对于复杂农作物场景，低分辨率可 能导致关键特征的丢失，削弱模型的学习和分割 效果。
（3）标注精度和一致性挑战：标注的精度与一 致性是影响语义分割模型训练效果的重要因素。目 前的数据集常因标注过程中存在的人为偏差，导致 不同标注者之间的不一致性，进而影响模型的性能 稳定性与可靠性。
因此，为了更好地解决上述问题，本文提供了 一个农作物语义分割数据集（Shawan Crop Classification Dataset, SWCC）。该数据集源自 Gaofen-1 卫星拍摄的新疆沙湾地区遥感影像，通过融合 2 m 全色与 8 m 多光谱数据，生成高质量的多光谱图像， 显著提高了图像的分辨率和细节保留能力。图像示 例及其标注如图 1 所示。由于沙湾地区土地类型和 地形的多样性，农作物种植模式多样复杂，给数据 标注带来了挑战。因此，在标注过程中通过现场勘 察和图像整合，获得准确标注的地面实况图像。由 于土地类型和地形的多样性，该地区的农作物种植 模式复杂多样，给数据集标注的准确性带来了挑战。 为提高标注的精度和一致性，结合现场勘察和图像 整合，获得了准确标注的地面实况图像，减少了人 为偏差，确保了数据集的可靠性和模型性能的稳 定性。
本文的主要贡献可概括如下。
（1）构建了一个农作物语义分割基准数据集— SWCC，该数据集聚焦于新疆沙湾地区，覆盖了 5 种代表性农作物类型，提供了丰富的特征信息。通 过多样化的作物选择，增强了数据集的多样性，使 其能够更好地反映不同作物生长条件下的特征，提 升模型在复杂场景中的泛化能力。此外，现场调查 和对图像的综合分析确保了数据集的准确性和可靠 性，为后续农作物语义分割和遥感应用研究提供了 有力的数据支持。
（2）SWCC 可以用于评估不同农作物语义分割 算法的性能。研究人员可以在该数据集上进行实验， 通过对比分析不同算法在准确性、召回率、F1 分数 等关键指标上的表现，以科学系统地评估并筛选出 最优的语义分割算法。
（3）通过多种代表性方法的实验验证，全面展 示了 SWCC 数据集的实用价值与科研潜力。实验结 果肯定了该数据集所蕴含的问题与挑战，具有显著 的研究意义，进一步确认了其作为农作物语义分割 领 域基准数据集的合理性与适用性。
2 SWCC 数据集
SWCC 数据集由 Gaofen-1 卫星于 2021 年 7 月 21 日在中国新疆沙湾地区捕获。沙湾县位于新疆天 山北麓中段、准噶尔盆地南缘（东经 84°57' ~ 86°09'、 北纬 43°20' ~ 45°20'）。该地区土地总面积 12 990.24 km 2，下辖 9 镇、3 乡和 3 个农牧场，地域广阔，气 候多样，孕育了丰富的农作物种类。SWCC 数据集 在农作物生长阶段捕获，此时，由于种植时间的差 异，不同的作物处于不同的生长阶段，能够更全面 地 反映农作物的生长规律和特性。
2.1 SWCC 数据集概述
SWCC 数据集为 2 m 多光谱图像（源自 2 m 全 色与 8 m 多光谱数据的融合），涵盖 5 个类别：辣 椒、冬小麦、玉米、棉花及番茄。为了更精确地识 别和定位农作物，背景被视为非目标对象，不单独标注。这种设计策略旨在提升农作物分割的精度和 实用性，确保模型能够专注于学习目标农作物的 特征。
针对农作物生长过程中的小目标挑战，尤其是 像素占比较小、易被忽视或误分类的问题，在标注 环节采取了精细策略。特别聚焦于这些小目标区域， 通过细致的标注手法，确保它们能被准确捕捉并有 效分割。
为提升遥感图像质量，采用了一系列预处理方 法。首先，执行严格的数据质量评估，剔除受云层 覆盖、显著噪声及异常亮点影响的图像。随后，为 了保证农作物语义分割的高空间分辨率多光谱数据， 对 2 m 全色和 8 m 多光谱的数据进行融合，得到具 有更高空间分辨率和更丰富光谱信息的 2 m 多光谱 数据。针对 8 m 多光谱的数据，使用 ENVI5.3 进行 了辐射定标、大气校正、正射校正的处理，针对 2 m 全色的数据，进行了辐射定标、正射校正的处理， 确保融合后的图像质量卓越，为农作物语义分割研 究奠定了坚实基础。本文所使用的 SWCC 数据集已 公开，通过 https://github.com/sytzy/SWCC-Dataset 链 接 访问。
2 .2 SWCC 数据集构建
2.2.1 数据预处理
为了满足遥感应用及神经网络处理的需求，对 原始多光谱数据实施了详尽的预处理和优化流程， 具体如下。
（1）对于 8 m 多光谱数据，使用 ENVI5.3 首先 进行辐射定标，将图像的像元值转换为实际的物理 量，消除传感器响应不一致等因素对数据的影响。 随后，根据研究需要对图像进行空间裁剪和波段裁 剪，专注于感兴趣的研究区域，筛选出关键的 RGB 及近红外波段，这些波段间的信息互补性显著 增强了图像对农作物细微特征的解析能力。随后进 行 FLAASH 大气校正，消除大气散射、吸收等因素 对图像的影响，恢复地表物体的真实反射率。之后 通过正射校正，消除由于地形起伏和传感器视角变 化引起的图像畸变，使得图像中的地物形状和位置 更加准确。
（2）对与 2 m 全色数据，首先进行辐射定标， 将全色数据的像元值转换为大气表观反射率。考虑 到多光谱 FLAASH 大气校正结果的特殊性（即反射 率数据扩大了 10 000 倍），对全色数据进行了相应 的调整，以确保与多光谱数据在数值上的一致性。 随后，全色数据同样进行了正射校正处理，进一步 提升其几何精度。
最终，将经过处理后的 8 m 多光谱和 2 m 全色 进行融合，生成了既具有高空间分辨率又富含光谱 信息的高质量遥感图像，为后续的农作物语义分割 及 遥感应用提供了强有力的数据支撑。
2.2.2 数据标注
为了确保数据标注的高效性与高质量，设计一 个经济实用且严谨的标注流程至关重要。本标注流 程的核心是详尽标注指南和规范，明确对象识别、 边界绘制及标签分配的统一标准，从而有效减少因 个人理解差异导致的误差，提升数据一致性。
本文的标记任务分配给 5 个专业标记人员，均 经过系统培训，掌握了 ENVI 5.3 软件操作技巧及标 注的注意事项，确保能够准确、高效地完成任务。 每个人员负责标记一类数据，使用 ENVI5.3 进行有 效标记，最后由专人验收，确保标注的数据符合要 求。在标注过程中实施严格的多轮复核机制，包括 初步验收与交叉检查，通过不同视角的审视，及时 发现并纠正潜在错误，保障了标注数据的准确性。 在标注过程中，特别关注了小目标区域的精细标注， 从而增强了数据集在目标尺度方面的表现。标注工 作的首要任务是识别图像中的对象类别，标记人员 依据沙湾市农村土地管理平台的作物分布信息，在 ENVI5.3 中精确定位并标注目标作物，为图像中的 感兴趣区域精确绘制边界，并赋予相应的类别标签。 完成标注后，需要进行标签处理，标注好的 XML 标签转换为神经网络训练所需的 TIF 格式。首先进 行空间裁剪，在遥感图像缩略图上框选出标签所在 的大致区域，生成初步的 mask 掩码图像。然而， 由于图像中常存在大量非标注区域，需进一步精细 裁剪标签，确保遥感图像与 mask 掩码图像在区域 参数上保持一致，提高数据集的纯净度与训练效率。 最后，完成了农作物语义分割数据集 SWCC，每个 类标签在数据集中呈现的占比如表 2 所示。
2.3 数据集划分
数据集的处理流程首先按照 8∶2 的比例将原 始数据划分为训练集和测试集。接下来，对处理好 的原图和标签进行裁剪。每张图像及其对应标签被 裁剪为多个 512×512 像素的小块，并以 128 像素的 步长进行滑动裁剪。这种方式不仅确保了裁剪后的 图像块能够全面覆盖原图的各个区域，实现信息的 最大化提取，还通过适当的重叠避免了关键信息的 丢失。裁剪后，共生成了 4 455 张原图和相应的标 签图像。
鉴于部分标签图像中可能存在标签占比低甚至 无标签的情况，需对这些数据进行了清洗。实验中， 剔除了质量不佳的标签及其对应的原图，最终保留 了 1 721 对高质量的原图和标签图像。这些数据 集被进一步划分为 1 377 个训练样本和 344 个测试 样本。
在现有数据集的基础上，通过数据增强技术增 加了网络训练样本。具体方法包括对原始图像和标 签图像进行水平或垂直翻转，顺时针旋转 90°和 270°。这一数据增强策略将训练样本的数量扩大到 原来的 4 倍，最终生成了 5 508 个样本。这不仅提 升了样本的多样性，还显著增强了模型的泛化能力， 为 后续神经网络训练提供了坚实的数据支持。
2.4 数据集特性
与现有遥感影像数据集相比，SWCC 具有以下 几个显著特点。
（1）多类别。SWCC 包含 5 个经典类别，该数 据集包含的数据是在新疆沙湾地区采集的，特别聚 焦于新疆特有的农作物种植类别，更全面地反映农 作物的生长规律和特性；
（2）多标签。由于遥感图像通常包含许多不互 斥的对象类别，因此 SWCC 数据集中的每张图像都 有一个或多个对应的标签。若干实验表明，在图像 语义分割或图像检索任务中，多标签数据集往往比 单标签数据集获得更令人满意的性能；
（3）多波段。由于 RGB 波段提供了关于农作物 和土地覆盖的颜色信息，有助于区分不同类型的作 物和地表覆盖。而近红外波段对植被状况特别敏感。 它能有效地区分植被和非植被区域，并且对于不同 类型的植被，其反射特性也有所不同。结合 RGB 和近红外波段的信息，可以实现更高精度和更稳定 的 语义分割效果。
3 实验结果与分析
3.1 评价指标
本文采用了多种评估指标来全面评价像素分割 性能，包括整体准确率（ACC），该指标基于所有类 别像素总数计算，衡量了整体分割的正确性；以及 按类别单独计算后取平均的指标，如平均交并比 （Intersection over Union, IoU, 记为 IoU）、平均 Dice 系数（Dice）、平均 F1 得分、平均精确率（Precision, 记为 P）和平均召回率（Recall, 记为 R）。其中，IoU、 Dice 分别评估了每个类别分割结果与真实结果的相 似度；F1 则是每个类别精确率与召回率的调和平均 数的平均值，综合了分类的准确性与完整性；P 和 R 则分别反映了预测为正样本中实际为正的比例， 以及实际为正样本中被正确预测的比例。以上评价 指标计算公式分别为
式中：TP（True Positive）为正样本被正确分类的数 量；FP（False Positive）为正样本被错误分类的数量； TN（True Negative）为负样本被正确分类的数量； F N（False Negative）为负样本被错误分类的数量。
3.2 实验设置
选 择了 DeepLabV3+ [16]、 KNet [17]、 PSPNet [18]、 APCNet [19]、GCNet [20]、UPerNet [21] 这 6 种经典语义 分割模型。
（1）DeepLabV3+：结合 ASPP 与空洞卷积，采 用 Encoder-Decoder 结构融合特征，有效恢复信息， 广泛应用于图像分割与自动驾驶。
（2）KNet：提供灵活模块，如 CNN、空洞卷积 等，处理多尺度信息，支持像素级分割，在医学、 自动驾驶等领域发挥重要作用。
（3）PSPNet：通过金字塔池化模块捕获多尺度 上下文，增强语义理解，适用于场景理解等任务。 （4）APCNet：创新性地采用自适应上下文模块 构建多尺度表示，提升分割方法的灵活性与准确性。
（5）GCNet：使利用全局上下文模块融合全局与 局部特征，使得模型在分割任务中更好地考虑到目 标物体的周围语境，提高了分割结果的精确度。
（6）UPerNet：则引入多尺度融合与 RefineNet 强 化 上采样，优化分割细节，确保高分辨率与精准度。
3.3 实现细节
所有实验均使用 PyTorch 2.0，Python3.8.17， CUDA 11.8 和 CuDNN 8.7 实现，所有实验都使用 NVIDIA GTX3090Ti 进行。分割任务的微调是使用 MMSegmentation [22] 实现，整个模型训练数据加载器 的 Batchsize 大小设置为 8。参数调度器使用了线性 衰减和多项式衰减的组合策略。优化器使用了 AdamW，学习率为 3×10 −5，动量参数为 0.9，权重 衰 减为 0.05。
3.4 比较不同模型的分割结果
使用第 3.1 节介绍的 6 个语义分割模型来评估 本文中 SWCC 数据集的分割性能，结果如表 3 所示。
表 3 显示了 6 个经典模型在 SWCC 数据集的实 验结果。其中，DeepLabV3+、PSPNet 具有较强的 特征提取能力和上下文理解能力，能够有效地捕获 农作物区域的细微特征并对其进行准确的分类。 KNet、GCNet、APCNet 方法的性能相差不大，然 而，GCNet、APCNet 由于目标物体的形状的不规则 导致在番茄的分类表现较差，但它们的整体精度仍 然保持在较高水平。实验结果表明，6 种经典的语 义分割模型在 SWCC 数据集各分割任务上都取得了 优异的性能，这证明了 SWCC 数据集的适用性和准 确性。
SWCC 数据集上 IoU 统计结果如图 2 所示。通 过可视化 IoU 值，可以更直观地判断模型的准确性。 其中 DeepLabV3+、PSPNet、UPerNet 在 SWCC 数 据集的分割任务表现较好。IoU 可视化还可以用于 评估数据集的质量。IoU 值普遍较高表示数据集中 标注的真实框与实际目标的偏差较小。其中，6 种 经典模型在辣椒、冬小麦、玉米、棉花这 4 种不同 分割任务的 IoU 指数均在 94% 以上，这表明 SWCC 数据集标注过程的准确性和可靠性。此外，由于番 茄数据量偏少，导致了番茄的预期表现较低，但是 这些模型的 IoU 指数仍处于 85% 以上的较高水平。
部分代表性可视化结果如图 3 所示，展示了 SWCC 数据集对农作物语义分割任务中模型性能的 影响。由于 SWCC 数据集提供的高空间分辨率与丰 富的光谱信息，DeepLabV3+能够更精确地描绘农田 地块的边界并捕捉地块内部细节。然而，GCNet 的 可视化效果较差，反映出该模型在处理复杂、多样 化的数据集时的局限性。此外，农田与周围地物的 渐变过渡区域增加了模型的混淆，这种数据特性要 求模型不仅要有强大的特征提取能力，还需具备处 理复杂场景和上下文关系的能力，以准确区分农 田与相邻地物。这些结果进一步强调了 SWCC 数据 集的高质量和多样性能够为模型训练提供了坚实的 基础。
3.5 混淆矩阵
图 4 显示了在 SWCC 数据集上进行测试后的混 淆矩阵。混淆矩阵主对角线上的数值表示准确预测 的图像类别占总预测类别的比例。较暗的图像片段 表示模型的分类准确性较高，较亮的图像片段表示 分类准确性较低。在 SWCC 数据集中，辣椒和玉米 类别的分类表现非常好，这意味着这两个类别的样 本通常被准确地预测为其对应类别。其他类别也表 现出较强的分类性能，然而，都有一定比例被误分 类为番茄。这种误分类主要有两个原因：番茄类别 与其他农作物类别在视觉上相似，并且番茄类别在 本文数据集中的代表性较少。总体来看，混淆矩阵 的对角线值显示了在主要农作物类别中的强预测准 确性，表明数据集中除了番茄类别之外的所有主要 农作物类别都有很好的分类表现。
4 结束语
本文提出了一个农作物语义分割数据集 SWCC， 源自新疆沙湾地区，集成了多标签、高空间分辨率 遥感图像，为农作物研究提供了丰富而精细的数据 资源。数据集采用 Gaofen-1 卫星图像，通过严谨的 预处理流程，包括使用 ENVI 5.3 进行辐射定标、大 气校正和正射校正，以确保数据集的高质量。SWCC 数据集覆盖了 5 个农作物类别，包含 4 个波段，具 有多类别、多标签和多波段等特点。综上所述， SWCC 农作物语义分割数据集通过融合高空间分辨 率的全色图像与多光谱数据，不仅丰富了数据集的 光谱信息，还提升了对农作物细微特征的解析能力， 为模型训练提供了丰富的光谱特征多样性。同时， 数据集涵盖多个农作物类别，确保了目标多样性， 使得模型能够学习到更加全面和复杂的农作物特征。 采用 6 种基于深度学习的方法进行了基准测试，结 果验证了数据集的实用性与潜力。尽管 SWCC 数据 集地理覆盖有限，不足以全面反映全球农作物多样 性，但并不妨碍其在特定区域或农作物类型研究中 的深入应用价值。
