据悉，本文回顾了过去30年中提出或构建的典型基于机器视觉的除草机器人，以及一些用于杂草检测的开放数据集。本文为第一部分。

  由于除草机器人在节省劳动力和农药方面的明显优势，它是现代和可持续农业的关键技术之一，慢慢的受到研究人员和研发人员的关注。近年来已经发表了一些关于基于机器视觉的除草机器人的论文，但是没有明确尝试系统地研究这些论文来讨论机器人除草控制管理系统的组件，例如视觉导航、杂草检测和定向除草。本文回顾了过去30年中提出或构建的典型基于机器视觉的除草机器人，以及一些用于杂草检测的开放数据集。讨论了基于机器学习（ML）或深度学习（DL）的除草机器人的图像预处理、图像分割、导航线提取和杂草识别等关键技术。为说明DL算法在杂草检测中的应用，本文提供了杂草对象检测结果，并使用公共数据集对八种基于DL的基线办法来进行了比较分析。研究之后发现，机器人除草控制管理系统的每个部分仍有许多问题是需要解决。由于环境变化和系统复杂性，基于机器视觉的除草机器人仍处于早期阶段。系统综述的结果提供了在除草系统中使用机器视觉的创新趋势的理解，并为未来除草机器人的研究提供了参考。

  长期以来，杂草极度影响了农业生产。杂草与作物在田间争夺阳光、水分和养分，导致作物产量和质量下降，给农业经济造成巨大损失。根据公开数据（中国农业部，2019年），2013年至2017年，由于杂草，中国粮食、棉花、石油和其他作物的平均年产量分别减少了5466315吨、86084吨、269913吨和3005109吨。如图1所示，杂草防治面积为10553.2万公顷，杂草受损面积达到9723万公顷。这激发了农业生产和经济发展对杂草防治的巨大需求。在农业技术发展过程中，探索了许多有效的杂草控制措施，如农业控制、植物检疫、锄头除草、生物除草和化学除草。然而，传统的除草方法是劳动密集型和昂贵的；农业化学品的过度使用也造成了严重的环境污染和公共卫生问题。随着农业机械化和信息技术的进步，可提升除草效率、节约世界资源、减少环境污染、提高农产品产量和质量的自动除草机器人能逐步补充甚至取代传统的除草方法。

  田间除草机器人是集环境感知、路径规划、目标识别和动作控制于一体的智能系统。近年来，机器视觉技术发展迅速，取得了显著的进步。最新的机器视觉技术已应用于农业机器人，这鼓励了除草机器人的逐步发展。此外，随着性能的提高、硬件成本的降低以及识别和控制算法的准确性的提高，构建实用的自动除草机器人成为可能。除草机器人面临各种情况，这增加了除草操作的复杂性。在此阶段，除草机器人很难在每个除草场景中实现其完整功能。尽管视觉控制除草机器人在国内外得到了广泛而深入的研究，并提出了许多机器人原型和除草检测算法，但该领域的最新研究成果缺乏系统的分析和总结。

  本文对除草机器人的研究现在的状况进行了全面的文献概要，为除草机器人相关研究提供参考。通过在各大平台基于关键词如“除草机器人”，“视觉导航”，“杂草检测”，“精准农业”，“深度学习”(DL)和“机器学习”(ML)来搜索和选择相关文献。在对这些工作进行详细分析的基础上，重点介绍了目前流行的DL方法在除草机器人上的应用，并对几种基于DL的杂草检测算法的性能进行了系统评价。

  在农业生产中使用除草机器人的巨大经济效益吸引了许多国家的组织和研究人员的注意。随着有关技术的不停地改进革新和研发资金的稳定投入，出现了许多实用机器人原型。此外，由于杂草检测和定位技术在视觉除草机器人中发挥着非常非常重要的作用，组织和研究人员为作物中的杂草识别做出了巨大的贡献，并发布了相关的杂草图像数据集，推动了杂草检测技术的发展。本节回顾了过去30年中的视觉除草机器人，并总结了用于除草检测的公开图像数据集。

  基于机器视觉的杂草控制机器人的研究主要已经在大学和研究机构开始并持续进行。图2总结了自20世纪90年代以来非常关注的典型基于机器视觉的除草机器人。这些机器人能总结出以下特点和困难。首先，这些机器人主要是轮式移动机器人，配备了视觉传感器，如RGB摄像机、双目摄像机或红外摄像机。因此，拍摄图像的质量取决于配备的摄像机的性能，但应强调提高粗糙地形下的图像稳定性。其次，这些机器人通常应用于植物高度较低的农田，如甜菜、胡萝卜或幼苗，但不能应用于植物高大的农田。此外，杂草控制的质量取决于杂草检测算法的精度和速度。因此，基于机器人视觉的杂草检测算法在现实环境中的鲁棒性应该通过关注这些复杂因素来提高，如杂草的种类、杂草的生长期和光照条件。最后，尽管目前的除草机器人仍处于原型开发阶段，但除草机器人已逐渐商业化，用于农业杂草控制。

  作物中杂草的检测和分类是除草机器人的主要任务，也是机器人除草技术商业化发展的主要障碍。由于杂草和作物通常具有相似的颜色、纹理、形状和其他特征，因此检测作物中的杂草是一项具有挑战性的任务。目前，基于机器视觉的杂草检测和分类方法常常要大量的注释数据来进行模型学习和测试。随着研究人员越来越关注杂草检测算法，网络上发布了公开的数据集，以促进社区发展。

  一些示例图像如图3所示。这一些数据集可分为具有图像级注释（ILA）、像素级掩码注释（PLA）和边界框注释（BBA）的图像。这些公共数据集大多是ILA和PLA数据集，前者通常用于图像尺度的杂草和作物分类，后者通常用于语义图像分割。相比之下，用于目标检测的公共BBA数据集相对缺乏，尽管基于DL的目标检测算法被认为是目前解决杂草检测问题的最有效方法。在某一些程度上，这一些数据集提供了在设计和测试杂草检测算法时有用的图像和注释。然而，仍然缺乏用于广泛评估的作物和杂草数据集，如ImageNet或Ms COCO。

  图3 公开数据集的样本图像：（a）作物/杂草田间图像数据集，（b）甜菜2016，（c）植物幼苗数据集，（d）胡萝卜杂草，（e）甜菜/杂草数据集2018，（f）叶片计数数据集，（g）CWF-788，（h）深杂草，（i）三叶草图像数据集、（j）杂草玉米/莴苣/萝卜，（k）注释食品作物和杂草图像数据集。

  基于机器视觉的杂草检测算法的目标是训练带有注释数据的模型，然后能够适用于预测新数据的结果。因此，为了训练有效的杂草检测模型并评估学习模型的性能，数据集通常分为训练数据和测试数据。训练集用于训练和调整模型的超参数。测试集用于对训练集拟合的最终模型进行无偏评估。训练集、验证集和测试集之间的关系如图4（a）所示。保持验证是划分数据集的一种简单而常见的方法，如图4（b）所示。它以一定的比例将数据集拆分为训练集和测试集，例如8:2、7:3、6:4等。数据集拆分比例取决于模型和数据集中的样本数量。对于非常大的数据集，也可以再一次进行选择99:1甚至更高的分割比。如果数据集比较小（样本数10000），则7:3的分割比是合适的选择。若需要验证集，可以随机选择10–30%的训练样本作为验证集。此外，k-折叠交叉验证是数据集划分的另一个普遍的使用的基础，特别是当数据样本数量较少时。将数据集分成大小相等（或几乎相等）的k个子集（k倍），然后，对k个“褶皱”中的每一个都遵循以下步骤：（1）使用褶皱中的k-1作为训练数据来训练模型。（2）在数据集的剩余子集上测试拟合模型，如图4（c）所示最后，在所有迭代中使用平均误差来评估训练模型。这种方法的优点是所有数据都用于训练和测试，每个子集数据只用于测试一次。因此，这种方法通常比其他方法更稳健，偏差更低，尤其是在小数据集上。

  图4 数据集拆分。（a）训练集、验证集和测试集之间的关系。（b）坚持验证方法。（c） k-折叠交叉验证方法。

  无人机（UAV）是最有潜力的杂草管理技术之一。基于无人机的特定场地杂草管理（SSWM）是另一种正在发展的杂草管理方法，能够精确、连续地监测和绘制杂草侵扰情况。无人机的飞行高度通常为10-200米，线米。用于杂草管理的无人机通常配备RGB摄像机、多光谱摄像机、超光谱摄像机或其他传感器，以检测和绘制杂草地图。结合测绘和喷洒的无人机集成系统能携带除草剂进行现场特定喷洒。因此，与地面除草机器人相比，用于除草管理的无人机不受地面条件的限制，并且易于操作以进行大面积除草测绘或喷洒除草剂。然而，大多数国家对无人机的严格监管在无人机的有效载荷和射程方面存在限制，因此大多数商用无人机在每次飞行中都有较短的飞行时间。同时，用于杂草管理的基于UVA的监测和杂草测绘受到复杂的室外因素的影响，如风速、光照和飞行高度。尤其是风，在喷洒除草剂时，会导致偏离目标漂移和作物伤害。虽然无人机和地面机器人在杂草控制方面存在一些差异，但无人机和陆地杂草机器人的集成在杂草控制上具有巨大潜力。

  农业环境是动态、非结构化和嘈杂的，这给除草机器人的设计带来了巨大挑战。目前，通用自动除草机器人应具有以下特征：自主导航、杂草检测和识别，以及精确的杂草控制和绘图。

  除草机器人的视觉导航主要是依据摄像机采集的图像数据来进行。从图像中提取场路径信息以控制机器人的移动。在现代农业中，绝大多数作物以固定模式种植，每行的间距相对固定。因此，视觉除草机器人通常提取作物行之间的中心线作为其准则。然而，由于作物类型、不同生长阶段、光照条件、土壤颜色等因素的影响，不容易快速准确地确定作物行的位置。

  基于图像处理的导航线提取已得到了广泛的研究和应用。如图5所示，通过图像处理获得导航线常常要图像预处理、图像分割、定位点选择、线拟合等步骤。图像预处理的目的是提高导航线提取的精度。预处理不但可以减少彩色图像的信息冗余，还能够增强植物与土壤背景的对比度。例如，颜色特征很适合于植被分割。这不仅是因为植物的颜色通常是绿色的，还因为在恒定的光照条件下，物体的颜色几乎不会随着其图像大小、方向或部分遮挡而变化。然而，图像的颜色对光照非常敏感。在复杂的照明条件下，图像很难在RGB颜色空间中分割。因此，它们通常在图像预处理阶段从RGB空间转换到另一个空间。

  尽管近年来在机器视觉制导系统的研究方面做出了许多努力，但其通用性和技术可靠性的鲁棒性仍处于较低水平。造成这一困境的最重要原因是除草机器人处于非结构化和动态变化的环境中，基于机器视觉的导航系统面临着大量噪声，例如崎岖的地形、不一样的形状、大小和颜色的植物。因此，开发具有高可靠性的导航系统并不简单，而是极具挑战性的。同时，应该指出，高精度全球定位系统（GPS）和日益流行的激光雷达技术为野外除草机器人导航系统提供了新的选择。机器视觉与GPS或激光雷达相结合，为除草机器人设计高效的导航系统，可能是未来发展的一个重要趋势。

  世界上有5万多种杂草，其中数十种严重危害农作物。杂草的种类因地而异。通常，视觉除草机器人不关心杂草的类型。研究人员经常将杂草检测问题转化为二元或多重分类问题。传统的ML和DL技术通常被用作杂草检测的主要方法。

  基于ML的杂草检验测试过程可分为四个步骤：预处理、分割、特征提取和分类，如图6所示。与视觉导航类似，图像分割通过有效的分割方法提取目标区域，然后生成掩模以去除原始图像中的背景并获得农作物或杂草的目标图像。不同植物的形状、颜色和空间位置之间的图像特征存在非常明显差异。通过这一些特征可以区分杂草和作物。用于区分杂草和作物的视觉特征可分为生物形态、光谱特征、视觉纹理和空间背景。由于农田环境的复杂性，基于单一特征的杂草识别存在精度低、可靠性和稳定能力差的问题。为了更好的提高杂草识别的鲁棒性，基于多特征融合的方法受到了慢慢的变多的关注。

  基于ML的杂草检测的最后一步是从提取的特征中形成特征集，用于训练分类器。经过训练的分类器能够准确的通过作物和杂草的特征对其进行分类。根据现有参考文献，用于杂草识别的分类器有SVM（Ahmed等人，2012年）、K-means（Tang等人，2017年）、ANN（Sabzi等人，2018年）、随机森林（Lottes等人，2017）、贝叶斯分类器（García-Santillán和Pajares，2018年），AdaBoost（Ahmad等人，2018）等。

  传统ML技术需要相当多的专业相关知识才能从原始数据构建特征提取器。相反，DL包括特征提取网络，该网络不手动提取杂草识别和检测的特征。基于DL的杂草检测的新方法可分为图像分类方法、目标检测的新方法、语义分割方法和实例分割方法。基于图像的分类是一种在线方法，它在单个植物级别对输入图像进行分类，检测图像中包含的植物种类，并区分杂草和作物。对象检测的新方法生成一系列边界框以框出输入图像中包含的对象，并提供其对为框对象选择的类别的置信度。语义分割等同于在像素级区分不同的对象。基于语义分割的杂草检测通常将输入图像中的每个像素标记为作物、杂草或背景。实例分割不需要标记每个像素；它只需要找到感兴趣对象的边缘，类似于对象检测。不同之处在于，输出不再是边界框，而是对象的遮罩。

  DL方法常常要许多数据样本。在训练网络模型之前，研究人员通常通过数据增强技术来增强样本，以避免小样本数据训练导致的模型过度拟合。常用的数据增强方法有旋转、平移、镜像、大小变换、亮度变换、去噪、图像均衡和图像合成。例如，Gao等人（2020年）使用了77幅包含单个对象的原始图像，并通过数据增强获得了2271幅合成图像，这大大扩展了现有数据集，避免了模型过度拟合的风险。

  与基于ML的方法相比，基于DL的杂草检测算法通常更稳健，更容易实现端到端检测。因此，基于DL的方法可能会逐渐取代基于ML的方法，成为未来杂草检测的主要研究方向。必须要格外注意的是，两者都需要足够的图像来训练拥有非常良好泛化能力的模型，但缺乏大型数据集是该行业的一个主体问题。此外，现有的杂草检测算法在准确性和速度方面仍然不足。因此，未来的杂草检测仍面临许多挑战。

  特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。

  2024年养老金调整方案：3200元以下涨300元，6200元以上停止涨幅

  Angelababy母子聚餐造型被扒，一身行头超5万，衣服是张子萱家的

  11月卖了快5万台，均价在30万，为啥这么多人在买特斯拉Model Y?

  姐姐拿黑笔在弟弟和自己脸上画画，妈妈过来看到后惊呆了，姐姐：看看我的杰作满意吗

  一年级小朋友课间练习打拳，几个好朋友之间互相切磋，指导老师：他们诠释了什么叫热爱

  两岁宝宝牵着马晃晃您悠走，马儿温顺慢悠悠跟着走，狗子在一旁时刻警戒保护小主人。

  华大集团CEO尹烨：我们是历史上寿命最长一代人，也是技术上接近了永生的第一代人