欢迎访问杏彩体育平台_(中国)官网登录入口!
  咨询电话:0371--66183155

公司动态

杏彩体育官网除草机器人机器视觉关键技术综述与基准(2)

  杏彩体育官网除草机器人机器视觉关键技术综述与基准(2)据悉,本文回顾了过去30年中提出或构建的典型基于机器视觉的除草机器人,以及一些用于杂草检测的开放数据集。本文为第二部分。

  为了有效地消灭杂草,需要准确的杂草识别方法和适当的杂草控制方法。视觉除草机器人用于清除田间杂草的主要方法有机械除草、化学除草和热除草或电除草。机械除草通常涉及诸如除草耙、扭转除草机、旋转锄头、牵引机构或垂直刷式锄头等方法和装置。Langsenkamp等人开发了一种称为“管道印记”的杂草控制装置,安装在BoniRob机器人上,用于消灭检测到的杂草。Deepfield robotics通过预训练神经网络执行像素级语义图像分割。根据分割结果,路径规划算法随后生成机械除草工具的行进路径。机械除草不需要使用杀虫剂,被认为是最环保的除草方法,但除草装置设计不当会对作物造成无法弥补的损害。

  化学除草主要是通过准确地在杂草上喷洒除草剂来杀死它们并节省农药。Lee等人(1999年)开发了一种精确喷洒系统的原型,该系统由八个独立的喷嘴组成,通过机器视觉在作物行上喷洒除草剂。Utstumo等人在Digo除草机器人上开发了一种新型系统,用于按需喷洒除草剂,并在胡萝卜田进行了田间试验。使用国防部系统,每种杂草的平均滴灌率仅为5.3µg草甘膦。因此,国防部系统有效地节省了农药的使用。化学除草简单实用,但使用化学除草会污染环境。

  热除草和电除草也值得考虑。前者使用高温液体、火焰等摧毁杂草,而后者使用高压、激光等摧毁杂草,这大大缓解了除草剂的滥用。然而,必须大大提高装置的精度,以降低火灾风险。图7显示了上述除草方法的优缺点。

  对于所有场景,没有一种最佳的除草方法。因此,开发人员在选择机器人除草方法之前,应充分利用优势,避免劣势。此外,在AgBot II等一个平台上集成多种除草方法也值得考虑。

  a)来自商业棉田的彩色图像显示了一株“Maxxa”棉花,叶柄附着的叶组织中含有天然红色素,以及一株部分闭塞的莎草植物。杏彩注册b)在机器人杂草控制系统使用的杂草图中,机器人自动绘制带有“X”的细胞图以进行喷洒。

  与基于ML的传统杂草检测方法相比,基于DL的杂草检测方法具有无可比拟的优势,也是解决田间杂草检测问题的主要焦点。基于DL的目标检测算法不仅能够快速检测杂草,而且能够以较高的检测精度标记杂草分布区域。在本节中,为了全面发现各种杂草检测和识别算法之间的差异,我们在带注释的粮食作物和杂草图像数据集上试验并评估了最主流的基线对象检测器。

  在这里,我们提供了八种基于DL的杂草对象检测方法作为基准,其网络结构如图8所示。为了实现这些方法,我们从他们的原始论文中选择默认参数设置。每种方法的细节如下。

  图8 不同基线的网络结构图:(a)更快的R-CNN,(b)YOLOv3,(c)YOLOv4,(d)SSD,(e)中心网,(f)保留网,(g)效率网,(h)YOLOX。

  基于对快速R-CNN的改进,更快的R-CNN放弃了最初的选择性搜索策略,以提取建议区域。相反,引入区域建议网络(RPN)来提取候选区域。RPN完全从数据中学习提出区域,因此RPN可以轻松受益于更深入、更具表现力的特征。将ROI池层添加到最后一个卷积层,并用于为每个区域提案生成固定大小的特征图,如图8(a)所示。Softmax损失和平滑L1损失分别用作分类概率和包围盒回归损失函数。在PAS-CAL VOC 2007 trainval和2012 trainval的联合集上训练RPN和检测网络后,mAP结果为73.2%。

  YOLO系列:2016年,Redmon等人提出了“you only look once”的第一个版本,这是一种卷积神经网络,可以同时预测多个边界框和类别,用于对象检测。YOLO系列算法可以快速实现端到端目标检测。后来的版本提高了检测速度和准确性。在这里,我们选择YOLO v3和YOLOv4作为基线。这些方法在检测精度和速度上有很好的平衡。它们的结构分别示于图8(b)和图8(c)。

  SSD:这是一种用于多个类别的快速单点目标探测器。与其他单阶段框架相比,SSD模型在基础网络的末端添加了几个特征层,可以预测不同尺度和纵横比下默认盒子的偏移量以及盒子的相关置信度,如图8(d)所示。这提高了SSD检测不同大小对象的能力。对于300×300输入图像,SSD在PASCAL VOC2007测试数据集上以每秒59帧(FPS)的速度实现了74.3%的mAP1。

  CenterNet:这是一种自由锚类型的单阶段对象检测框架,简单、快速、准确且端到端可微,无需任何非最大值抑制(NMS)后处理,如图8(e)所示。通过多尺度评估(各种不同分辨率的图像作为输入),具有沙漏-104主干网络的CenterNet可以实现45.1%的AP,优于MS COCO数据集上所有以前的一级检测器。

  RetinaNet:该探测器的构建旨在证明拟议的聚焦损耗在处理类别不平衡方面的有效性。在本研究中,焦点损失被引入分类子网输出上的损失,这使得在存在大量简单背景示例的情况下能够训练高精度密集目标检测器。该架构引入了有效的网络内特征金字塔,并使用锚盒作为对象检测输出,如图8(f)所示。RetinaNet可以与以前的一级探测器的速度匹配,同时超过以前的两级探测器的精度。

  单阶段的RetinaNet网络架构在前馈ResNet架构(a)上使用特征金字塔网络(FPN)骨干来生成丰富的、多尺度卷积特征金字塔(b)。在这个骨干上,RetinaNet附加了两个子网,一个用于分类锚盒(c),一个用于从锚盒回归到地面真实对象盒(d)。这使得这项工作专注于一种新的焦点损失功能,消除了我们的一级探测器和最先进的二级探测器之间的精度差距,如更快的R-CNN与FPN,同时运行更快的速度。

  EfficientDet:这是一种可扩展的对象检测器,可联合扩展所有主干、特征网络和盒/类预测网络的分辨率/深度/宽度。作者认为,在考虑准确性和效率时,放大特征网络和盒/类预测网络是至关重要的。此外,EfficientDet引入了加权双向特征金字塔网络(BiFPN),该网络允许轻松快速的多尺度特征融合,如图8(g)所示。与以前的目标检测方案相比,EfficientDet以更少的参数实现了最先进的精度。EfficientDet-D7在COCO test-dev上实现了52.2 AP。

  YOLOX:它是一种有效的检测器,基于YOLO系列,在精度和速度方面都具有良好的性能。YOLOX继承了其他先进探测器的优点,使YOLOX成为无锚探测器。将原始检测器的头部替换为解耦的头部,这可以大大提高训练阶段的收敛速度,并在测试阶段获得更好的结果。无锚机制可以显著降低检测头的复杂性以及每个图像的预测数量。这种修改可以减少检测器的参数并提高处理速度。同时,YOLOX也取得了较好的效果。图6(h)显示了YOLOX网络的架构。

  在本文中,所有目标检测网络均使用PyTorch 1.2和Python 3.6构建。这些网络在配备NVIDIA GeForce RTX 2060、3.59 GHz AMD Ryzen 5 3600 6核处理器和16 GB内存的个人计算机上进行了训练和测试。为了加快网络模型的收敛速度,我们选择在MS PASCAL VOC数据集上训练的预训练模型上微调网络。培训分两个阶段进行。我们在第一阶段微调了预测层,然后在第二阶段微调了整个网络的权重。在训练过程中,我们根据不同的网络模型适当调整了相关的初始化参数。

  为了获得最佳结果,每个网络分两个阶段进行训练,每个阶段训练50个历元。如图9所示,在训练过程中记录训练集和验证集中的损失值。

  训练后,对测试图像进行一系列具有最佳训练模型的评估指标,以验证算法的性能。评估杂草识别网络模型有效性的相关指标包括精度(P)、召回率(R)、F1分数(F1)、平均精度(AP)、平均精度(mAP)、推理时间和模型参数。

  利用上述指标,对八个基准模型进行了综合评估。训练后模型的P-R曲线示出了不同模型中的实场图像的检测结果。

  图10 各类杂草检测模型的P-R曲线:(a)作物的P-R曲线,(b)杂草的P-er曲线八个模型的检测结果。(a)根据事实,(b)更快的R-CNN,(c)YOLOv3,(d)YOLOv4,(e)SSD,(f)中心网,(g)视网膜网,(h)效率网,(i)YOLOX。

  基于上述检测结果,在训练阶段,更快的R-CNN、RetinaNet和EfficientSet比YOLO级数和CenterNet具有更快的收敛速度和更低的收敛结果。

  相比之下,YOLO系列、CenterNet和YOLOX在平均检测精度方面优于其他四种型号。YOLOv3、YOLOv4、CenterNet和YOLOX的映射分别为65.02%、69.83%、50.99%和79.63%,相应的推理时间分别为34.2ms、51.7ms、24.0ms和12.0ms。这表明这四种模型不仅具有较高的检测精度,而且在带注释的粮食作物和杂草图像数据集上具有更好的检测速度平衡。值得注意的是,作为行业内最先进检测器的代表,YOLOX在该数据集上的检测精度和检测速度都是最好的。此外,一般来说,参数越少,模型越小,模型速度越快。然而,这种相关性不是绝对的,作为两级探测器,更快的R-CNN比CenterNet和RetinaNet等一级探测器的速度要慢,尽管它们的模型尺寸相当。总的来说,在不改变和优化模型体系结构的情况下,上述基线模型的检测精度在测试数据集上并不令人印象深刻。原因可能是训练样本太少,以及该数据集上测试模型的泛化能力不足。

  近年来,杂草机器人技术引起了研究人员和商业公司的关注,并开发了许多具有应用价值的机器人原型。虽然目前的除草机器人仍处于原型开发阶段,但FarmWise(2020)和Carbon(2021)等机器人公司有逐渐商业化的趋势。然而,现有的除草机器多是为胡萝卜、甜菜和花椰菜等短作物设计的。随着对玉米、高粱、甘蔗等高大作物自动除草需求的不断增加,为高大作物设计除草机器人可能是未来的趋势和挑战。此外,与地面除草机器人相比,无人机在杂草监测和管理方面更加灵活。无人机和地面杂草控制机器人的集成将在未来的研究中充分利用彼此的优势。

  为了促进基于机器视觉的杂草检测算法的发展,已经在互联网上发布了一些数据集。深度杂草数据集用于杂草分类,甜菜数据集2016用于杂草语义分割,Sudars等人构建的数据集用于杂草对象检测。它们在所提供的数据集中具有相对大量的图像,并且适合于开发杂草检测算法。然而,缺乏作物和工业的数据集,特别是缺乏具有基准的大型数据集,如ImageNet和MS COCO。这不利于推动和支持除草机器人杂草检测算法的研究。

  作物成排种植的特点为除草机器人的视觉导航系统提供了方便。然而,由于农田环境的非结构化性质,它受到许多因素的影响,如地形坡度、土壤类型、杂草高度、作物间隙(作物缺失)、作物外观等。应该注意的是,多传感器融合技术可能是未来提高机器人自主导航稳定性的关键,特别是在地形变化较大的农田中。将视觉导航与GPS定位和激光雷达技术相结合将是一个不错的选择。

  用于检测生长在狗牙根草中的水刺草属、蛇舌草属和粗毛里氏菌的图像分类DCNN示意图:(A)不同生长阶段和杂草密度的水刺草属、蛇眼草属和细毛里氏杆菌的图像;(B)不同草坪草管理制度、割草高度和表面条件下的狗牙根的图像,(C)包含真阴性(无杂草图像)和真阳性(有杂草图像)图像的训练数据集,(D)将测试图像裁剪成9个子图像,分辨率为640 × 360像素。缩写:DCNN,深度卷积神经网络。

  在理想条件下,最新的杂草检测算法已达到高精度。在真实的农田环境中,检测精度会因自然光、植物遮挡、重叠叶片、害虫引起的植物表型变化、天气条件等因素而降低。此外,基于ML和DL的杂草检测算法需要具有高计算能力的边缘设备。因此,值得考虑降低材料成本,同时确保检测的准确性和速度。而不同类型和不同生长期的杂草在形状和结构上有很大的差异,但目前的大多数杂草检测算法仅用于检测农田中的杂草。当除草机器人的工作条件发生变化时,它必须以繁琐而长的周期重新训练其模型。因此,迫切需要开发一种具有较强泛化能力和良好灵活性的杂草检测算法。需要再次指出的是,杏彩网站登录缺乏公共大型数据集在一定程度上阻碍了杂草检测算法的发展。从我们的基准测试中还可以看出,由于训练样本太少,许多最先进的检测模型的测试精度较低。更快的R-CNN、SSD、视网膜网和效率网在训练阶段表现良好,但在测试阶段表现不佳。

  机械除草、化学除草和热除草或电除草是最常见的除草方法。就定向除草方法而言,虽然化学除草方法具有实施简单和高效的优点,但随着人类对食品安全和健康的认识,减少甚至取代农药已成为社会共识。机械除草目前可能被认为是最可行的除草方法。值得注意的是,不可预测的精度损失将导致实际作物受损、作物感染、生长受损和产量下降。在许多方面,定向除草性能取决于除草机结构及其控制算法的设计。因此,其他创新的除草方法也值得探索,例如激光。

  本文重点介绍了除草机器人的关键技术:(1)总结了基于机器视觉的导航技术的过程和常用方法。(2)对基于机器视觉的杂草检测算法进行了总结和分类。(3)对不同的定向除草技术进行了分类和比较。它通过提供除草机器人和杂草检测算法应用方面的最新进展报告,为农业领域的研究人员和实践者提供了指南。根据对许多除草机器人工作的回顾和讨论,证明了视觉除草机器人具有高度复杂的设计和结构,因为需要与环境进行密集的交互。因此,需要更多的研究工作。此外,有强有力的证据表明,除草机器人技术在杂草控制方面有很大潜力逐步取代人工,显示出良好的商业应用前景。视觉导航、杂草检测和定向除草仍然是当前研究的重点。杂草检测技术是设计除草机器人的关键,也是当前精准农业的研究热点。为了促进DL算法的发展及其在杂草检测中的应用,我们基于公共数据集构建了一个新的基准,并对杂草检测算法进行了综合评估,以展示不同类型算法的杂草检测性能。实验结果表明,YOLOX检测器具有更好的性能,在精度和速度上优于其他基线检测器。YOLOX图为79.63%,相应的推断时间为每幅图像12.0ms。本研究为今后相关算法的研究提供了参考。



杏彩体育

联系我们

杏彩体育平台_(中国)官网登录入口

电话:0371--66183155

手机:13838397968

邮箱:请咨询平台在线客服

联系人:杏彩体育管理员

地址:杏彩体育·(中国)官方网站