DOI:
农田机器人视觉导航提取算法分析—基于暗原色
1引言
当前我国普遍使用直线扫描方法检测农作物的导航线，利用颜色空间模型在农田视觉导航线算法中的图像进行灰度化处理，是基于暗原色原理的办法。一般选择随机算法、Hough变换、直线扫描方法的导航线提取法进行，基于YCrCg颜色模型的算法、2G-R-B超绿模型算法、基于HSI颜色模型的H分量算法选取农田色彩片段[1]。研究人员在农田通过矩阵的变换，从而得到Cg分量，其原理是基于YCrCg颜色模型的规则，把RGB颜色空间转变为YUV颜色空间，对农田导航图像进行分割，此类方法具有强抗干扰性、准确度高的优点，但是需要设置步长参数，测量工作量加大，不适合大范围推广等缺点[2]；在农田导航线中提取绿色分量时使用2G-R-B归一化为参考基准，将土壤与田间农作物背景精确分割。对于不是绿色的农作物来说虽然有利于作物检测，能区分土壤与农作物，但是需要消耗的时间过长，区分效果不明显；研究人员利用H模型分量的算法将HSI色调空间分离为三个分量，这样把H色调分量将分割完毕，此种方法虽然可有效防止噪音的污染，不受光照的影响，但是耗时较长且不利于农田导航图像的分割[3]；随机算法为二值图像的裁剪行区域选择配准点，随机选择任意两个点确定可能检测到的直线，在一定范围内对直线上的点进行计数，如果满足要求则提取直线[4]。Hough变换方法是以二值图像作为农作物的导航线，hough变换的的方式虽然时效性差、运行效率低下，但其稳定性能较好；随机算法与hough变换相比，降低了操作难度，但受随机选择点的制约[5]。由此可见，在对非绿色农田环境下，部分方法无法适用于此环境，例如，播种时的农田、幼苗时期、成熟收割期等，在此期间土壤及非绿色的农作物受到此类方法的制约。此外，线性扫描主要受图像分割的效果影响，无法满足线性扫描对图像的稳定性能需求。在此，研究人员利用垂直影像的提取办法，将需要图像反应的农田区域选为拍摄区域，使用最大类间方差法（Otsu）把该农田区域图像进行过滤分割处理，其中形态学的图像滤波法起到重要作用，基于暗原色视觉导航线的提取算法能快速提取农业机械的视觉图像，主要是利用暗原色的灰度化变化原理，之后选取改实验田的选点导航线的最小二乘拟合得到最终的视觉导航线。
2图像预处理与分割
我国智能导航技术在农业田间的应用技术越发成熟，在各类农田场景中，图像处理技术已能较为准确迅速的描绘田间场景的地貌特征。在大量数据及信息处理过程中发现，因农田种植作物复杂及地形的多变，灰度化处理的视觉导航线无法应变图像处理及分割。要想针对重点观察农田进行图像处理及有效分割，就需加快对农田导航线信息的提取速度，相比于灰度化处理技术，农田导航线的图像预处理技术，清晰的把土壤及农作物区分开，不受白天或者夜晚光照的影响，但是，当农作物不是绿色时，此方法失去其效应。二值图像是指土壤与农作分开后，利用直线扫描的方法形成的图像，以相等面积的三角形为基准，把其分为左右两部分进行扫描，并且按照相等的步长，通过农作物的特征进行图像扫描工作[6]。
2.1农田图像的暗原色灰度化
在农田导航线成像时，天空部分的航线一般不会被拍摄进图像中，且农田中的农作物大多都是鲜艳的颜色，例如绿色，只有极少部分的农作物呈现出暗淡的颜色。因此，以暗原色原理农田图像中，假如农作物表面颜色较为鲜艳，或者农作物表面颜色暗淡，RGB三个通道中的任意通道值，在物体表面形成的通道值非常的小，农田成像后的暗原色图像较为灰暗。直接导致土壤的暗原色图像及农作物暗原色图像，必然有一方成暗淡的灰色，这就是农田图像灰度化的暗原色原理[7]。
通常认为颜色是由蓝、红、绿三种原色组成，在该实验中，通过三原色中假设该三点颜色值为RGB（r，g，b），使用三原色的规则计算假设三点的值为gray，因此，当使用gray表示三点值时，形成新的颜色及得到该点的灰度值，即RGB(gray,gray,gray）[8]。
上述基于灰度化规则及暗原色原理，使农业机器人的视觉导航线能被广泛应用到农业生产中，研究人员把农田导航线影像进行灰度化及暗原色原理处理工作，使其适用范围更加广泛，此过程被定义为“图像的暗原色灰度化处理”。
第一：研究人员在选中的试验田中输入导航线图像“I”，对暗通道的原理进行数字定义，其中暗通道中的每个像素点的表达式为：
EMBED Equation.KSEE3 \* MERGEFORMAT (1)
上述公式中，(x,y)表示I c(x,y)中颜色通道的像素坐标，在I dark(x,y)中的(x,y)表示在暗原色同道中人的像素坐标。
对上述公式中的三个颜色通道进行数值大小的的比对，把三个颜色通道标记为I r(x,y)，I g(x,y)，I b(x,y)。I中的所有像素按照（1）式中每个像素的灰度值进行比对，最后得出的结果就是暗原色灰度化图像值Idark。
在Matlab(R2010b)软件的帮助下，为测试暗原色灰度化方法的性能，并对此图像提出评价，对比2G-R-B超绿模型算法与暗原色灰度化图像的计算时间，以及与归一化直方图特性的表现。如下图（1）所示，其中（b）、（c）分别对应（a）中的2G-R-B超绿农作物农田图像与灰度化图像，图（1）中的（a）转换到（b）、（c）的时间分别为0.532 s与4.267 s。在图（b）中的直方图可看出该农田波峰波谷较为明显，与（c）图中直方图相比，其阀域值的分割更加容易进行。通过图1灰度化转换结果的图像可看出，对农田的土壤及绿色植物明显的区分，可使用暗原色灰度化得图像技术来完成，同时可见，在使用2g-r-b超绿模型算法的灰度化图像，也可区分农田土壤及绿色植物，但针对绿色植物部分的轮廓较为模糊，不够清楚，极大地影响了农田原始图像信息的反馈。因此，2g-r-b超绿模型算法相比于暗原色灰度化图像处理法，运行速度较慢且不利于土壤及绿色植物部分的区分。
图1灰度转换结果(a)原图像；(b)暗原色灰度图；(c)2G-R-B灰度图
Fig.1 Grayscale conversion result (a) original image;(b) grayscale images of dark primary colors;(c) 2 g – R – B grayscale
在日常生活中，不仅存在绿色农田环境，还有许多非绿色作物的农田环境，以至于暗原色灰度化处理图像的方法在非绿色农田环境中的应用推广也较为重要。
如下图（2）所示，是非绿色农田环境较为典型的图像特征。图（b）是图（a）基于暗原色灰度化处理后的图像，当对图（a）及图（b）的图像进行暗原色灰度化处理变换时，2g-r-b超绿模型算法在绿色模型转换过程中失去效用，如图（c）所示。由此可见，把图（a）分别转换为图（b）及图（C）时，其转换时间分别为：0.956 s与2.827 s。且图（b）中的波峰及波谷起伏较为明显。因此在使用暗原色灰度化转换方法的时候，需因地制宜的利用不同环境，以及满足在农田导航线图像的适用性及时效性。
图2暗原色灰度转换结果(a)原图像；(b)暗原色灰度图；(c)2G-R-B灰度图；
(d)暗原色灰度直方图；(e)2G-R-B灰度直方图
Fig.2 Grayscale conversion result of dark primary color (a) original image;(b) grayscale images of dark primary colors;(c) 2g-r-b grayscale;
(d) gray histogram of dark primary colors;(e) 2g-r-b gray histogram
2.2基于形态学滤波和Otsu法的图像分割
基于导航线图像为Idark时，首先，对圆盘型使用半径（r）为3pixel的结构进行腐蚀化处理，其次，对导航线图像Idark在窗口半径为3pixel*3pixel进行滤波中值处理，最后，对圆盘型的结构进行膨胀处理，在暗原色灰度化处理后的If图像进行滤波处理。此过程的暗原色灰度化处理按照“腐蚀-滤波-膨胀”的顺序进行处理后，极大地降低了在拍摄过程中的潜在干扰性因素。
上述处理后，利用Otsu法对图像进行二值化的处理，从图1中可看出，把得到的图像进行二值化处理后，是利用阀域值的分割方法，基于暗原色灰度化图像的处理。在对光照及各类环境、显示器亮度不同等因素的影响下，农田图像会对拍摄目标及背景产生较大的差异，因此，对上述情况，采用全局适应阀域值K对暗原色图像进行分割，其算式表示为：
EMBED Equation.KSEE3 \* MERGEFORMAT (2)
上式中的μ、λ0、λ1分别表示为图像的总平均灰度、前景所占比例、后景所占比例；δ2(k)、k0、μ0、μ1分别代表前景与背景的方差、最佳阈值、前景灰度平均值以及背景灰度平均值。通过下列算式，按照（3）式中每个像素判断If灰度图像，即可得到二值图像Ibc：
EMBED Equation.KSEE3 \* MERGEFORMAT （3）
为除去二值图像中的噪声、缺株少苗、颗粒状噪声等干扰情况出现，因此，根据试验田的特征及使用的形态学方法对二值图像进行滤波处理，可清楚的去除二值图像中的干扰因素。
选用半径为5 pixel的圆盘型结构进行处理，得到了Ib处理后的最终图像，其是使用形态学闭运算对5 pixel×1pixel的结构进行处理。这样不仅极大地提高了整体运算方法的稳定性能，极易去除二值图像中的模糊部分，把需要探测的农田区域通过纵向结构完全表现出来，很高的覆盖了田间作物背景中的空洞。
3基于垂直投影法的中心导航线提取
下图（3）是农田机器人在导向线提取过程中的二值图像。通常在导航线提取图像的过程主要分为三步：1、使用垂直投影技术（a1）提取农田中需提取的区域图像（a2）；2、得到导航定位点后，如图（b）所示，进行点对图像的标记；3、基于最小二乘法提取农田中需要提取的区域，进行导航线图像的合成，如下图（c）。
图3二值图像导航线提取过程(a1)垂直投影图；(a2)感兴趣区域；(b)定位点；(c)导航线
Fig.3 Extraction process of binary image navigation line (a1)(a2) area of interest;(b) registration point;(c) navigation line
3.1感兴趣区域提取
通常在使用农机器具时，正前方向是摄像头的拍摄方向，其使用的摄像工具与农机具行驶方向的视野一致，并且在行驶过程中一般是垄间区域作为摄像头的导航区域。在二值图像中，把农作物标记为黑色的区域，垄间的土壤及农作物植株间的空白区域标记为白色区域，采用垂直影像的方法对白色标记区域进行投影处理，根据此特点，农机器具行驶中就可得到想提取区域的导航线。
3.2导航定位点提取
要确定导航区间的中间定位点，需要将二值图像分割为n个不同的水平图像，在此过程中为减少计算数量，相对的水平像素不宜设置过多。假如所取图像的规格为M pixel×N pixel，分别对取得的水平图像进行垂直投影，找到垂直图像中的最高区域位置，在众多水平图像中选取一个中间值，对这些区域内的横坐标求取平均值，从而能准备确定导航定位点。
4实验结果与分析
通过Matlab2010(b)软件，在Windows 7操作系统下使用3 GHz PC机对其进行仿真实验。分别采用680 pixel×450 pixel与500 pixel×300 pixel之间的像素进行对比实验，防止因摄像机的差异，导致在导航线拍摄图像时的规格不同。利用不同类型的图像进行农田实验对比，分别用试验田的非绿色农作物图像、绿色农作物图像等作为参考。以对上述提及的图像处理方法对绿色及非绿色试验田的适用性及影响元素进行检测。下图4表示在不同绿色试验田环境下的导航线图像；图5是不同环境下非绿色农田导航线提取的结果。
由此可见，上述中各种算法都能针对不同环境的农田做出精准的图像提取结果，都具有普遍的实用性及较高的清晰度。但针对不同天气情况，各类农田导航线算法在阴天及晴天中的适应力，通过验证得到更准确的适应农机具导航线的算法。
图4不同环境的绿色农田导航线提取结果
Fig.4 Extraction results of green farmland navigation lines in different environments
图5不同环境的非绿色农田导航线提取结果
Fig.5 extraction results of non-green farmland navigation lines in different environments
在Matlab2010(b)软件环境下，利用上述所提到的算法以及传统的hough变换法，针对50幅图像中导航线成像所消耗的时间及效率进行统计，在各阶段的对比结果中可知导航线的效率，如下表1所示。基于暗原色灰度化转换时时间消耗的值是2G-R-B超绿模型算法平均消耗的5倍，在所有算法中，hough的算法是时间消耗最高的。由此可见，此实验在C语言环境下运行后，利用Matlab2010软件环境下操作其算法最少提高了10倍，极大地满足了农田导航线图像处理的实时性需求。综上所述，在上述实验中的算法相比与传统的hough变化来说较为迅捷，也充分满足了导航线测试的实时性及适用性，在不同农田环境下，对图像结果的影响不大，因此这些算法在农机具小机器人视觉导航线系统中具有重要的地位，这些算法都具备广泛的实用性能。
表1导航线提取所耗时间统计表
Tab.1 Navigation line extraction time statistics table
Method
Dark channel
2G-R-B
Proposed method
Houghtransformation
Averagetimeloss/s
0.744
3.547
1.325
4.274
图6中不同算法导航线提取结果在对所提算法、SF算法、Hough变换算法等，进行对比实验发现，红色线表示导航线。通过实验表明，上述算法都可以对不同环境农田需提取部分的图像进行精确的导航线提取。从表2的数据中可以看出，此4中算法的直线参数都进行的比较，其中斜率最大差为1.8711，截距最大差为672.3926，从表2中可看出，上述算法的直线参数与其他三种相比差值最小，满足农田机器人视觉导航线所需的精确要求。
为验证上述算法的稳定性能与抗干扰性能，对实验环境中大量积水环境、大雾天气、农机具震动等各类干扰环境进行是针对性的实验。发现如图6实验图像所示，基于灰度化图像在去雾算法中得到了广泛的应用，且导向线图像效果较好，因此提出的(a)、(b)图像中所显示的算法可以通过农机具的运行情况对阴天及晴天环境下的图像进行对比，在图6中如(c)、(d)所示，对试验田在无水及有水环境下的图像进行对比后，不同算法导航线提取结果发现，有水或无水环境下的农田对灰度化处理导航线的提取结果的影响较低，但是基于暗原色灰度化图像处理后，农机具震动及大雾天气的环境对导航线提取算法具有干扰性。
图6不同算法导航线提取结果(a)所提算法；(b)SF算法；(c)Hough变换算法；
(d)随机算法
Fig. 6 Navigation line extraction results of different algorithms (a) proposed algorithm;SF (b) algorithm;(c)Hough transformation algorithm;
(d) random algorithm
表2不同算法直线参数比较
Tab.2 Comparison of linear parameters of different algorithms
Method
Slope a
Intercept b
Proposed method
-0.0134
327.0222
SF method
0.3764
337.6437
Hough transformation
-0.5168
348.9507
Random algorithm
-1.8711
672.3926
5结论
通过对图像进行灰度化处理分割，对这几种方法分别进行对比实验，看起是否能稳定高效的区分土壤及绿色农作物的区分。根据农机器具的航行路线发现其位置特点，利用垂直投影的办法得到中心导航线，以各个垄区为定位点确定hough变换提取法的导航。实验发现，这里中方法都能快速有效的提取农田导航线，并对各种环境具有一定的抗干扰性，其精度极大地满足了农机器具在视觉导航上的需求，具有广泛的适用性能。
参 考 文 献
郦淼良.基于单目视觉农田机器人导航控制系统的研究与实现[D]. 浙江理工大学.2017（3）.
Li Miaoliang. Research and Implementation of the Agricultural Robot Navigation Control Svstem Based on Monocular Vision[D]. Zhengjiang sci-tech university, 2017(3).
王强军.基于ROS的除草机器人视觉导航技术研究[D].哈尔滨工程大学.2017（1）.
Wang Qiangjun. Research on vision navigation technology of weeding robot based on ROS[D]. Harbin Engineering University.2017（1）.
张振亚,曾鹏,卢宝琪.基于ROS系统的家政服务机器人视觉导航识别算法[J].福建电脑,2018,v.34(07):7-9+29.
Zhang zhenya, Zeng peng, Lu baoqietal. Research Visual navigation recognition algorithm of household service robot based on ROS system[J]. Fujian Computer,2018,v.34(07):7-9+29.
[4]钟映春,刘阿明,谢仁亮.基于机器视觉的室内移动机器人导航偏转角的确定[J].组合机床与自动化加工技术,2017(4).
Zhong yingchun, Liu amin, Xie renliang. The Determination of Navigation Deflection Angle for Machine Vision-based Indoor Mobile Robots[J]. Modular Machine Tool & Automatic Manufacturing Technique, 2017(4).
[5]高明镜,郭杭,漆钰晖.基于视觉的机器人组合导航方法综述[C],卫星导航定位与北斗系统应用.2018(8).
Gao mingjing, Guo hang,Qi yuhui. Overview of Integrated Robot Navigation Methods Based on Vision[C]. GNSS LBS and BeiDou System Applications, 2018(8).
[6]张群,宋健,曹高华,etal.视觉导航温室机器人路径识别算法与实验[J].实验室研究与探索,2018,v.37;No.267(05):22-24+49.
Zhang qun, Song jian, Cao gaohua,etal. Path Recognition Algorithm and Experiment of Visual Navigation Greenhouse Robot[J]. Research and Exploration in Laboratory, 2018,v.37; No.267(05):22-24+49.
[7]陈慧.农业温室机器人视觉导航技术的研究[D].天津理工大学,2017（2）.
Chenhui. Research on Robot Visual Navigation of Agricultural Greenhouse[D]. TianJin University of Technology, 2017(2) .
谷利芬, 谢芳. 基于多跳无线网络和机器视觉的新式采摘机器人设计[J]. 农机化研究, 2018, 40(3).
Gu Lifen, Xie Fang. Design of a New Picking Ｒobot Based on Multi Hop Wireless Network and Machine Vision [J]. Journal of Agricultural Mechanization Research, 2018, 40(3).
Field robot visual navigation extraction algorithm analysis —— Based on dark primary colors
Liu Yuan 1 ZhaoXu 2
（Hebi vocational college of automobile engineering, HeBi HeNan , 458030）
Abstract:Aiming at the problem that visual navigation line extraction algorithm of agricultural machinery and tools is greatly affected by external environment, and has poor applicability and stability, a dark primary color based visual navigation line extraction algorithm of agricultural machinery and tools is proposed.Based on the principle of dark primary colors, a new gray-scale method of farmland image is proposed to realize better classification of crops and soil in farmland image.Then, morphological method and maximum inter-family variance method are used to binarize and filter the grayscale image, and the navigation region of interest is extracted with the method of vertical projection, so as to determine the navigation anchor point of the region of interest, and the navigation line is obtained by fitting the anchor point with the least square method.Experimental results show that the algorithm is applicable to the extraction of farmland scene and farmland road navigation line under different color conditions. Compared with the traditional algorithm, the accuracy meets the requirements of navigation line and the speed is greatly improved, so it has wider applicability.
Keywords:Machine vision; The navigation line; Dark grey; Agricultural machinery; Farmland environment