采摘機器人分割與識別算法的研究現狀

　　摘要：針對人工采摘效率低、成本高且勞動力缺乏的問題，利用采摘機器人實現果實的自動化采摘日益成為研究的熱點。視覺識別作為采摘機器人的關鍵技術之一，其發展對實現自動化采摘具有重要意義。采摘環境的復雜性為機器人正確識別目標帶來了困難，使得目前的識別算法研究仍面臨著較大的挑戰。本文闡述了常見的幾種目標分割識別算法，并將其歸納為基于特征、像素和深度學習的三類識別方法，綜述了國內外學者在采摘機器人識別目標時應用到的分割和識別算法，并對目前存在的問題進行總結，同時對今后的研究趨勢進行展望，以期為采摘機器人的研究設計提供參考。

　　李天華; 孫萌; 婁偉; 張觀山; 李玉華; 李欽正， 山東農業科學 發表時間：2021-10-15

　　關鍵詞：采摘機器人;分割算法;識別算法

　　采摘是果蔬生產的重要環節之一，需要消耗大量的人力、物力。隨著生活水平的提高，人們對果蔬的需求量逐年上升，而與之相對的是勞動力嚴重缺乏的問題。根據測算，我國自 2000 年開始逐漸進入人口老齡化階段，老齡化趨勢日益嚴重，預計到 2025 年人口老齡化率達到 14%，進入深度老齡化社會階段，到 2035 年達到 21%，進入超級老齡化社會階段[1];另外，隨著農村人口逐漸向城市流動等問題，農村勞動力流失嚴重，勞動成本不斷提高。因此，實現智能化采摘對于我國果蔬產業可持續發展尤為迫切，采摘機器人的研發成為當前研究的熱點。對于采摘機器人來說，要準確高效地完成目標果實的采摘，識別是關鍵，直接影響采摘的效率和精度。

　　人類對于采摘機器人識別技術的研究從很早就已經開始了，1968 年 Schertz 和 Brown[2]就將機器視覺引入到了果實的識別中，1977 年 Parrish 等[3]建立了第一個用于識別蘋果的視覺系統。近年來有關分割識別算法的研究也有很多，這對于提升采摘機器人的識別準確性具有重要意義。但實際生產應用的采摘環境復雜，影響識別準確性的因素較多，如何精準識別目標果實仍是目前亟待解決的問題，這使得采摘機器人仍難以廣泛應用到實際采摘中。本文綜述了近年來用于采摘機器人的識別分割算法，分析了目前仍面臨的問題與挑戰，并對未來分割識別算法的發展趨勢進行了展望。

　　1 基于特征的識別

　　通常我們在分辨一個物體是不是需要的目標時，先會利用其顏色、形狀以及紋理等特征進行直觀判斷。因此，在設計采摘機器人對目標進行識別時，最直接的方式就是對目標特征進行匹配，其中最常用的是基于顏色和形狀特征的分割識別算法。

　　1.1 基于顏色特征的分割識別算法

　　如果目標果實自身的顏色與背景相差較大，顏色就是區分目標與復雜自然背景最突出的特征之一，利用該特征，選用合適的顏色空間，就可從圖像中提取出目標果實區域。

　　常用的基礎顏色空間有 RGB、HIS、Lab、YIQ、YUV、HSV 等，選擇或構造能使目標果實與背景顏色差異明顯的顏色通道，就可以有效地分割出圖像中的目標果實區域[4]。如 Thendral 等[5]基于 YIQ、Lab 等顏色空間對目標果實進行了分割與識別;Feng 等[6]基于 HIS 顏色空間對圖像進行了識別;王曉楠等[7]基于 HIS 色彩模型對圖像進行了分割識別;Malik 等[8]基于改進的 HSV 將紅色番茄從背景中識別出來;Ling 等[9]通過對 RGB 圖像進行顏色分析，結合分類器實現了番茄的檢測識別。

　　由于基礎的顏色空間對某些目標的識別效果會受到光照環境的影響，為了降低這種影響，改善識別效果，有些學者通過對顏色通道進行加權運算或組合等處理，突出需要識別的目標，從而提高識別精度。如 Zhou 等[10] 提出了一種基于色差 R-B 和 G-R 的蘋果識別算法，用 R-B>40 識別偏綠的蘋果，R-G>0 識別紅色的蘋果;麥春艷等[11]利用色差 R-G 將目標蘋果圖像從背景中識別出來;董建民等[12]通過融合 HSI 顏色空間和 Lab 顏色空間的分割結果完成對番茄的識別。

　　通過顏色特征直接分割識別自身顏色與背景差異較大的目標果實，只需按照基礎顏色空間中的顏色通道進行分割，不需要經過建模等過程就可以達到較好識別效果，具有運行速度快、準確度較高、實時性較高等特點。而對于一些在單一基礎顏色空間中無法達到較好識別效果的目標，可以通過對顏色通道進行組合等處理獲得較好地識別效果，但不同顏色通道的組合過程比較困難，且適用的目標有限。

　　1.2 基于形狀特征的分割識別算法

　　形狀也是識別分割果實的重要特征性狀，因此利用形狀特征對采摘目標進行識別分割可行。常用的分割識別算法有三種：基于曲率的算法、基于邊緣信息的邊緣檢測、基于任意規則幾何形狀的霍夫變換。

　　對于輪廓為弧形的果實，如柑橘、番茄等，可以通過曲率信息或直接利用圓形特征對目標進行識別。Xiang 等[13]基于邊緣曲率分析與圓回歸相結合的方法實現了對相互粘附的番茄的識別。Si 等[14]基于隨機環法(RRM)從輪廓圖像中提取果形特征。孫建桐等[15]以串收番茄為研究對象，在圖像預處理的基礎上，提出一種基于幾何形態學和迭代隨機圓相結合的目標提取算法。劉妤等[16]通過一種基于輪廓曲率和距離分析的分割方法，實現了重疊柑橘的識別。

　　當目標與背景的亮度差異較明顯時，邊緣信息也可作為圖像分割識別的基本特征之一。常用的邊緣檢測算子主要有 Canny 算子、Prewitt 算子等[4]。Fu 等[17]采用 Canny 算子等傳統的圖像處理方法實現了目標果實的檢測。劉現等[18]基于 Canny 邊緣算子對福橘進行檢測，提升了福橘智能分選的效率。陳禮鵬等[19]通過對去除了小面積區域后的圖像進行 Prewitt 算子邊緣檢測，完成了對多目標獼猴桃果實的識別分割。

　　此外，對于規則幾何形狀果實還有一種常用的算法——霍夫變換檢測，其通過線條特征來判別形狀的種類，可檢測任意給定的幾何形狀，通常與邊緣檢測算子一起使用。周文靜等[20]利用圓形 Hough 變換(CHT)對葡萄果粒進行了識別;Gongal 等[21]使用圓形 Hough 變換對圖像中的蘋果目標進行了分割識別。當采摘點為果實的果梗部分時，霍夫變換也可用來定位采摘點。如熊俊濤等[22]利用霍夫直線擬合結合角度約束法找到主穗梗所對應的直線，并將直線的中點確認為采摘點，實現了擾動葡萄采摘點的定位。

　　基于果實形狀特征的分割識別算法應用廣泛，此處比較了三類常用算法的優缺點，如表 1 所示。

　　2 基于像素的識別

　　基于像素對圖像進行處理也可以實現對目標物的分割識別。一般需將采集的原始圖轉換成灰度圖，即對像素值進行 0 或 1 轉換形成二值化圖像，此時的灰度值即為像素值。常用的基于像素的分割識別方法有閾值分割法、區域生長法以及歸一化識別算法。

　　2.1 基于閾值的分割識別算法

　　對于目標和背景占據不同灰度級范圍的圖像，可以使用閾值分割算法，包括固定閾值分割和動態閾值分割兩種方法。閾值分割只適用于灰度圖，因此需要先對采集的圖像進行灰度處理。Xu 等[23]利用 HSV 顏色信息識別目標草莓，并通過固定閾值實現了草莓圖像的分割。

　　動態閾值分割法中最常用的是最大類間方差算法(Otsu)，其通過計算方差尋找灰度級，將圖像分成兩個部分，使得同部分間的灰度值差異最小，而不同部分間的灰度值差異最大，從而實現目標的分割。Lü 等[24]利用 Otsu 對蘋果圖像進行了分割識別。Dai 等[25]在進行了 2R-GB 色差法灰度值變換后，采用自適應閾值 Otsu 算法對圖像進行了分割。梁喜鳳等[26]通過對 R-G 直方圖采用 Otsu 進行動態閾值分割，實現了對目標果實串的分割。王冰心等[27]通過Otsu動態閾值分割法對果實簇區域進行了分割識別。齊銳麗等[28]通過HSV空間的H分量與改進的Otsu 算法相結合的方式，實現了花椒圖像的分割。

　　固定閾值分割算法的處理速度快，實時性較好，但其對于光照變化的適應能力有限，而大多數采摘機器人的工作環境較為復雜，外界光照條件變化較多，因此固定閾值算法的分割效果往往欠佳。而動態閾值分割法的閾值是通過計算得出的，會隨著光照的變換而動態計算合適的閾值，受亮度等的影響較小，適用范圍更加廣泛。張日升等[29]在利用閾值分割法對滸苔進行識別時發現，固定閾值法的分割精度較低，而 Otsu 的分割效果較好(圖 1)。

　　2.2 基于歸一化法的識別算法

　　歸一化互相關匹配(NCC)是基于灰度特征的匹配方法中比較經典的算法，其基本原理是將模板圖像與待搜索圖像的灰度矩陣進行比較，得到相關性最高的匹配位置。歸一化互相關匹配算法具有較好的魯棒性和很高的匹配精度，但是計算量很大，不能滿足實時性要求較高的系統[30]。因此在實際應用于采摘機器人時，通常要根據采摘需求對 NCC 進行改進。趙德安等[31]通過對圖像進行快速歸一化匹配，實現了對重疊果實的跟蹤識別。 Li 等[32]利用基于快速歸一化互相關的方法，利用室外采集的彩色圖像對未成熟的綠色柑橘進行了識別。李寒等 [33]利用快速歸一化互相關函數算法對綠熟番茄果實的潛在區域進行檢測，實現了對目標果實的識別。呂繼東等 [34-35]采用 Fast Inverse Square Root 算法和快速哈特萊變換對去均值的歸一化相關匹配算法進行加速優化，并用于識別目標果實，減少了振蕩果實動態識別的匹配識別時間。

　　改進后的歸一化算法運行速度有所提高，而且對于采集目標發生的較小的移動或旋轉，以及光照變化帶來的色差等問題適應能力較強，通常用于振蕩幅度較小時的目標果實識別。

　　2.3 基于區域生長的分割識別算法

　　區域生長法是基于像素進行處理的方法，通過將具有相似屬性如強度、灰度級、紋理顏色等的相鄰像素合并到同一區域，實現成組像素或區域的增長，從而完成目標的識別。Tao 等[36]將區域生長方法與 RGB 顏色相結合，實現了目標蘋果從背景中的識別。滕大偉等[37]把圖像用 G-B 顏色因子處理后，結合區域生長算法實現了圖像的分割。盧夏衍等[38]通過多算法混合的區域生長算法實現了溫室幼苗圖像的分割。Sun 等[39]使用區域生長法對葉子病變的區域進行了分割。

　　區域生長法能將具有相同特征的聯通區域分割出來，可以提供很好的邊界信息和分割結果。但計算較為復雜，實時性較差，而且對于陰影、光斑處的分割識別效果不是很好。因此，基于區域生長法的不足，有的學者對其進行了改進，以改善分割識別的效果。韓紀普等[40]基于超像素對區域生長算法進行了改進，使其能夠在一定程度上解決分割空洞等問題。

　　3 基于機器學習的識別

　　機器學習作為實現智能化的關鍵技術之一，近年來被廣泛應用于采摘機器人的視覺識別中，可分為無監督學習和有監督學習。機器學習在采摘機器人中較常應用的方法是聚類和深度學習。

　　3.1 基于聚類的分割識別算法

　　聚類是一種無監督學習方式，只需要通過計算相似度把相似的東西分為一類，而不需要具體分析這一類是什么，通常不需要使用訓練數據進行學習。根據聚類方式的不同，產生了許多聚類算法，本文對較常用的 K 均值聚類(K-means)和模糊 C 均值聚類(FCM)進行闡述。

　　K-means 是基于劃分的聚類方式，通過選擇 K 個點作為初始中心點，然后對其他點進行迭代重置，最后劃分成幾類，使得類內的點都足夠近，類間的點都足夠遠，最終實現識別。Jiao[41]與吳雪梅[42]等通過對 Lab 顏色空間處理后的圖像進行 K-means 聚類，分別實現了目標蘋果與茶葉嫩芽的分割識別。羅陸鋒等[43]利用 HSV 顏色空間和改進的 K-means 聚類方法，對葡萄圖像進行了分割。楊帆等[44]將 K-means 聚類算法與 Canny 邊緣檢測算法相結合，實現了遮擋或重疊橘子的分割識別。Niu 等[45]將 K-means 聚類算法與凸殼理論相結合，實現了對目標蘋果的分割識別。

　　FCM 是一種基于模糊的聚類方式，通過判斷每個點的隸屬度來進行聚類。王富春等[46]提出了一種基于模糊 C 均值聚類算法(FCM)的識別目標的方法，通過利用 FCM 對圖像進行模糊聚類，并對聚類后的果實圖像與丟失的部分目標圖像進行相加，完成了番茄的識別分割。熊俊濤等利用 FCM 算法分別與一維隨機信號直方圖分析法 [47]、Hough 變化直線擬合[48]以及 Otsu[49-50]相結合，實現了荔枝果實的分割與識別。Yang 等[51]基于 HSV 色彩空間結合基于 S 分量的快速模糊 C 均值(FCM)算法，將白菊花從背景中分割識別出來。

　　分別用 K-means 與 FCM 算法對同一張圖片進行處理，其顯示的二值化圖像如圖 2 所示，同時發現 K-means 處理時間相較于 FCM 更快一些。通過對兩種聚類方法優缺點的比較(表 2)，可以看出 K-means 聚類處理數據的速度快，在圖像識別過程中有較好的實時性，但其抗干擾能力較差，且對于 K 值的選取較為困難;而 FCM 識別的結果更加合理，但計算量較大，識別速度不如 K-means 聚類快。

　　3.2 基于深度學習的分割識別算法

　　深度學習作為近些年快速發展的技術，逐漸被廣泛應用于采摘機器人識別分割圖像，其主要通過神經網絡對大量目標圖像的數據集進行訓練，從而實現目標果實的識別分割。用于圖像識別的神經網絡有很多，其中最常用的是 YOLO 系列和 R-CNN 及其衍生網絡。閆建偉等[52]提出了一種基于 Faster RCNN 改進的網絡，實現了自然環境下刺梨果實的識別。張袁熙[53]利用 Mask-RCNN 與 Kinect V2 相機實現了果園中蘋果的分割識別。趙德安等[54]用 YOLO v3 神經網絡實現了復雜環境下蘋果的識別。熊俊濤等[55]基于改進的 YOLO v3 網絡對夜間自然環境下成熟的柑橘進行了識別。閆建偉等[56]采用帶有殘差模塊的 YOLO v3 神經網絡對刺梨果實進行了識別。

　　基于深度學習的分割識別算法具有較好的識別效果，但為了提升其識別的性能，大多數網絡的結構都比較復雜，且不同的網絡在速度或精度上都有不同的優勢和不足。本文對果實采摘中最常用的兩種網絡及其部分衍生網絡進行對比發現(表 3)，識別精度較好的網絡，如 R-CNN 系列的 two-stage 網絡，檢測速度通常較低，在實際應用中的實時性有所欠缺;而對于 YOLO 系列的 one-stage 網絡，其識別速度較快，實時性較好，但在識別精度方面相較于前者還有所不足。

　　4 存在問題及展望

　　4.1 存在問題

　　4.1.1 光照影響 光照的變化可能會引起果實表面顏色產生色差，而對于生長周期相近的果實，其顏色本就比較相近，若僅通過顏色進行分割識別，容易產生誤差。番茄完全成熟時，其表面呈正紅色，而在半成熟尚未達到完全成熟時，其表面為橘色，如圖 3a;而在光照條件的影響下，部分完全成熟的番茄也會呈現出橘色，如圖 3b，從而引起識別錯誤。

　　當順光或者夜間加光源采摘時表面具有果臘的果實，如蘋果、柑橘等，由于光照的影響，易在果實表面形成光斑，如圖 4 所示，使其在進行圖像分割時會出現孔洞等干擾，進而產生識別誤差。

　　雖然目前針對這些問題都有相應的算法改進，但其識別分割的效果仍需進一步提高。

　　4.1.2 遮擋或重疊 在自然條件下，果實的生長不會全部顯露在最明顯的外部，因此，識別果實還面臨著果實遮擋或重疊的問題。目標果實可能會面臨枝蔓、樹葉和其他果實的遮擋，而且大多數情況下是多種遮擋共同存在的情況，如圖 5，這些都會給識別帶來一定困難。這種情況下，無論是基于顏色還是基于形狀對果實進行識別，可能都無法達到理想的效果。目前對被遮擋或者重疊的果實進行識別，采用的大多是多種算法相結合的方式，可在一定程度上解決遮擋或重疊面積較小的果實的識別，但對于遮擋或重疊面積較大的果實仍未找到有效的識別算法。

　　4.1.3 振蕩 在自然采摘條件下，果實一般不會處于完全靜止的狀態，風力、鳥類或進行采摘動作時，都會使果實發生或大或小的振蕩。這時采摘機器人若采集圖像，就可能會出現圖像模糊、噪聲大等情況，從而影響進一步的分割識別。對于振蕩果實的識別，除了對算法進行優化外，對相機性能的要求也較高，今后仍需進行改進。

　　4.2 趨勢展望

　　由于田間環境的復雜多樣性，單種分割識別算法的識別效果大多遠遠達不到實際需求，如：只基于顏色特征的識別方法容易受到光照影響，僅通過形狀進行識別會因遮擋或重疊而產生錯誤等，因此基于多種物體特征或者采用多種分割識別算法組合對圖像進行處理，可在一定程度上改善識別效果，提高識別準確度。但采用組合算法時，需要進行多方面考慮，以減少方法組合可能帶來的識別效率低等問題。

　　對于被遮擋的果實，一方面隨著深度學習在采摘識別中的應用逐漸增加，經過大量的數據訓練后，深度神經網絡對于被遮擋果實的識別準確度已有所提高。隨著深度神經網絡的不斷改進和算法的進一步優化，其識別效果將會進一步提高。另一方面還可以通過運行設備從多角度采集圖像，使得被擋住的果實能夠在其他角度下遮擋減少或完整呈現，從而達到識別的目的。

　　5 總結

　　分割和識別算法作為識別過程中不可或缺的一部分，其優化情況直接關系到識別的效果。隨著學者們研究時考慮到的影響因素愈發全面以及對多種算法進行組合嘗試，識別特定目標的效果也在逐漸提升，尤其是基于特征和像素識別方式的組合，在一定程度上提高了重疊或光照影響下的目標識別精度。而且隨著智能化技術的飛速發展，具有學習能力的神經網絡越來越多地被應用于識別采摘，由一開始的 CNN 網絡發展到如今的 YOLO 等，基于深度學習的分割識別算法逐漸趨于成熟。雖然到目前為止，對于基礎神經網絡的識別還無法兼顧精度和速度，但對網絡的改進或者新網絡的推出都將使識別性能在某方面有進一步的提升。

　　分割和識別算法還有很多，本文僅針對采摘機器人最常用的幾種方式進行分類匯總，而且目前關于光照影響、遮擋重疊以及振蕩果實的識別效果仍待提高，相信隨著已有算法的不斷改進和新算法的提出，這些問題將會逐漸被解決，識別效果將會越來越好，采摘機器人在田間的廣泛應用將指日可待。