基于卷積神經網絡的經濟林產品檢測與分選研究進展

　　摘要：經濟林作為重要森林資源，其種植面積及產品產量逐年增加。隨著科學技術的不斷創新與升級，經濟林產品加工產業快速發展、衍伸產品日趨增多，急需智能化檢測、采收與分選技術與裝備。深度融合人工智能技術與經濟林產品加工產業，是實現高效化、精準化、智能化發展的重要手段之一。文中綜合比較了深度學習技術中不同卷積神經網絡算法及模型的優缺點，綜述了其在經濟林產品檢測與分選中的研究進展，并針對研究應用過程中存在的問題提出了建議，以期為經濟林產品檢測與分選的智能化發展提供參考。

　　本文源自張曉; 劉英; 李玉榮; 費葉琦， 世界林業研究 發表時間：2021-06-30

　　關鍵詞：卷積神經網絡，經濟林，目標檢測，產品分選，應用研究

　　經濟林是森林資源的重要組成部分，根據聯合國糧農組織發布的 2020 年《全球森林資源評估》報告，全球共有 40.6 億 hm2 森林，約 30%的森林用于木材和非木材林產品生產，其中非木材林產品主要包括經濟林果、木本糧油、森林藥材、林產飲料、森林食品等。2018 年我國各類經濟林產品產量達到 1.57 億 t，總產值達到 7.33 萬億元。經濟林產業具有資源豐富、產品種類多、應用范圍廣等特點[1-2]。隨著科學技術的不斷創新與升級，經濟林產品加工產業快速發展、衍伸產品也日趨增多[3-4]。但目前我國在經濟林產品資源利用上仍存在采收不及時、效率低下、產品分級不嚴格以及商品化處理落后等問題，因此對新技術、新裝備的需求極大。近年來，基于深度學習的人工智能技術不斷推陳出新，為經濟林產品檢測、采收與分選技術及裝備研究提供了理論依據，為產業的高效化、精準化、智能化發展提供了重要技術支撐。本文將簡述卷積神經網絡的發展歷程，綜合比較不同卷積神經網絡算法及模型的優缺點，以及在經濟林產品檢測與分選中的研究進展，并針對實際應用過程中存在的問題提出進一步的研究建議，以期基于深度學習技術的卷積神經網絡在經濟林產品檢測與分選領域中的應用發揮更重要的作用。

　　1 卷積神經網絡發展歷程及特點

　　卷積神經網絡(CNN)是深度監督學習的代表算法之一，是一種帶有卷積結構的深度神經網絡，結構形式為：輸入層--> 卷積層 --> 池化層 --> (重復卷積、池化層) … --> 全連接層--> 輸出結果，至少包括 5 個隱含層。其中卷積層(convolutional layer)用于提取特征;池化層(max pooling layer)用于下采樣(down sampling)，卻不損壞識別結果;全連接層(fully connected layer)用于分類。CNN 利用反向傳播算法訓練卷積神經網絡中的權重，使其特有的感受野結構與實際的生物神經網絡更加接近，更能有效地提取復雜任務的高階非線性特征[5]，解決了傳統人工智能網絡參數太多、訓練復雜且冗余等問題，其模型的準確率也比傳統方式高很多[6]。CNN 通過稀疏連接、權重共享、最大池采樣等，具有極強的適應性，善于挖掘數據局部特征，提取目標的全局訓練特征和分類[7]，常用于復雜多樣環境下的目標檢測、圖像識別與分類等[8-9]，其發展歷程如圖 1 所示。

　　1)目標識別與分類。1998 年 LeCun 等基于 Fukushima 的研究工作使用 BP 算法設計并訓練得到了 LeNet-5 模型，隨后涌現出 AlexNet、VGG16、VGG19 等新模型，通過不斷迭代優化，模型的訓練速度得到提升，準確率也逐步提高。但隨著網絡層數及參數的不斷增加，網絡參數壓縮研究也相繼被提出，如 GoogLeNet 的 inception 模塊、ResNet 的殘差連接結構等[10]。經典卷積神經網絡模型的優點及相關參數如表 1 所示。

　　2)目標檢測。區域卷積神經網絡算法(Region-CNN)是第 1 個成功將深度學習應用到目標檢測上的算法，隨著研究不斷深入，Fast RCNN、Faster RCNN、Mask RCNN 等算法橫空出世。其中 Faster RCNN 克服了提取卷積特征時的冗余操作，提出了 RPN 結構，并融入 GPU 并行運算能力，大大提高了算法的檢測和識別速度而不降低精度[11]。在此基礎上，Mask RCNN 增加了像素級別的實例分割遮罩分支，同時實現了目標檢測和實例分割，統一網絡損失[12]。不同算法綜合比較如表 2 所示。

　　2 不同卷積網絡算法在經濟林產品目標檢測中的應用

　　隨著油茶、紅棗、茶葉、林果等經濟林產品種植面積不斷增加，產品產量逐年上升，利用智能機器人技術提高林產品采摘效率、節約人力成本已是必然趨勢，因此在自然環境下進行目標果實的準確分割、特征提取及檢測對經濟林產業智能化發展具有重要的科學研究意義和廣闊的應用前景。反向傳播神經網絡(BPNN)、隨機森林(RF)、主成分分析(PCA)、遺傳算法(GA)和支持向量機(SVM)等基于淺層神經網絡的模型算法普遍存在特征提取不完全、網絡泛化性能差、網絡魯棒性差等問題;且往往只考慮單一特征，網絡收斂速度較慢，容易陷入局部最優，不能快速、準確地檢測多目標。

　　因此，許高建等[13]基于 Faster RCNN 深度網絡模型開展了茶葉嫩芽的檢測研究，利用區域建議網絡生成高質量的區域建議框，選用隨機梯度下降算法(BGD)作為模型優化器，實驗結果表明，模型精確率為 85.14%，召回率為 78.9%，mAP 為 82.17%，該深度網絡模型能夠有效識別茶葉嫩芽。朱超偉[14]提出一種改進的單一損失函數 Fast RCNN 模型用于靈武長棗的檢測，通過較小維度的網絡深度和卷積次數識別目標，使用雙層損失函數(A-softmax loss、L-softmax loss 函數)并行運算，實驗結果表明，該模型的精確率、召回率、mAP 分別提升至 92.96%、94.62%、80%，相比其他模型有明顯提高。閆建偉等[15]通過 Faster RCNN 的交替優化訓練方式、雙線性插值、感興趣區域校準(ROI align)的區域特征聚集等手段，使得自然環境下刺梨果實檢測的目標矩形框更加精確，召回率最高達到 96.93%，準確率最高達到 95.53%，同時檢測的平均速度能夠達到 0.25 s/幅。陳斌等[16]基于 Faster-RCNN 卷積神經網絡模型檢測自然環境中的油茶果圖像，利用邊框回歸修正錨框獲得精確的候選區域，再利用區域生成網絡 RPN 進行分類和校準，檢測結果表明，準確率達到 98.92%，圖像識別時間為 0.21 s/幅，進一步提高了油茶果的識別精度與速度，滿足了實時檢測要求。但上述研究仍存在參數量大、訓練速度慢、訓練時間較長等問題。因此，任會等[17]基于 Faster-RCNN 網絡構建了橘子識別模型，采用 Softmax 得到錨框屬于物體或背景的概率，相較于傳統方法，不僅識別率提升了 26%，還減少了參數量和預測時間，大幅加快了訓練速度。張習之等[18] 還提出一種基于改進 Mask RCNN 網絡的油茶果檢測分割方法，對特征提取模塊進行改造，利用并聯的不同尺寸的分解卷積核實現對不同類型特征學習，模型識別準確率、精確率、召回率分別為 87.5%、87.9%和 87%。Mask RCNN 網絡的層數較淺，計算量較小，訓練時間僅為 27 h，該算法在訓練時間上有明顯優勢，具有較好的實時性與一定的實用性。

　　綜上所述，Faster RCNN、Mask RCNN 等新算法通過接入區域生成網絡 RPN、引入雙層損失函數、融合提取多特征等手段極大地提高了網絡的學習能力、穩定性等。相比傳統算法，基于深度學習技術的卷積神經網絡能更好地適應田間復雜環境，目標檢測效果更優，檢測速度也基本達到實時采摘的要求，檢測模型的實用性得到極大地提升。但目前國內大部分研究主要針對二維圖像進行訓練及檢測，缺乏對多維信息的研究，無法獲取圖像中的目標位置，尤其在復雜環境背景下，光照、陰影以及遮擋對小目標或稠密目標識別效果影響非常大，后續可以考慮采用深度相機、雙目相機、測距雷達等[19]手段獲取更多復雜條件下的樣本數據信息，建立多維信息的數據集，增加模型的普適性。例如，Bargoti 等[20]提出一種具有 CNN 和多尺度多層感知器(MLP)2 種特征學習的圖像分割方法，結合球形數字相機獲取 360° 全景視圖，并基于霍夫圓變換(CHT)和分水嶺分割算法(WS)對自然環境下的果園圖像數據進行蘋果、芒果的檢測和計數，結果表明，誤差從 13.3%提高到了 10.84%，其 F1值最高達到 86.1%，平方相關系數 r 2 為 0.826。Madeleine 等[21]提出一種多傳感器框架來識別、跟蹤、定位和檢測果園中的芒果，綜合采用彩色相機、全球定位慣性導航系統(GPS/INS)和 3D 激光雷達收集多維數據信息，利用 GPS 軌跡數據進行圖像比對、3D 激光雷達自動生成冠層圖像掩模，結果表明，采用多視圖方法不需要額外校準，每棵樹的錯誤率僅為 1.36%。

　　3 不同卷積網絡模型在經濟林產品分選中的應用

　　常規人工分選不僅分級效率較低，且受個人主觀因素影響，難以實現標準化作業，不能滿足市場需求。因此，依據經濟林產品精深加工生產需求，采用近紅外光譜、高光譜、深度學習等技術進行原果精確識別與高效分選，對提高經濟林產品的品質和附加值具有重要意義。基于上述圖像識別技術能夠得到豐富的圖像信息和光譜信息，然而傳統的支持向量機 ( SVM)、連續投影算法(SPA)、偏最小二乘法(PLS)、神經網絡(BP)、遺傳算法(GA)等已無法適應越來越龐大且復雜的數據量，其模型識別與預測能力性能也有待進一步提升。例如，使用 SPA 提取樣本特征建立 LS-SVM 模型，利用大規模訓練樣本對正常、黑斑、破裂核桃進行判別，存在訓練速度較慢、不適合多分類研究等問題[22]。例如，利用 BP 神經網絡、偏最小二乘法、支持向量機的多源信息融合模型進行板栗分級，利用 PLS 模型進行核桃殼、核桃仁、分心木的識別與分選，均存在收斂速度慢、局部極小化、預測能力和訓練能力矛盾、樣本依賴性高等問題[23]。利用 GA 算法進行油茶果果殼與茶籽分選，存在過早收斂、效率低、不能全面表示優化問題的約束等問題[24]。

　　針對上述問題，海潮[25]對 GoogleNet Inception-v3 模型的學習率、批次大小、迭代次數進行調節與優化，實驗結果表明，該模型對于干條、黃皮、破頭、霉變 4 類缺陷以及正常棗的識別效果良好，準確率達到 98.65%，但訓練時間較長;因此又利用遷移學習在較少的數據集上實現較好的訓練效果，節省了大量訓練時間，準確率為 94.60%。Zhou 等[26]基于卷積網絡 VGG 模型，應用 SWA 優化器和 w-softmax 損失函數對青梅進行多缺陷分類，實驗結果表明，正常青梅的識別率達到 95.65%，單個青梅圖像檢測時間為 84.69 ms。謝為俊等[27] 對 AlexNet 網絡進行優化，選用批量歸一化(BN)作為模型歸一化方法，提高模型訓練收斂速度和模型的泛化性能;利用 Swish 函數可有效解決 ReLU 激活函數出現神經元死亡的問題，從而提高模型準確率和訓練收斂速度;通過壓縮模型卷積層感受野和全連接層節點，可進一步提高訓練速度;實驗結果表明，該模型對油茶籽完整性的識別準確率達到 98.05%。王立揚等[28]通過改進經典卷積神經網絡 LeNet-5 模型以提高蘋果分級準確率，改用LeakyReLU 激勵函數，并加入 Dropout層防止過擬合，實驗結果表明，測試集準確率達 98.37%，識別時間為 120 ms。通過上述研究，逐步提升了網絡模型的準確率，但識別時長仍不太理想。因此，Wang 等[29]基于藍莓高光譜數據，利用殘差網絡 ResNet 和改進 ResNeXt 網絡對不同藍莓內部品質損傷進行分選，相比傳統機器學習方法，2 種深度學習網絡具有更好的分類性能，實驗結果表明，微調后每個測試樣本的分類時間僅為 5.2 和 6.5 ms，但 ResNet 和 ResNeXt 網絡的平均準確率和 F1僅為 88.44%、87.84%和 89.52%、89.05%。Altheri 等[30]根據紅棗成熟度、類型等構建紅棗果實實時分類模型，數據集包含 350 多個棗叢的 5 種不同成熟度紅棗，共 8 072 張圖像，使用 AlexNet、VGG-16 和改進 VGG-16 3 個 CNN 模型進行比對，實驗結果表明，模型分類準確率分別為 99.01%、97.25%和 98.59%，分類時間分別為 20.7、 20.6 和 35.9 ms，均能夠滿足工廠自動化分級的需求。

　　綜上所述，相比傳統算法，AlexNet、VGGNet、GoogleNet 和 ResNet 等 CNN 深度學習模型在網絡學習能力、特征表達能力、緩解模型退化和降低運算量等方面具有更好的性能，模型訓練泛化性能、收斂速度、準確率和識別時間均有很大提升，可滿足在線實時分選的要求。但卷積神經網絡作為監督學習的代表算法，存在樣本數量大且需要精準預標定、計算量大、訓練時間長等問題，且由于高光譜圖像維度較高、信息量大、參數多，對硬件要求苛刻，尚難以用于實際規模化應用[31]。

　　4 研究存在的不足及建議

　　卷積神經網絡在提取目標的全局訓練特征和分類等方面具有明顯優勢[32]，基于深層卷積神經網絡的目標檢測算法，通過圖像語義分割、實例分割、圖像標注等手段，具有泛化能力強、魯棒性好等特點[33]。因此，在經濟林產品目標檢測和分選中的應用越來越廣泛，但也面臨著很多困難與挑戰，還需要對深度學習理論進行不斷優化與改善，為經濟林產品加工產業的高效化、精準化、智能化發展提供重要技術支撐。

　　4.1 存在的不足

　　1)需要龐大的樣本集和精準的預標定。CNN 作為監督學習的典型圖像分類算法，訓練樣本大，耗時較長，并需要通過頻繁迭代訓練提高網絡精度，且采用梯度下降算法很容易使訓練結果收斂于局部最小值而非全局最小值。因此，在算法模型的收斂速度、延展性及數據規模等方面仍有待進一步優化提升。

　　2)網絡結構模型逐漸復雜化。由于需要基于近紅外光譜、高光譜技術提供的海量數據進行訓練、調參、尋優，R-CNN、Fast R-CNN 等兩階段目標檢測算法模型整體較大，存在模型復雜、層次深、訓練參數多、訓練時間長等缺點，無法在檢測速度、精度及模型大小方面實現較好的平衡;且為了保證算法的準確率和實時性，對計算機圖形處理器(GPU)、內存等硬件要求更高，無法滿足小設備上的應用要求。

　　3)小目標或稠密目標的特征信息不完善。由于田間環境復雜，且油茶、紅棗、茶葉、林果等經濟林產品體積較小，多呈聚集狀態。常規的二維圖像數據無法全面表述目標特征信息，在實際檢測過程中無法有效解決圖像遮擋、交疊、復雜背景顏色高度相似性等問題。

　　4.2 進一步研究建議

　　1)深度優化監督學習算法。例如，將有監督學習轉化為半監督或無監督學習，無監督學習算法既沒有訓練集，也無須預標定。基于神經科學研究，可堆棧多層，以貪婪式的方式逐層重復訓練，減少數據依賴性。

　　2)輕量化設計網絡框架模型。引入專門針對移動端設計的輕量化網絡架構，如 MobleNets、GhostNet 等新網絡，運用深度分離卷積代替傳統卷積、線性映射生成更多的特征圖等方法，減少模型參數和計算量，縮短訓練時間，提升模型實用性。在硬件上，使用云計算方式進行深度學習訓練，降低運算成本。

　　3)構建多元化數據集。結合相應的 3D 技術，如深度相機、雙目相機、測距雷達等手段獲取更多的訓練樣本信息，建立多維信息數據集，有效補充目標物的三維特征，以實現對目標物體更為高效、快速的檢測與分選。