基于機器視覺技術制作烤羊肉比色卡

　　摘 要：為建立一種能夠快速無損識別羊肉烤制過程中顏色變化的標準化方法，本研究基于機器視覺技術結合三種算法(均值算法、K-Means算法和K-Means+圖像降噪算法)制作烤羊肉顏色識別比色卡，對烤羊肉的顏色進行在線監測。結果表明，三種算法制作的比色卡均能呈現出羊肉烤制過程中的顏色變化。為明確三種比色卡的準確率，研究采用K-medoids算法結合感官實驗進行比色卡顏色識別準確率驗證。其中利用K-medoids算法的比色卡識別準確率驗證結果顯示，均值算法準確率為85.60%、 K-Means算法準確率為95.70%、K-Means算法+圖像降噪算法準確率為93.40%;感官實驗的驗證結果顯示，均值算法、K-Means算法、K-Means算法+圖像降噪算法的識別準確率依次為67.32%、73.71%、 68.74%，對比發現K-Means算法制作的比色卡對烤羊肉顏色識別準確率最高。研究證明比色卡可作為顏色評價標準，為燒烤肉制品加工提供指導依據，具有良好的應用前景。

　　王博; 胡曉妍; 于芳珠; 劉登勇， 食品工業科技 發表時間：2021-09-24

　　關鍵詞：烤羊肉，比色卡，機器視覺，顏色，圖像識別

　　烤羊肉是我國傳統風味肉制品，顏色棕黃，色澤油亮，肉香濃郁，深受消費者喜愛[1]。隨著人們食品安全意識的提高和市場需求量增大，傳統加工方式已不能滿足人們的需要，工業化加工逐漸代替傳統加工方式，并正在向標準、營養、健康、智能的方向發展[2]，然而目前在工業化生產中能夠對產品質量進行及時、快速評價的標準化方法仍存在不足。烤羊肉作為傳統肉制品，色、香、味、形獨具特色[3]，消費者往往通過這些特點來評價產品質量。其中顏色是消費者感官評價最直觀的指標也是反映食品質量的重要因素,不僅能表征食品的新鮮度，還是食品成熟度的重要指示因子，在食品加工及儲藏過程中也可以通過顏色變化及時發現食品品質的改變，烤羊肉加工過程中顏色是用來判斷成熟度的重要依據[4-7]。因此建立一種能夠識別烤羊肉顏色的標準方法對于精準控制其顏色，實現標準化生產具有很好的現實意義。比色卡是一種可進行顏色對照識別，在一定范圍內統一顏色標準的工具，目前在食品領域應用較少，制作烤羊肉比色卡檢測顏色只需通過簡單對比，操作方便準確率高[8-9]。

　　比色卡制作要采集大量樣本的顏色信息，傳統顏色識別方法主要為儀器測定和感官評價，儀器測定結果準確，但對樣品具有破壞性且成本較高;感官評價簡單方便，但容易受外界因素影響且存在一定個人主觀性[10-11]。機器視覺是利用機器代替人眼，模擬人類視覺功能的一項技術，通過圖像采集、信號轉換、數據處理分析等最終實現對物體的識別，可應用于多種領域[12-13]。在肉類食品中的應用如：監測碎肉在連續油炸過程中凝集增加的變化[14]、評估肉類食品的質量參數[15]、在線預測識別豬肉的顏色和大理石花紋[16]以及禽類產品尺寸、質量、體積的測定和分級分類[17]等，方法智能新穎且具有識別速度快、準確率高、不具破壞性等特點[18]。因此利用機器視覺技術對烤羊肉圖像進行采集和處理，減少誤差提高比色卡準確率[19]。

　　本研究以烤羊肉為實驗目標，基于機器視覺技術制作烤羊肉顏色比色卡，實現對烤羊肉顏色的實時檢測，在生產過程中能夠及時控制產品質量，研究為烤羊肉質量評價管理提供了基礎依據。

　　1 材料與方法

　　1.1 材料與儀器

　　羊外脊 錫林郭勒盟羊羊牧業股份有限公司提供，羊品種為內蒙古錫林郭勒盟蘇尼特羊(月齡 6 月，均重 30 kg)。

　　NB-HM3810 電烤箱 廈門建松電器有限公司;CR-400 色彩色差計 日本柯尼卡美能達公司;LED 迷你小型攝影棚 紹興上虞風景戶外用品有限公司;VGA2USB 圖像采集卡 加拿大艾普飛公司;EOS-R6 照相機 日本佳能公司;HP ZHAN 66 R5-4500 筆記本電腦 中國惠普有限公司。

　　1.2 實驗方法

　　1.2.1 樣品制備 購買排酸成熟 24 h 后的新鮮羊肉于 4 ℃條件下運回實驗室冷凍保存。實驗前將冷凍的羊肉放置室溫解凍 1 h，去除筋膜和多余脂肪，制備規格均為長×寬×厚 20 mm×20 mm×10 mm 的肉樣，利于羊肉烤制過程中成熟度一致。待肉完全解凍，表面溫度升至室溫后置于烤盤，放入上下溫度 220 ℃電烤箱中。通過控制烤制時間獲得羊肉在烤制過程中的所有顏色變化，經預實驗得出，本實驗所用電烤箱在羊肉烤制 25 min 時，表面已經出現焦糊，因此選取烤制時間范圍為 0~25 min。每分鐘烤制 15 塊羊肉共 390 塊，得到試驗樣品。

　　1.2.2 比色卡制作方法 為確定烤制過程中所有顏色的變化，選擇 0~25 min 共 26 個時間點的烤羊肉樣本進行圖像采集，并對采集圖像進行預處理來提高質量，讀取預處理后的圖像信息，利用算法將圖像信息轉化為計算機可識別的顏色參數繼而建立比色卡。

　　1.2.2.1 圖像采集 圖像采集均由圖 1 所示自主設計的圖像采集裝置獲取，該裝置主要由照相機、圖像儲存卡、燈板、攝影棚、背景板及計算機組成。其中燈板、背景板及相機固定在攝影棚內。將相機在采集效果最佳的高度固定，采集的圖像通過圖像儲存卡傳輸到電腦，從而獲取烤羊肉樣品圖像。

　　1.2.2.2 圖像預處理 由于圖像采集裝置在進行烤羊肉圖像采集時會受到外界因素干擾，影響圖像真實特征信息的提取，進而影響顏色識別效果，因此需要對采集的圖像進行預處理。圖像預處理可以在不實質性增加圖像數量的情況下使圖像增廣，讓有限的圖像產生一些相似又不完全相同的樣本。常用的圖像預處理方法有以下幾種：圖像濾波、幾何變換、圖像增強、圖像復原等[20]。本研究采用以下四種預處理方式：隨機對比度調整、隨機亮度調整、隨機旋轉調整、隨機縮放調整[21]。

　　1.2.2.3 構建圖像識別模型 利用 Xception-CNN 模型處理獲取烤羊肉圖像，處理流程如圖 2 所示。模型的最后一層為全連接層，負責整個神經網絡的輸出，通過 Softmax 激活函數得到最終的輸出。損失函數(Loss function，簡稱 Loss)用來評價模型的預測值和真實值不同的程度，解決回歸任務的基礎函數為均方誤差損失函數(MSE)。

　　MSE 表示如式(1)所示

　　其中，n 表示一個 Batch 中的樣本數量;y 表示期望輸出;y’表示實際輸出。

　　1.2.2.4 制作比色卡 機器視覺技術采集樣品圖像，將樣品圖像信息轉化為計算機可以識別的參數，再利用算法處理圖像信息進而制作比色卡。常規算法處理的數據，會出現計算機難以將數據換算為可識別的顏色參數的情況，本研究采用均值算法、K-Means 算法和 K-Means+圖像降噪三種算法，能夠解決這一問題對圖像進行有效處理，處理后能較好地呈現出樣品顏色信息[22]。

　　利用均值算法[23]制作比色卡：通過計算全局的 RGB 均值得到該圖像的主色調，將圖像劃分為若干個小塊，用大小為 32×32 的滑塊遍歷每塊圖像，計算每個色塊的 RGB 值，得到 32×32 區域的像素塊均值，最后由局部的 RGB 均值逐漸變為全局的 RGB 均值，即為該烤羊肉圖像的顏色數值，將數值轉換為對應顏色，再將對應的顏色按照烤制時間排序，即可得到均質算法制作的比色卡。該算法原理簡單，實現起來比較容易，聚類的效果比較好，在可解釋性方面較強，再調整參數時只需調整簇的個數即可。

　　利用 K-Means 算法[24]制作比色卡：將 26 組圖像經過像素塊遍歷得到的顏色信息作為數據集，在各個數據集中生成質心，共形成 26 個時間段的質心。選取在烤羊肉圖像的顏色參數范圍內的 26 個與顏色參數相同維度的質心，分別計算每一個顏色數據到 26 個質心的距離(歐氏距離)，使每個數據分組于距離最近的質心。更新質心的位置重新計算，經過不斷重復計算直到質心位置不發生變化或只發生微小的變化，提取質心周圍類簇群所對應的 RGB 信息值并做均值處理，可以得到這 26 個時間段的 RGB 信息，根據烤制時間進行排列即可得到 K-Means 算法制作的比色卡。該算法在處理大的數據集時是相對可擴展的，并且具有較高的效率。

　　利用 K-Means 算法+圖像降噪處理[25]制作比色卡：由于羊肉會存在一些難以剝離的肌內脂肪，使烤羊肉表面顏色識別產生誤差，使得部分圖像不能完全代表烤羊肉實際的顏色，這些質量較差的圖像即為聚類中的噪聲數據和異常數據，影響分類準確率。因此在 K-Means 算法的基礎上提出通過自動替換，將噪聲數據和異常數據替換為周邊的正常數據。該方法能夠有效的去除異常數據，有利于提高比色卡的準確度。

　　1.2.3 比色卡識別準確率驗證 由于比色卡均通過算法制作，驗證比色卡準確率時若單獨采用算法驗證可能會出現泛化性差的問題[26]，若單獨采用感官驗證可能存在主觀性影響實驗結果，所以本研究采用 K-medoids 算法結合感官實驗驗證三種比色卡的準確率。 K-medoids 算法區別于制作比色卡的三種算法，使驗證方法統一，利于驗證結果準確。

　　1.2.3.1 算法驗證 利用 K-medoids 算法[27]驗證比色卡準確率，將測試集樣本圖片劃分若干個區域，用大小為 5×5 的滑塊對每個區域的 RGB 值進行均值處理，從中隨機選 26個點作為初始的類簇群區域中心點，其余點按與這 26 個點的最小距離分配到對應最近的類簇群，以此類推，比較每個樣本到類簇群中心點的距離，將樣本劃分到最近的類別中，在新組成的類別中重新計算中心點，直到 26 個中心點不再變化為止，最終得到 26 個類簇群的 RGB 值，將 26 個類簇群的 RGB 值與三種算法識別的 RGB 值進行對比，進行比色卡準確率的評價。

　　1.2.3.2 感官實驗 制備 0~25 min 的烤羊肉樣品，根據 GB /T16291.1-2012[28]培訓和篩選出 15 名感官評定員，其中男生 6 名，女生 9 名，平均年齡為 24 周歲，身體健康、無色盲、能有效辨別色差。

　　喜好度評價：根據以上方法選定感官評價員結合 A.N[29]等方法加以修改，經過預實驗結果可知，烤制 10 min 后的羊肉中心溫度達到 75 ℃，為可食用的狀態[30]。因此評價樣品為 11~25 min 的烤羊肉樣品，并根據九點感官評價法(表 1)對烤羊肉的顏色進行打分[31]。

　　準確率檢驗：26 個樣品背面標記烤制時間，將順序打亂后隨機放置;感官評定員參照三種算法制作的比色卡為 26 個樣品評定烤制時間，每種比色卡評定完成后間隔 10 min，根據感官實驗數據對比真實數據得到 3 種比色卡的感官實驗準確率，重復 3 次，以準確率平均值作為實驗結果。規則同上，感官評定員未用比色卡直接對樣品進行烤制時間的評定，結果與利用比色卡評定烤制時間的準確率進行對比，以此判斷比色卡的應用效果。

　　1.3 數據處理

　　本研究統計分析的實驗環境為 Python3.7，主要使用了 Python 的第三方擴展模塊 “Pylab”和“Matplotlib”繪制圖像、使用“Numpy”進行高維度矩陣計算、使用和“Keras”、 “Tensorflow”開源深度學習框架搭建模型。使用“Scikit-learn”開源的機器學習模塊對模型進行評估和分析，采用 Origin9.0 和 IBM Spss Statistics26.0 軟件對數據進行統計處理。

　　2 結果與分析

　　2.1 圖像采集結果

　　每塊烤羊肉采集 4 張圖像，共采集烤羊肉樣品圖像 1560 張，均為 384×384 格式，采用 1.2.2.2 方法進行圖像預處理后，共獲得 6240 張圖像，定義為數據集 Roast Mutton，將其按 8：2 隨機分配為訓練集與測試集，訓練集中包含 4992 張圖片用于構建和優化試驗模型，測試集為剩余的 1248 張圖片，用于測試模型的準確性，樣品圖像以圓形輸出。

　　2.2 圖像預處理結果

　　烤羊肉的局部圖像經過隨機亮度調整、隨機圖像縮放調整、隨機對比調整和隨機旋轉調整等方法進行預處理后，結果如圖 3 所示。從圖中可以看出，在不改變圖像原本屬性的前提下，隨機對比度與隨機亮度的調整使烤羊肉圖像亮度產生差異，改善圖像質量，并且可以增強局部細節;經過隨機旋轉和隨機縮放調整后，改變了圖像的原有位置、方向和量級，相當于一幅新的圖像，進而衍生出了更多有利于提升測試結果的準確率的訓練樣本。將預處理后的烤羊肉圖像部分代替原圖作為展示圖，能更好地展現圖像預處理的效果。

　　2.3 模型識別

　　損失函數對 Xception-CNN 模型訓練集樣本訓練結果表明，Xception-CNN 模型在訓練過程中隨迭代次數增加，Loss 值逐漸下降，訓練軌跡收斂性良好。一般情況下，訓練過程中的 Loss 值越小表明模型的準確率越高，總體性能越好。所以 Xception-CNN 對不同顏色的烤羊肉圖像具有較高識別準確率，可以用于處理獲取烤羊肉圖像。

　　2.4 比色卡建立

　　2.4.1 均值算法制作的比色卡 均值算法制作比色卡的主要過程如圖 4(A)所示，首先使用大小為 32×32 的滑塊遍歷烤羊肉原圖，得到 32×32 區域的 RGB 均值像素塊，再將區域 RGB 均值像素塊大小逐漸增加至 64×64→94×94，最后由局部的 RGB 均值逐漸變為全局的 RGB 均值。在遍歷所有圖像得到烤制時間 0~25 min 共 26 個時間段的樣品圖像顏色后，將各個烤制時間段的圖像顏色按烤制時間依次排列，得到的即為均值算法制作的比色卡，結果如圖 5(A)所示。

　　2.4.2 K-Means 算法制作的比色卡 K-Means 算法制作比色卡的具體過程[24]如圖 4(B)所示，在每塊烤羊肉樣品圖像上獲取 10 個如“原圖”所示的 5×5 像素塊后，每個像素塊利用大小為 2×2、長為 1 的小滑塊進行遍歷，遍歷結束后每個 5×5 像素塊可以得到 16 個包含 4 個 RGB 信息的 2×2 小滑塊，將每個小滑塊進行 RGB 均值提取。經處理后根據烤制時間進行排列即可得到 K-Means 算法制作的比色卡，結果如圖 5(B)所示。

　　2.4.3 K-Means 算法+圖像降噪處理制作的比色卡 本研究通過 4 種方式對圖像進行預處理，但由于噪聲數據和異常數據會使數據邊界偏移，影響聚類效果。因此，研究利用圖像降噪處理方法對烤羊肉圖像做進一步處理[32]。通過機器學習，將 K-Means 同類簇中心點覆蓋到 RGB 值過低和過高的部分并自動替換成顏色正常的部位。如圖 4(C)所示，192×192 區域由于表面不平整導致 RGB 值差別較大，則將該部分 RGB 值替換為類簇中心點值以去除異常數據。K-Mean 算法+圖像降噪處理比色卡制作過程同 K-Means 算法，結果如圖 5(C)所示。

　　2.4.4 比色卡識別準確率驗證結果 利用上述均值算法、K-Means 算法、K-Means 算法 +圖像降噪對數據集進行處理，生成的比色卡 RGB 值依次如圖 6A~圖 6C 所示。

　　由圖 6A~圖 6C 可知在 0~25 分鐘的 26 個時間點內，均值算法的 RGB 值與 K-Means 算法的 RGB 值始末狀態區間波動較小，呈相對平穩的梯度變化;而 K-Means 算法+圖像降噪處理后的 RGB 值波動較大，R 值在 13 分鐘后迅速減小，尤其是在 16 分鐘后呈現明顯下降的趨勢，原因是圖像降噪處理去除大量的噪聲信息。根據三種比色卡的 RGB 值和對應的烤制時間做多元線性回歸分析，結果如表 2 所示。由表可知 K-Means 算法建立的方程擬合效果好(R2=0.962)，均值算法和 K-Means+圖像降噪處理的方程擬合效果一般(R2=0.790，R2=0.714)，K-Means 算法能夠更好的反映烤制時間和對應圖像顏色信息之間的關系。

　　2.4.4.1 算法驗證結果 樣本數據分層取樣建立驗證集并獲得對應的三種驗證比色卡，并使用 K-medoids 算法處理得到驗證集比色卡的 RGB 值;然后將三種比色卡的 RGB 值與其值對比，從而對三種比色卡的準確率進行檢驗。K-medoids 算法驗證結果如表 3 所示。由表可知，比色卡的算法識別準確率分別為均值算法 85.60%、K-Means 算法 95.70%以及 K-Means 算法+圖像降噪處理 93.40%。

　　2.4.4.2 感官驗證結果

　　感官喜好度評價 烤羊肉的感官喜好度評分結果如圖 7 所示。由圖可知，烤羊肉的顏色喜好度評分呈現先上升后下降的趨勢，從 11 min 開始評分逐漸升高，因為羊肉在此階段隨烤制時間延長顏色逐漸由淺棕色變為黃棕色，14 min 時評分最高，顏色喜愛度最高;羊肉烤制 15 min 后顏色喜好度評分開始下降，烤制 25 min 時評分最低，因為在 15~20 min 階段羊肉顏色進一步加深，20 min 后逐漸出現焦糊現象，所以 20 min 后的評分普遍較低。

　　驗證比色卡識別準確率結果 感官實驗驗證結果如表 3 所示，比色卡的感官識別準確率分別為均值算法 67.32%、K-Means 算法 73.71%和 K-Means 算法+圖像降噪處理 68.74%。結合圖 8，三種比色卡的感官識別準確率在 14 min 和 15 min 不理想，原因是烤制 14 min 和 15 min 的羊肉處于成熟階段，呈棕黃色差別并不明顯，因此感官評定員對此時間段的顏色難以區分。為此，本研究將烤制 14 min 和 15 min 的感官數據去除后重新計算準確率，結果顯示，均值算法制作的比色卡感官識別準確率為 71.25%、K-Means 算法為 78.86%、K-Means 算法+圖像降噪處理為 72.30%。感官驗證試驗的準確率順序與算法驗證的準確率順序相符合(K-Means 算法>K-Means 算法+圖像降噪處理>均值算法)，結果表明 K-Means 算法的識別效果準確率最高。

　　將未用比色卡進行烤制時間驗證的準確率與利用三種比色卡對照識別烤制時間的準確率結果進行對比。如圖 8 所示，未用比色卡識別烤制時間的準確率，在 9~24 min 時低于均值算法比色卡;在 1~25 min 時低于利用 K-Means 算法比色卡;在 8~25 min時低于 K-Means+圖像降噪處理算法比色卡，結果表明烤制后期羊肉表面顏色變化迅速，借助比色卡能夠在一定程度上提高對羊肉烤制時間的識別準確率。

　　3 結論

　　本文采用機器視覺技術建立烤羊肉顏色識別比色卡，對烤羊肉的顏色進行快速識別，并對識別準確性進行了驗證。結果表明：三種比色卡都能夠呈現出良好的顏色梯度變化，反映羊肉烤制過程中的顏色變化，其中 K-Means 算法比色卡經 K-medoids 算法驗證準確率為 95.70%，感官驗證準確率為 73.71%，效果在三種比色卡中最好，與烤制時間的相關性也最強，所以 K-Means 算法制作的比色卡感官屬性更好。綜合來看，制作烤羊肉比色卡可以將羊肉烤制過程中所有可能出現的顏色直觀的呈現出來，表明基于機器視覺技術制作比色卡具有良好的可行性。顏色能夠反應產品信息，在加工過程中可通過比色卡對烤羊肉成熟度進行對比判斷，也可以將比色卡作為消費者對烤羊肉顏色喜愛度的評價標準，便于商家調查分析各類消費群體對產品的成熟度等不同需求，及時對產品進行調整;在生產生活中，比色卡可作為質量評價依據，對烤羊肉及時進行監測、控制烤制時間，使產品擁有良好的感官特性，方便商家以及消費者在生產、消費過程中進行質量檢查，為產品顏色識別和感官評定提供參考依據。研究發現比色卡可在一定程度上反映出烤羊肉的成熟度，烤羊肉的成熟度是導致其顏色變化的重要因素，因此可基于本研究方法，針對比色卡與烤羊肉成熟度之間的關系等方面展開進一步系統研究。