基于YOLOv4-Tiny模型剪枝算法

　　摘要：針對YOLO系列算法參數量大、算法復雜度咼提出一種基于BN(batchnormalization)層■枝方法。該方法先通過對BN層的縮放系數7以及平移系數0添加正則化約束訓練，根據BN層參數以及卷積層各通道對網絡貢獻度等指標設定合適閾值進行剪枝。該方法在基本沒有精度損失的前提下對YOLOv4Tiny模型壓縮11倍，計算量減少72%，在CPU和GPU處理器下推理速度分別增快44%和29%。實驗結果表明，該剪枝方法能保持模型良好性能的前提下壓縮模型，減少參數，降低算法復雜度。

　　關鍵詞：深度學習;卷積神經網絡;YOLOv4Tiny;YOLOv3Tiny;模型剪枝;稀疏訓練

　　曹遠杰;高瑜翔;劉海波;吳美霖;涂雅培;夏朝禹成都信息工程大學學報2021-12-13

　　0引言

　　隨著計算機視覺的發展，對深度學習網絡性能要求提高，出現許多優秀的深層神經網絡模型[13]，如VGGNet、GoogleNet、ResNet、DenseNet等。伴隨性能提高的同時，網絡層數也在不斷增加。這些網絡都因為算法復雜度太高難以在嵌人式平臺等資源較少的設備應用。針對網絡模型太大、參數量太多、算法計算量(FLOPs)大等問題，出現許多解決方案。如SqueezeNet網絡，網絡米用squeeze和expand兩部分，squeeze部分由1x1的卷積組成，expand部分是將1x1和3x3兩種層的輸出特征圖進行合并(<：on<：at);Mo-bileNets網絡，網絡主要采用深度可分離卷積[45]替代傳統卷積。深度可分離卷積由通道卷積和點卷積組成，相較于傳統卷積在卷積核越大的情況下能降低更多的參數量和計算量。輕量化模型在不同的處理器上展示性能也不同，由于采用深度可分離網絡會增加模型訪存量，也會降低模型性能。

　　深度學習網絡模型有很大一部分參數對結果沒有影響W，為壓縮深度學習模型，除設計輕量級結構以外還可以對模型進行剪枝[7]，通過對每個卷積層進行結果貢獻度排序，減去冗余的通道，可以有效地壓縮模型，降低計算量。文獻[8]提出對網絡迭代剪枝，獲得一個精簡模型，最終在沒有精度損失前提下AlexNet參數量減少9倍。有研究者提出不需要稀疏卷積庫的支持，直接對權重大小排序進行剪枝。模型中加人稀疏約束項可以使卷積中的部分參數趨近于0，獲得稀疏權值m。姚巍巍等[1°]提出針對BN層7參數添加L1正則化稀疏約束，大部分的神經元輸出為0，通過對這些不重要神經元進行修剪來迭代優化網絡。

　　基于以上方法，針對Y0L0v4-Tiny模型提出一種更精確的剪枝方法完成輕量化模型設計。該方法在BN層參數7和0添加L1正則化約束，然后對每個通道權值的絕對值均值大小排序，根據每個通道權重絕對值的均值、y/Ja^+e和jB-iJbpj/Jal+e這3個值判斷是否滿足剪枝條件。該方法無疑比單純判斷7系數或者卷積層大小更可靠。模型剪掉大量參數后精度會下降，微調后即可恢復精度。

　　1YOLOv4-Tiny

　　YOLO(youonlylookonce)算法[ll]是典型的目標檢測onestage方法，將預測和分類通過一個網絡直接得出結果，特點就是推理速度很快，檢測效率高。2020年提出了YOLOv4[l2]和Y0L0v4-Tiny兩種目標檢測算法。Y0L0v4-Tiny相較于Y0L0v3-Tiny算法結構更復雜，但精度有小提升，并用參數更少。與Y0L0v3-Tiny類似，輸出兩種尺度大小的特征圖[13]。Y0L0v4-Tiny在結構上采用CSP結構作為主干網絡，該結構將第一個卷積的一半特征圖用于結構內卷積使用，最終再進行合并(concat)操作。Y0L0v4-Tiny網絡結構圖1所刀、

　　2YOLOv4-Tiny的稀疏化剪枝

　　針對深度學習網絡模型余參數過多導致算法復雜度就推理速度慢等何氣先闡述模型的稀疏訓練原理，苒對稀疏后的權重和—層進行大小排序，通過設定的閾值進行剪枝完成YOLCM-Tiny賺量化模型冊a

　　2.1稀疏化訓練

　　主要通過對BN層添加L1正則化約料麗■參數稀疏化。lommlizationW—GTOgte提出的一種訓練技巧，在模型訓練時將BN層加人每個卷積后，可解決釧練收斂慢等問題，還在一定程度上控制梯度爆炸。假設卷積層輸出為尤，則經過麗層后輸出為4其片，為BN層輸出，y為BN層縮放系數，/S為乎移系數?和4為均值和方差，為常數，Y0LO4-Tiny算法中一般取值為0.001。Leskyilelu層的輸出為=LeakyRelu?X+/3-^其中3Wu為瀲活層輸出，為激活函數。(2)當激潔函數內的值趨近于0時可以看作輸出為0，對后面的卷積沒有甩。基于UakyRdu激活函數，根據式(2)，當蠢數b=y/Jcr^+s和b=P-i^y/njcr^+s較小時，通過澈活函數后輸出對網絡貢獻非常小，可以將其剪掉。由于均值，方差?和6都為定值，所以只霉襄判斷7和召兩個參數足夠小即可。為方便判斷，對BN層y和召參數都進行L1疋則化約束uL1范數公式為/2(0)=i0，，(3)L1范數是求各元素絕對值之和，假設目標函數為其中，J為原目標函數為添加L1疋則化約東后的目標函數，0秀參數，2■為輸人，J?為標靈，a為正測化系數，隹制約束力度。由式(4)可知，比較大時，粟使/盡可能小向〇趨近，_此L1正則化約束可以將參數稀疏化。對BN層添加U正則化約束宕，參數a=y/V〇>5和參數厶=/3-/^y/Vcr|+及稀疏度如圖2所示。

　　圖2是采用a為0.0001時稀疏訓練后的第15個BN?參數頻數直方圖，由于15層參數較多，比較直觀，更具普麗性a由圖2可知，添加L1正則化約束后的參數有大部分參數都趨近f〇，可以將大部分的冗余通道剪去。嚭過實驗驗證，由于采用a=0.001訓練后精度下降比較大，故采用a=0.0001進行稀疏訓練，訓練后精度還提升了0.1個百分點。

　　2.2剪枝和優化

　　模型的BN層通過稀疏化后對參數n和6進行大小排序，假設其中參數“的集合為4=U，，a2，，…，%i，愈數6的集合為iH…Ah將卷積層的每層通道的權值助絕對值求和取平均后得到集;合Fiw，，?2，a>s…|Q第一層，的頻數分_直方'鷹如圖3所示，第一層參數較少。

　　由囿3可知，稀疏訓練、后各通道均值差別較大。F集合中可以.剪掉的通道比普通逋道均值小了約1〇7倍：a假設輸入A為1，權值、a和fr參數郁為3E：|，(%XM，X￡+6，)可以粗略地看作第;：層BNs的輸出特征圖，此處五為和輸出特征B太小一#的全1矩陣。r集合各元素取均值為必，涵由于通道均值差別太的原因向0趨近，當a，<品且6，小于一個很小的數時，可以判別為第(層輸出對結果貢獻小。判另拭為(Ia-1<(Tp+sB的參數jf|層，為第的意思上與為&&的倒數遣大小各通，此處設的數小很設為一個率枝剪節調以用常數F均值再取均值;A-和，也就是各通道均值的f有權值該層卷積層Iffi^crl+y丨層參數f：層為-第，I，akf)<(bkx>

　　如式【2)所示，BN層周是在做線性運算，剪枝后即可將BN層融入到卷積層當中以減少箅法訪存暈，加快推理速度。假設第i層權重為

　　3實驗結果及分析

　　為驗證該剪枝算法，實驗在YOL〇v4-Tiny和YOLOd-Tiny以及采用GhostNet_構所構造__量馨網絡(YOLO-Ghoglet)1115]3種鏡虐進行自ft靡滅^

　　3.1實驗平臺和數據

　　由于硬件設備有限，虞驗均采用10097張飲料數據：氣數據集包含4個種類，分別為可樂、綠茶、雪_、王老吉，每個種類太約2500張。其中測試集908張，訓練集8281張9實驗軟件平臺為PyGliami，訓練與驗證框架為KerasTemwrfbwl.13-GPU?CPU處理器下進行。硬件乎臺為CPU(AMDR_en53500X)，GPU(這DQ0606〇，16(J_(3600MHz)：。訓練均采用B_h§fce=4。

　　3.2實驗結果及分析

　　根據式(5)，當A=1時，Y0L0v4-Tiny剪枝前后各卷積層對比如表1所示。

　　比較大，不同慕拫據冗余通道的多少剪枝率也不相同，整體剪枝率達到91%。其中舉3、7、11層卷積為如圍4所示的CSP塊中黃色部分的第一個卷積層，該層分為了兩步第一歩是將卷積層的后半部分通道進行下^步卷積，如圖4黃色解析部分的上_一條卷積路線。第二杳是將所有通道進行卷積，如圖4黃色解析部分的下面一條卷積路線。最終將兩條路線輸出的特征圖進行合并

　　CSP結構中的黃色部分解析如圖4中下商黃色部分所葙。對該層剪枝后分布會變椿不均勻，所以剪枝后不能再將第一個卷積的一半遒道進行后面卷積了。根據每層剪枝通道的不同，分出的通道也不一樣。如第三個卷積震.剪枝爵試有42個輸出通道，如果分一半通道進行國4所示的第一步卷積，那將會破壞之前訓練的結構。根據剪枝通道編醫可知，第三個卷積層的前半部分剪15個通道，后半部分剪7個通道。因此，第三個卷積暴只分出后調的25個通道迸行第一步卷積。

　　Y_v3-Ti坤和YOL〇v4-Tiiiy及以講0義t春積模_所構建的植量攀(YQLO-Ghostlet)模型：通過稀疏訓練和稀疏訓練后通過該剪枝方法后在飲料數據集下各項數據對比如表2所示。

　　泰2中以Lle4開頭暈代表以a=0.0001的正則化系數進行稀疏訓練的模型，以-P結尾為剪枝后的模型。BNtnefget代表該震靡將麗層進行合并qY0L0v3-Tinj?是采用YQL〇v4-Tiny的損失.函數所訓練，所以精度有提升。據表2，輸人圮寸均采用416X416，可以看到f0L0\?4￣Tiiif菌枝唇在精度方面相對于Lle4_Y0LCH4-tiny模型值降低了0.01個百分點，剪枝率達91%，計算量只翁原乘的28#LCPU推理速度加快44資，在GPU環機下推理速度加快29%。Y0L0v3-TiHf和YQLO-Gh?StNet兩種模型體?^別較大，這也與模型冗余通道的多少有衾。在稀疏訓編后通過讀剪枝算法剪枝率分別為96%和36%，精度損失都在0.05%.以內。3種模型在稀疏訓練后通過該剪枝算法都能維持.原有性能的基礎上降低算法復雜度和參數優，加快模型推理速度&

　　4結束語

　　所提出剪梭蠶法在不同模灘翦枝效果和剪枝率拫據模型冗余通道.的多少也會不同.，通過對爾層參數添加正則化約束訓練后再迸行剪枝可減去大童參數的同時保持精度&該剪校算法可以配合設計輕量輟結構的模型進行使甩，在保持精度不降低的前提下可以，吏大程度地輕量化模型?在以Gh〇sNet所設計的YOLCM-Tiny的籜量級模fl進行剪枝后模型尺f哥降低至1.43Mb，推理速度在不苘處理器下可提高29%-57%，，可更好完成輕養化模型設計s