嵌入式智能算法推理加速技術(shù)

　　摘 要 隨著人工智能技術(shù)的發(fā)展航天器和武器裝備也對智能化計算提出了新的需求，但缺乏自主可控的智能計算能力嚴(yán)重制約了該領(lǐng)域的發(fā)展，針對該問題，論文概述了目前航天領(lǐng)域智能化計算的需求，分析了神經(jīng)網(wǎng)絡(luò)處理器研究現(xiàn)狀，并給出了自主可控的智能化計算解決方案，對國產(chǎn)自主可控智能加速器發(fā)展有著重要指導(dǎo)意義。

　　本文源自周凡; 馬鐘; 馬瑤; 李申， 艦船電子工程 發(fā)表時間：2021-06-20

　　關(guān)鍵詞 人工智能;航天領(lǐng)域應(yīng)用;神經(jīng)網(wǎng)絡(luò)處理器;智能化解決方案

　　1 引言

　　嵌入式智能算法推理加速技術(shù)就是利用FPGA 相較于傳統(tǒng)處理器并行處理的優(yōu)勢來提高智能算法的推理速度，智能化計算是航天器和武器裝備領(lǐng)域目前的研究趨勢，缺乏自主可控的智能算法推理能力是制約該領(lǐng)域智能化發(fā)展的瓶頸問題。本文主要講述了航天智能化的計算需求，國內(nèi)外神經(jīng)網(wǎng)絡(luò)處理器研究現(xiàn)狀，提出了國產(chǎn)人工智能處理器的解決方案，為航天領(lǐng)域的神經(jīng)網(wǎng)絡(luò)處理器的發(fā)展提供了思路。

　　2 航天智能化計算需求

　　2.1 航天器應(yīng)用對智能化的需求

　　航天事業(yè)的飛速發(fā)展，對航天器提出了智能化要求，以支持更復(fù)雜的環(huán)境和更難的深空任務(wù)探月工程需要飛行器自主、快速機器視覺識別與智能控制，確保安全著陸;目前火星探測天地大回路控制決策的工作方式實時性低，難以滿足火星巡視探測任務(wù)的需求;小行星探測任務(wù)對飛行器智能感知、自主軌道機動與姿態(tài)穩(wěn)定提出了迫切需求;非合作目標(biāo)捕獲需要航天器具備在軌智能感知、智能決策、智能控制能力;航天態(tài)勢感知方面，現(xiàn)代戰(zhàn)爭要求衛(wèi)星在軌目標(biāo)檢測、識別、跟蹤，實現(xiàn)天基快速偵查、對抗。

　　2.2 武器裝備對智能化的需求

　　現(xiàn)代戰(zhàn)爭也需要更加智能的武器，避障是巡航導(dǎo)彈的關(guān)鍵能力，要求導(dǎo)彈可以低空突防和躲避雷達探測，以提高生存能力;導(dǎo)彈、無人機等武器裝備迫切需要智能目標(biāo)檢測識別能力;彈群協(xié)同攻擊對智能感知、群智決策提出了應(yīng)用需求[9];針對特定軍事目標(biāo)打擊任務(wù)和天基預(yù)警任務(wù)存在的樣本少，目標(biāo)小的特點提出了小樣本及小目標(biāo)檢測需求[2]。

　　針對上述在航天和武器裝備領(lǐng)域?qū)χ悄芑惴ǖ牟煌枨螅Y(jié)合目前主流的神經(jīng)網(wǎng)絡(luò)算法，給出了不同應(yīng)用所應(yīng)采用的算法和實現(xiàn)的算力要求，具體如表1所示，雖然各應(yīng)用場景對算法的需求不同，但對算力的要求是統(tǒng)一的，需要發(fā)展自主可控的嵌入式智能算法推理加速技術(shù)。現(xiàn)有的航天計算機普遍缺乏智能計算能力，無法滿足深空探測、航天群體智能、航天勢態(tài)感知、天地一體化協(xié)同作戰(zhàn)的需求，與人工智能應(yīng)需求目標(biāo)差距較大，需要航天專用智能計算機。

　　想要滿足上述要求，關(guān)鍵就在于神經(jīng)網(wǎng)絡(luò)處理器的設(shè)計，目前國內(nèi)外的神經(jīng)網(wǎng)絡(luò)處理器的種類較多，具體的情況如下文。

　　3 神經(jīng)網(wǎng)絡(luò)處理器研究現(xiàn)狀

　　通用的神經(jīng)網(wǎng)絡(luò)處理器領(lǐng)域是學(xué)術(shù)和商業(yè)界的雙重?zé)狳c，國內(nèi)外的神經(jīng)網(wǎng)絡(luò)處理器產(chǎn)品種類也十分豐富。

　　國外的例如英偉達的 Jetson TX2板卡，它具有 1.3TFLOPs 的算力，功耗在 7.5W~15W，具有 8G 內(nèi)存和32G固態(tài)存儲器，支持802.11acWLAN和藍牙;又如英特爾神經(jīng)計算棒二代，它體積小外形酷似U 盤，有著 13.9GMACC/s 的算力，功耗低至 1W，并且 ESA 已經(jīng)針對星載應(yīng)用進行了測試，支持 Tensor Flow[11]、Caffe[9]的深度學(xué)習(xí)框架。

　　國外產(chǎn)品具有計算能力強，功耗較低，配套軟件支持豐富的特點，但不具備自主可控性不適用于航天、武器裝備應(yīng)用。

　　國內(nèi)的產(chǎn)品比較具有代表性的如寒武紀(jì)相關(guān)的板卡產(chǎn)品，它支持 TesnsorFlow、Caffe等多種主流神經(jīng)網(wǎng)絡(luò)框架，支持 CNN、RNN等多種深度學(xué)習(xí)模型，算力為 16TFLOPs，功耗在 80W~110W，配套軟件僅支持桌面端操作系統(tǒng)[4~8];又如華為的麒麟 970，該芯片為華為首款“人工智能處理器”SOC，架構(gòu)中包含了寒武紀(jì)的 Cambricon-1A神經(jīng)網(wǎng)絡(luò)處理器，采用 10nm 工藝制造，計算能力為 1.92TFLOPs，目前僅支持安卓操作系統(tǒng)下的開發(fā)。

　　國內(nèi)的產(chǎn)品計算能力強但功耗較大，配套軟件支持平臺有限，不適用于星彈載使用環(huán)境。

　　總結(jié)來說目前已有的神經(jīng)網(wǎng)絡(luò)處理器，國外的產(chǎn)品不具備自主可控性，國內(nèi)的產(chǎn)品耗又偏高，并且這些商用處理器的配套軟件缺乏航天嵌入式軟件環(huán)境的支持，需要發(fā)展自主可控的嵌入式智能算法推理加速技術(shù)。

　　4 智能化計算解決方案

　　鑒于國產(chǎn)化設(shè)計需求和目前國產(chǎn)化器件的實際情況，我們進行了國產(chǎn)化器件選型并由不同的器件提出了兩種不同的解決方案。

　　器件選型方面目前國產(chǎn) FPGA 芯片廠商有無錫中微億芯有限公司，成都華微電子科技有限公司，深圳國微電子有限公司，上海復(fù)旦微電子集團股份有限公司和航天科技 772 所這 5 家單位，其中復(fù)旦微電子和國微電子提供的產(chǎn)品指標(biāo)相對高。對所有國產(chǎn)廠商的 FPGA 器件進行性能和指標(biāo)對比后，我們得出結(jié)論：其中 SOC 方面只有復(fù)旦微電子 可 以 提 供 FMQL45T900，對 標(biāo) Xilinx 的 7 代 XC7Z045，性能高并且自帶4個arm核。高性能FP? GA 復(fù)旦微電子和國微電子都可以提供，具體型號如表2所示。

　　兩者性能上均能滿足計算需求，不同之處是復(fù)旦微電子不僅可以支持 Xilinx 開發(fā)環(huán)境還支持自主開發(fā)環(huán)境，在自主化應(yīng)用方面兩者都是不錯的選擇。

　　通過器件選型，只有上述三款 FPGA滿足國產(chǎn)化和計算性能的需求，對此我們提出了兩種具體的解決方案：一是使用高級綜合的方法，采用 SOC 上 ARM 與 FPGA 一體化的解決方案;二是使用國產(chǎn) ARM與FPGA組合方式搭建硬件平臺的解決方案，神經(jīng)網(wǎng)絡(luò)加速器采用異構(gòu)并行的方式進行神經(jīng)網(wǎng)絡(luò)算法處理。

　　4.1 基于SOC的神經(jīng)網(wǎng)絡(luò)加速器

　　總體方案如圖 1所示，分為地面和星彈上兩部分。其中地面部分主要是對PC端訓(xùn)練成熟的神經(jīng)網(wǎng)絡(luò)算法成果進行移植前的預(yù)處理工作，包括主流模型框架適配工作，模型的裁剪與輕量化;星彈上部分的CPU是神經(jīng)網(wǎng)絡(luò)專用的運行時部分，完成對硬件計算流程的調(diào)度，PFGA 部分是神經(jīng)網(wǎng)絡(luò)加速器的核心，對神經(jīng)網(wǎng)絡(luò)中計算密集型[1] ，如卷積， pooling進行并行加速計算。

　　如表3所示，采用SOC解決方案針對不同的卷積神經(jīng)網(wǎng)絡(luò)模型，都具有不錯的性能來滿足具體應(yīng)用場景的需求。

　　采用 SOC 平臺的優(yōu)點是，是使用簡單，僅需要一片SOC芯片;開發(fā)上利用C++語言統(tǒng)一設(shè)計運行時軟件和 IP核，實現(xiàn)軟件定義神經(jīng)網(wǎng)絡(luò)加速器，開發(fā)方式更加友好;在通用性方面支持 AlexNet[3]、 VGG-16[10]、GoogLeNet[12]、ResNet-50[13]等主流的卷積神經(jīng)網(wǎng)絡(luò)模型;支持 Convolution、Pooling、Decon? volution、FC等計算密集類計算。

　　4.2 基于高性能FPGA的神經(jīng)網(wǎng)絡(luò)加速器

　　采用 ARM+FPGA 的異構(gòu)計算架構(gòu)，整體結(jié)構(gòu)如圖 2 所示，arm 處理器和 FPGA 均采用國產(chǎn)化芯片，具有自主可控的優(yōu)點;支持目前最新的復(fù)雜的多種卷積操作，并可以根據(jù)新的算法隨時添加新的計算單元;支持網(wǎng)絡(luò)模型運算操作類型，如卷積層，逆卷積層，膨脹卷積層，池化層，歸一化層，scale 層，非線性化層(實現(xiàn)函數(shù)：ReLU，PReLU，sigmoid 等);神經(jīng)網(wǎng)絡(luò)加速器計算單元之間互連、互通，形成池計算，根據(jù)計算需求適配，提高計算并行性。

　　相較于 SOC的解決方案，高性能 FPGA解決方案采用 ARM+FPGA的組合方式，兩者通過 PCIE進行通信，開發(fā)難度上大于 SOC 的解決方案，并且高性能 FPGA 相較于 SOC 解決方案也會產(chǎn)生更高的功耗。同時這種解決方案帶來的優(yōu)勢是更高性能的 FPGA帶來更強大的算力，在并行計算上更具優(yōu)勢，可以滿足比 SOC 更高算力的智能化計算需求，同時采用 PCIE 通用接口，可以在原有的計算機基礎(chǔ)上進行智能計算的拓展升級而不影響其基礎(chǔ)功能。

　　5 結(jié)語

　　本文講述了航天和武器裝備領(lǐng)域?qū)χ悄芑嬎愕男枨螅Y(jié)合目前國內(nèi)外神經(jīng)網(wǎng)絡(luò)處理器的發(fā)展情況，為自主可控的嵌入式智能加速技術(shù)提出了基于 SOC 和基于高性能 FPGA 的兩種不同的解決方案，給航天和武器裝備領(lǐng)域的智能化發(fā)展提供了思路。