【導讀】對于希望在邊緣的推理處理器上實施人工智能 (AI) 算法的設計人員來說，他們正不斷面臨著降低功耗并縮短開發(fā)時間的壓力，即使在處理需求不斷增加的情況下也是如此。現(xiàn)場可編程門陣列 (FPGA) 為實施邊緣AI所需的神經(jīng)網(wǎng)絡 (NN) 推理引擎提供了特別有效的速度和效率效率組合。然而，對于不熟悉 FPGA 的開發(fā)人員來說，傳統(tǒng)FPGA的開發(fā)方法可能相當復雜，往往導致他們?nèi)ミx擇不太理想的解決方案。
本文將介紹來自Microchip Technology的一種比較簡單的方法。通過這種方法，開發(fā)人員可以使用FPGA和軟件開發(fā)套件 (SDK) 構(gòu)建經(jīng)過訓練的NN，或者使用基于FPGA的視頻套件立即啟動智能嵌入式視覺應用開發(fā)，從而避開傳統(tǒng)的FPGA開發(fā)。
為什么要在邊緣使用AI？
邊緣計算為物聯(lián)網(wǎng) (IoT) 應用帶來了諸多好處，涵蓋了包括工業(yè)自動化、安全系統(tǒng)、智能家居等在內(nèi)的多個領(lǐng)域。在以工廠車間為目標的工業(yè)物聯(lián)網(wǎng) (IIoT) 應用中，邊緣計算通過避免到云端應用的往返延遲，可以顯著縮短過程控制環(huán)路的響應時間。同樣，基于邊緣的安全系統(tǒng)或智能家居門鎖即使由于意外或人為原因與云端的連接斷開時，也能繼續(xù)正常工作。在很多情況下，在任何此類應用中使用邊緣計算時，都可以通過減少產(chǎn)品對云資源的依賴來幫助降低整體運營成本。隨著產(chǎn)品要求的提高，開發(fā)者可以依靠產(chǎn)品中內(nèi)置的本地處理功能去幫助維持更穩(wěn)定的運營開支，而不會面臨增加昂貴的云資源的意外需求。
對機器學習 (ML) 推理模型的快速接受和需求的增加，極大地提高了邊緣計算的重要性。對于開發(fā)人員來說，推理模型的本地處理能力有助于降低云端推理所需的響應延遲和云資源成本。對于用戶來說，使用本地推理模型會讓他們更加相信，其產(chǎn)品在偶爾與互聯(lián)網(wǎng)斷開或基于云的供應商產(chǎn)品發(fā)生變化時仍能正常運行。此外，在安全和隱私方面的擔憂會進一步推動對本地處理和推理的需求，以限制通過公共互聯(lián)網(wǎng)傳輸?shù)皆贫说拿舾行畔?shù)量。
為基于視覺的對象檢測開發(fā)NN推理模型是一個多步驟過程。首先進行模型訓練，這一步通常在TensorFlow等ML框架上使用公開的標記圖像或自定義的標記圖像進行訓練。由于處理需求，模型訓練通常使用云端或其他高性能計算平臺的圖形處理單元 (GPU) 進行。訓練完成后，模型被轉(zhuǎn)換為能夠在邊緣或霧計算資源上運行的推理模型，并將推理結(jié)果以一組對象類概率的形式交付（圖1）。
圖1：在多步驟過程的末端實現(xiàn)邊緣人工智能的推理模型，需要使用現(xiàn)有或定制型訓練數(shù)據(jù)在框架上訓練和優(yōu)化NN。（圖片來源：Microchip Technology）
為什么推理模型存在計算方面的挑戰(zhàn)？
與訓練過程中使用的模型相比，雖然NN推理模型的大小和復雜程度都有所降低，但還是需要大量計算，這對于通用處理器來說仍是一個挑戰(zhàn)。在其通用形式中，深層NN模型由多層神經(jīng)元集組成。在一個全連接網(wǎng)絡的每一層內(nèi)，每個神經(jīng)元nij 都需要計算每個輸入與相關(guān)權(quán)重系數(shù)Wij 的乘積之和（圖2）。
圖2：通過NN進行推理所需的計算次數(shù)會造成龐大的計算工作量。（圖片來源：Microchip Technology）
圖2中沒有顯示激活函數(shù)和類似函數(shù)帶來的額外計算要求。激活函數(shù)通過將負值映射為零，將大于1的值映射為1來修改每個神經(jīng)元的輸出。每個神經(jīng)元nij 的激活函數(shù)的輸出作為下一層i+1的輸入，以此類推直至每一層。NN模型的輸出層最終產(chǎn)生一個輸出向量，代表原始輸入向量（或矩陣）對應于監(jiān)督學習過程中使用的某一個類（或標簽）的概率。
相比上圖所示具有代表性的通用NN架構(gòu)，有效的NN模型是由大得多、復雜得多的架構(gòu)來構(gòu)建的。例如，用于圖像對象檢測的典型卷積NN (CNN) 以分段方式應用這些原理，掃描輸入圖像寬度、高度和顏色深度，從而生成一系列最終會產(chǎn)生輸出預測向量的特征圖（圖3）。
圖3：用于圖像對象檢測的CNN會在許多層中牽涉到大量神經(jīng)元，這對計算平臺提出了更高的要求。（圖片來源：Aphex34 CC BY-SA 4.0）
用FPGA加速NN數(shù)學
雖然在邊緣執(zhí)行推理模型的方案不斷涌現(xiàn)，但很少有方案能夠提供實際的邊緣高速推理所需的最佳靈活性、性能和能效組合。在現(xiàn)有的邊緣AI替代品中，F(xiàn)PGA特別有效，因為它們可執(zhí)行基于硬件的高性能計算密集型工作，同時功耗相對較低。
盡管FPGA優(yōu)勢突出，但由于傳統(tǒng)的開發(fā)流程有時會讓沒有豐富FPGA經(jīng)驗的開發(fā)人員望而生畏，舍棄FPGA。為了有效實施通過NN框架生成的NN模型的FPGA，開發(fā)人員需要了解將模型轉(zhuǎn)換為寄存器傳輸語言 (RTL)、設計綜合和最終審定之間的細微差別，并需要制定具體的設計階段路線，從而做到優(yōu)化實施（圖4）。
圖4：為了在FPGA上實現(xiàn)NN模型，開發(fā)人員即便是現(xiàn)在還需要了解如何將其模型轉(zhuǎn)換為RTL，并執(zhí)行傳統(tǒng)的FPGA工作流程。（圖片來源：Microchip Technology）
憑借其PolarFire FPGA、專用軟件和相關(guān)知識產(chǎn)權(quán) (IP)，Microchip Technology提供了一種解決方案，讓沒有FPGA經(jīng)驗的開發(fā)人員也能廣泛地使用高性能、低功耗邊緣推理。
PolarFire FPGA采用先進的非易失性工藝技術(shù)制造，旨在最大限度地提高靈活性和性能，同時將功耗降至最低。除了用于通信和輸入/輸出 (I/O) 的大量高速接口外，它們還具有深厚的FPGA結(jié)構(gòu)，能夠使用軟IP內(nèi)核支持高級功能，具體包括RISC-V處理器、高級內(nèi)存控制器和其他標準接口子系統(tǒng)（圖5）。
圖 5：Microchip Technology 的 PolarFire 架構(gòu)提供了一種深度結(jié)構(gòu)，旨在支持高性能設計要求，包括實施計算密集型推理模型。（圖片來源：Microchip Technology）
PolarFire FPGA架構(gòu)提供了一套廣泛的邏輯元件和專用功能塊，通過PolarFire FPGA系列的不同器件獲得各種不同的容量支持，具體包括MPF100T、MPF200T、MPF300T和MPF500T系列（表1）。
表1：PolarFire系列包括多種FPGA結(jié)構(gòu)特性和容量。（表格來源：Digi-Key Electronics，基于Microchip Technology的PolarFire數(shù)據(jù)表）
在特別令人關(guān)注的推理加速功能中，PolarFire架構(gòu)包括一個專用數(shù)學塊，提供一個具有預加法器的18位 × 18位有符號乘法累加函數(shù)(MAC)。內(nèi)置的點積模式使用一個數(shù)學塊來執(zhí)行兩個8位乘法運算，通過利用模型量化對精度的影響可以忽略這一優(yōu)勢，提供了一種可提高容量的機制。
除了能加快數(shù)學運算外，PolarFire架構(gòu)還有助于緩解在通用架構(gòu)上實施推理模型時遇到的存儲器擁堵問題，例如用來保存在NN算法執(zhí)行過程中創(chuàng)建的中間結(jié)果的小型分布式存儲器。另外，NN模型的權(quán)重值和偏置值可以存儲在一個系數(shù)為16深 x 18位的只讀存儲器(ROM) 中，這種存儲器通過位于數(shù)學塊附近的邏輯元件構(gòu)建。
結(jié)合其他PolarFire FPGA結(jié)構(gòu)特性，數(shù)學塊為Microchip Technology更高級別的CoreVectorBlox IP奠定了基礎。這將作為一個靈活的NN引擎，能夠執(zhí)行不同類型的NN。除了一組控制寄存器外，CoreVectorBlox IP還包括三個主要功能塊：
● 微控制器：一個簡單的RISC-V軟處理器，可從外部存儲器讀取Microchip固件二進制大對象 (BLOB) 和用戶特定型NN BLOB文件。通過執(zhí)行固件BLOB的指令來控制CoreVectorBlox的整體運算。
● 矩陣處理器 (MXP)：這是一種由8個32位算術(shù)邏輯單元 (ALU) 組成的軟處理器，旨在使用逐元素張量運算對數(shù)據(jù)向量執(zhí)行并行運算，包括加法、減法、xor、移位、mul、dotprod等，并根據(jù)需要使用8位、16位和32位混合精度。
● CNN加速器：使用通過數(shù)學塊實現(xiàn)的二維MAC函數(shù)陣列來加速MXP運算，運算精度為8位。
一個完整的NN處理系統(tǒng)將包括CoreVectorBlox IP塊、存儲器、存儲器控制器和主機處理器，如微軟RISC-V (Mi-V) 軟件處理器內(nèi)核（圖6）。
圖6：CoreVectorBlox IP塊與Microchip的Mi-V RISC-V微控制器等主機處理器配合，實現(xiàn)NN推理模型。（圖片來源：Microchip Technology）
在視頻系統(tǒng)實施過程中，主機處理器將從系統(tǒng)存儲器加載固件和網(wǎng)絡BLOB，并將其復制到雙數(shù)據(jù)速率 (DDR) 隨機存取存儲器 (RAM) 中供CoreVectorBlox塊使用。當視頻幀到達時，主機處理器將其寫入DDR RAM，并向CoreVectorBlox塊發(fā)出信號，以開始圖像處理。在主機運行網(wǎng)絡BLOB中定義的推理模型后，CoreVectorBlox塊將結(jié)果（包括圖像分類）寫回DDR RAM中，供目標應用程序使用。
開發(fā)流程簡化了NN FPGA實施
Microchip使開發(fā)人員避開了在PolarFire FPGA上實施NN推理模型的復雜性。NN模型開發(fā)人員無需處理傳統(tǒng)FPGA流程的細節(jié)，而是像往常一樣使用其NN框架，并將生成的模型加載到Microchip Technology的VectorBlox 加速器軟件開發(fā)工具包 (SDK) 中。SDK生成所需的一組文件，包括正常FPGA開發(fā)流程所需的文件和上文提到的固件和網(wǎng)絡BLOB文件（圖7）。
圖 7：VectorBlox Accelerator SDK 管理在 FPGA 上的 NN 模型實施細節(jié)，自動生成設計并運行基于 FPGA 的推理模型所需的文件。（圖片來源：Microchip Technology）
由于VectorBlox Accelerator SDK流程將NN設計置于在FPGA中實施的NN引擎之上，因此不同的NN可以在同一FPGA設計上運行，而無需重復FPGA設計綜合流程。開發(fā)者為生成的系統(tǒng)創(chuàng)建C/C++代碼，并能在系統(tǒng)內(nèi)快速切換模型，或使用時間切片同時運行模型。
VectorBlox Accelerator SDK將Microchip Technology Libero FPGA設計套件與NN推理模型開發(fā)的全套功能融為一體。除了模型優(yōu)化、量化和校準服務之外，SDK還提供了一個NN仿真器，能讓開發(fā)人員在FPGA硬件實施中使用其模型之前用相同的BLOB文件進行模型評估（圖8）。
圖8：VectorBlox Accelerator SDK提供了一套全面的服務，旨在優(yōu)化由框架生成的推理模型的FPGA實施。（圖片來源：Microchip Technology）
VectorBlox Accelerator SDK支持采用開放神經(jīng)網(wǎng)絡交換 (ONNX) 格式的模型，以及來自包括TensorFlow、Caffe、Chainer、PyTorch和MXNET在內(nèi)的多種框架的模型。可支持的CNN架構(gòu)包括MNIST、MobileNet版、ResNet-50、Tiny Yolo V2和Tiny Yolo V3。Microchip正在努力擴大支持范圍，將大多數(shù)網(wǎng)絡納入預訓練模型的開源式OpenVINO工具包開放模型動物園中，包括Yolo V3、Yolo V4、RetinaNet和SSD-MobileNet等。
視頻套件演示FPGA推理
為幫助開發(fā)人員快速啟動智能嵌入式視覺應用開發(fā)，Microchip Technology提供了一個全面的樣例應用，設計用于在該公司的MPF300-VIDEO-KIT PolarFire FPGA視頻和成像套件和參考設計上運行。
基于Microchip MPF300T PolarFire FPGA，該套件電路板結(jié)合了雙攝像頭傳感器、雙數(shù)據(jù)速率4 (DDR4) RAM、閃存、電源管理和各種接口（圖9）。
圖9：MPF300-VIDEO-KIT PolarFire FPGA視頻和成像套件及相關(guān)軟件能讓開發(fā)人員在智能嵌入式視覺應用中快速啟動基于FPGA的推理。（圖片來源：Microchip Technology）
該套件附帶一個完整的Libero設計項目，用于生成固件和網(wǎng)絡BLOB文件。將BLOB文件編程到板載閃存中后，開發(fā)人員點擊Libero中的運行按鈕即可開始演示，處理來自攝像頭傳感器的視頻圖像，并將推理結(jié)果在顯示屏上顯示（圖10）。
圖10：Microchip Technology PolarFire FPGA視頻和成像套件演示了如何設計和使用圍繞Microchip CoreVectorBlox NN引擎構(gòu)建的智能嵌入式視覺系統(tǒng)的FPGA實施。（圖片來源：Microchip Technology）
對于每個輸入視頻幀，基于FPGA的系統(tǒng)會執(zhí)行以下步驟（步驟編號與圖10相關(guān)）。
1. 從相機中加載一幀畫面
2. 將幀存儲在RAM中
3. 讀取RAM中的幀
4. 將原始圖像轉(zhuǎn)換為RGB、平面化RGB并將結(jié)果存儲在RAM中。
5. Mi-V soft RISC-V處理器啟動CoreVectorBlo x引擎，從RAM中檢索圖像，進行推理并將分類概率結(jié)果存儲回RAM中。
6. Mi-V使用結(jié)果創(chuàng)建一個包含邊界框、分類結(jié)果和其他元數(shù)據(jù)的疊加幀，并將該框架存儲在RAM中。
7. 原始幀與疊加幀混合并寫入HDMI顯示屏。
該演示支持Tiny Yolo V3和MobileNet V2模型加速，但需要開發(fā)人員改動少許代碼，將模型名稱和元數(shù)據(jù)添加到包含兩個默認模型的現(xiàn)有列表中，即可使用上述方法運行其他SDK支持的模型。
結(jié)論
NN模型等人工智能算法通常會施加計算密集型工作負載，這需要比通用處理器更強大的計算資源。雖然FPGA能夠很好地滿足推理模型執(zhí)行的性能和低功耗要求，但傳統(tǒng)的FPGA開發(fā)方法可能會很復雜，往往導致開發(fā)人員轉(zhuǎn)向不太理想的解決方案。
如圖所示，使用Microchip Technology的專用IP和軟件，沒有FPGA經(jīng)驗的開發(fā)人員也能實施基于推理的設計，更好地滿足性能、功耗以及設計進度要求。
免責聲明：本文為轉(zhuǎn)載文章，轉(zhuǎn)載此文目的在于傳遞更多信息，版權(quán)歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權(quán)問題，請聯(lián)系小編進行處理。
推薦閱讀：
