使用 Intel® Movidius™ Neural Compute Stick搭配Raspberry Pi 3執行MobileNets

引言

深度學習之於邊緣運算讓世界各地的創新開發者得以建立各種架構與裝置來解決問題，並提出像是內建了Intel Movidius VPU 的 Google Clips Camera 這樣的創新方案。邊緣裝置應該便於攜帶、低功耗但同時又能為深度學習神經網路提供一定彈性的架構。本文將說明如何使用使用 Intel® Movidius™ Neural Compute Stick (神經運算棒) 搭配Raspberry Pi 3 做為深度學習邊緣運算的解決方案。

應用多個現成的分類網路，有許多具備一定擴充性的網路都提供了一定的客製化程度，針對使用者不同的功耗、運算與精確度需求來提供合適的方案。Google MobileNets就是這類網路其中之一，提供兩個可修改的變數讓您自訂網路來解決問題，並可在這類型低功耗裝置上實現高運算效能與高精確度。

* 資料來源：https://research.googleblog.com/2017/06/mobilenets-open-source-models-for.html

第一個變數為輸入影像的大小。如上圖，複雜度與精確度會隨著輸入大小而改變。Google 已針對不同影像尺寸提供了預先訓練好的ImageNet分類檢查點。

第二個變數則稱為depth multiplier。雖然網路架構維持不變，調整這個depth multiplier 會影響每一層的頻道(channel) 數量，進而影響網路複雜度並精確度與 frame rate。一般來說，網路的 frame rate 愈高，精確度就愈低。

接下來會介紹如何安裝並執行NCSDK、下載NCAppZoo，以及在 Intel Movidius 神經運算棒上執行MobileNet。最後要使用NCAppZoo 來示範benchmarkncs app 的用途，它可收集一或多個接在電腦 (例如 Pi ) 上的Intel Movidius 神經運算棒之執行效能。

所需硬體

Raspberry Pi 3、電源與記憶卡 (外殼建議有，但非必須)

1. Raspberry Pi 3 外殼
2. Raspberry PI 3 Model B
3. micro SD記憶卡 (建議16g以上)
4. 支援 HDMI 接頭螢幕 (或其他規格的轉接線)
5. 鍵盤滑鼠
6. Intel Movidius Neural Compute Stick

Procedure

Step 1：安裝最新的Raspberry Pi 3 Raspbian OS

由樹莓派基金會取得最新的作業系統 Stretch img 檔之後，燒錄開機用的 sd卡。確認Raspberry Pi 開機並連上網路之後，使用以下指令更新系統：

注意：需使用 Raspbian Stretch，上一版 Jessie 確認不支援。

$ sudo apt-get update

Step 2：將 Intel Movidius神經運算棒插上Raspberry Pi 3 的 USB接頭

Step 3：安裝Intel Movidius Neural Compute SDK (NCSDK):

請用以下指令來下載並安裝NCSDK

$ git clone https://github.com/movidius/ncsdk
$ cd ncsdk
$ make install
$ cd ..

Step 4：取得NCAppZoo github

$ git clone https://github.com/movidius/ncsdk
$ cd ncappzoo

Step 5：執行benchmarkncs.py來收集MobileNets執行效能

$ cd apps/benchmarkncs
$ ./mobilenets_benchmark.sh | grep FPS

結果

在這些選項中，您一定可以根據自身的精確度與效能需求找到最適合的網路。下圖 (來源：Google’s blog) 可看出使用ImageNet分類時，精確度與效能的消長關係。圖中也可看到 Intel Movidius神經運算棒的效能(單位FPS，數據未經Intel原廠確認)。

* Network Accuracy Data from Google’s Blog https://research.googleblog.com/2017/06/mobilenets-open-source-models-for.html

如上圖，Raspberry Pi 3 搭配 Intel Movidius神經運算棒(橘色線)與單單使用Raspberry Pi 3 相比，前者執行 MobileNets 的FPS速度為後者的9倍 (參數皆為DepthMultiplier=1.0 / 輸入影像大小 = 224×224 / Top5 accuracy of 89.5%)。

Raspberry Pi 是一個相當不錯的開發平台。雖然單單使用Raspberry Pi 3 在推論上已能達到相當不錯的frame rate，NCS 卻硬是把效能提升一個量級，並讓這個平台在執行CNN-based的神經網路時的效能更好。如上表，Intel Movidius神經運算棒搭配Raspberry Pi 3 來使用 MobileNets進行推論運算的效能成長了 718% 到 1254%。

原文經Intel授權翻譯自：https://movidius.github.io/blog/ncs-rpi3-mobilenets/