Jetson Nano安裝及使用RealSenseD435

能在Jetson Nano上使用RealSense獲取影像深度資訊可以將材料費壓到一萬元出頭，做各式各樣立體視覺的專題。

自駕車是一直以來十分熱門的議題，但在早期的自駕車研發中，都會用上動輒數十萬、甚至到百萬的Lidar。Google早期研發的自駕車，為了全方位的安全，在一台車上就裝了四顆Lidar。過去想要體驗或研發自駕車跟立體視覺，通常都要先花一筆不小的費用。而現在想要體驗立體視覺，並製作自駕車的門檻已經大幅降低。Intel開發的景深攝影機RealSense D435提供的即時影像深度資訊，讓使用者可以在萬元以內體驗立體視覺，而且RealSense體積小，可以輕易地用於各式各樣有趣的應用。

本篇文章要跟大家介紹如何在Jetson Nano上安裝RealSense套件，以及一些簡易的應用。讓對影像深度資訊有興趣，又有一片Jetson Nano的使用者可以輕鬆入門。內文將會著重在RealSense於Jetson Nano上的應用，建議對Jetson Nano或是Linux系統有一些基礎再往下閱讀。

本文大綱

• 在Jetson Nano上安裝RealSense套件
• 測試RealSense的官方範例
• Jetson Nano搭配RealSenseD435溫度實測

在Jetson Nano上安裝RealSense套件

安裝RealSense是參考JetsonHacks的教學完成的，這個網站上有很多NVIDIA Jetson系列的文章以及影片，Github也十分豐富，誠摯地推薦給正在研究NVIDIA Jetson系列硬體的開發者。

安裝過程中會有幾個需要輸入密碼的地方，所耗費時間總約半小時。

Step 1. 設定Swapfile以解決記憶體不足的問題

git clone https://github.com/jetsonhacksnano/installSwapfile
cd installSwapfile
 ./installSwapfile.sh

重新啟動一下

sudo reboot

Step 2. 安裝RealSense套件

安裝的一開始，會跳出警告要你檢查沒有任何RealSense接在Jetson Nano上，確認完畢後按任意鍵就可以繼續安裝了。

git clone https://github.com/jetsonhacksnano/installLibrealsense
cd installLibrealsense
./installLibrealsense.sh
./buildLibrealsense.sh

安裝一個缺失的套件

sudo apt-get install libcanberra-gtk-module libcanberra-gtk3-module

安裝完後再次重新啟動

sudo reboot

安裝完成了，接下來就是測試範例讓RealSense動起來！

測試RealSense

打開terminal輸入以下指令，會跳出RealSense的操作界面。

realsense-viewer

Image may be NSFW.
Clik here to view.

將RealSense接上Jetson Nano後可以看到右上角建議你更新RealSense的韌體。點選「Install」更新，這邊會花一些時間。更新完成後如下圖。

Image may be NSFW.
Clik here to view.

將左側面板上的「Stereo Module」、「RGB Camera」都設定為「on」，就可以看到以下畫面，除了RGB Camera 拍到的串流影像之外，還有深度計算影像結果，可以看到兩個畫面的邊界有點差異，那是因為深度影像是多顆鏡頭的綜合結果，彩色影像是RealSense上 RGB Camera直接拍攝到的影像。

Image may be NSFW.
Clik here to view.

2D的兩個模式都有許多可以調整的參數，可以點選標題左側的三角形展開參數列表做調整。

Image may be NSFW.
Clik here to view.

3D模式下可以旋轉，可以下載3D點雲的檔案。有興趣的人可以進一步將檔案製作成可以3D列印的版本。

測試RealSense的官方範例

Image may be NSFW.
Clik here to view.

主要RealSense D435會用到的範例如下，下方包含T265的範例程式是針對追縱攝影機T265，在此不多著墨。

1.Tutorial 1 – 一個用ASCII顯示圖形的畫面

a.使用程式：python-tutorial-1-depth.py
b.執行成果圖：用ASCII code顯示深度影像

Image may be NSFW.
Clik here to view.

2.NumPy and OpenCV  – 測試OpenCV跟NumPy是否能順利使用

a.使用程式：opencv_viewer_example.py
b.執行成果圖：基礎的輪廓圖

Image may be NSFW.
Clik here to view.

3.Stream Alignment – 簡易的去背程式

a.使用程式：align-depth2color.py
b.執行成果圖：去背即時影像

Image may be NSFW.
Clik here to view.

4.RS400 Advanced Mode – 用於控制D400攝像機不同選項的高級模式界面範例

使用程式：python-rs400-advanced-mode-example.py

5.Realsense Backend – 使用後端接口控制設備的範例

使用程式：pybackend_example_1_general.py

6.Read bag file – 有關如何讀取bag文件並使用著色器在噴射色圖中顯示記錄的深度流的範例

使用程式：read_bag_example.py

7.Box Dimensioner Multicam – 用於控制D400攝像機不同選項的高級模式界面範例

使用程式：box_dimensioner_multicam_demo.py

8.Realsense over Ethernet  – 透過乙太網路做影像串流的教學文件

Jetson Nano搭配RealSenseD435溫度實測

點選「Software/軟體」搜尋Psensor並安裝，可以協助你監控Jetson Nano的溫度。

Image may be NSFW.
Clik here to view.

可以發現沒有加上風扇執行RealSense相關程式的時候，Jetson Nano溫度會高達52度。

Image may be NSFW.
Clik here to view.

有加上風扇後，執行RealSense相關程式的時候，自動降溫可以將系統維持在40 度上下。

Image may be NSFW.
Clik here to view.

可以參考Jetson Nano散熱風扇的教學，在terminal輸入以下指令：

sudo sh -c 'echo 255 > /sys/devices/pwm-fan/target_pwm'

強制將風扇風速調整至100％，就可以在五分鐘內降溫到24度左右！

所以建議想要在Jetson Nano上玩RealSense的人都幫它裝一顆風扇，讓開發板在適當的溫度下運作，可以延長開發板的使用壽命。

Image may be NSFW.
Clik here to view.

對Jetson Nano搭配RealSense有興趣的使用者，請繼續追蹤後續文章，或是有什麼感興趣的相關主題都可以跟我們分享唷！