資料名稱 : 雲端監控視訊處理平台 SDK 安裝與開發指南說明書版別 : 第 1.0 版雲端監控視訊處理平台 SDK 安裝與開發指南說明書版別 : 第 1.0 版總頁數 : 14 頁 ( 含封面及附件 ) 工業技術研究院資料 ITRI DOCUMENT 1

Size: px

Start display at page:

Download "資料名稱 : 雲端監控視訊處理平台 SDK 安裝與開發指南說明書版別 : 第 1.0 版雲端監控視訊處理平台 SDK 安裝與開發指南說明書版別 : 第 1.0 版總頁數 : 14 頁 ( 含封面及附件 ) 工業技術研究院資料 ITRI DOCUMENT 1"

横阿娄
4 years ago
Views:

1 雲端監控視訊處理平台 SDK 安裝與開發指南說明書版別 : 第 1.0 版總頁數 : 14 頁 ( 含封面及附件 ) 工業技術研究院資料 ITRI DOCUMENT 1

2 目錄一前言文件目的及範圍技術項目簡介專有名詞定義縮寫參考資料... 3 二應用範圍說明... 4 三安裝指南說明基本開發環境需求開發環境設定參數檔說明視訊處理模組移植編譯範例程式執行範例程式處理分析結果四視訊處理介面說明工業技術研究院資料 ITRI DOCUMENT 2

3 一前言 1.1 文件目的及範圍本文件描述雲端監控視訊處理平台之安裝及開發視訊處理模組程序, 包含基本開發環境需求開發環境設定, 以作為視訊處理模組開發者編譯及執行自行撰寫之程式, 整合至雲端監控視訊處理平台本文件也包含一範例程式, 描述如何實作必要之雲端視訊處理介面, 如何編譯及執行此範例程式, 並顯示此範例程式於雲端監控視訊處理平台之執行結果視訊處理模組開發者可根據此範例程式, 修改單機版之視訊處理模組, 並實作必要之雲端視訊處理介面, 即可整合至雲端監控視訊處理平台, 完成雲端化之目的 1.2 技術項目簡介本技術為應用於視訊監控之雲端運算平台, 提供學界將視訊分析演算法簡易地雲端化本平台可載入 AVI MPG MP4 3GP 等影片檔案, 採用 Plug-and-Play 之開放式程式介面, 提供學界將研發之視訊分析程式移植至本平台, 快速達成在雲端環境上處理大量監控影片之功能本平台將提供 VMWare Image, 供學界將 C/C++ 開發之視訊分析程式碼 ( 可使用 OpenCV) 編譯為動態函式庫, 將函式庫檔置放於本平台即可運行, 確保研發者智權 1.3 專有名詞定義雲端運算 (Cloud Computing) 是一種概念, 代表的是利用網路使電腦能夠彼此合作或使服務更無遠弗屆在實現概念的過程中, 產生出相應的技術其本質大沿襲自分散式運算 (Distributed Computing) 以及網格運算 (Grid Computing) 1.4 縮寫 VP :Video Processing IDE :Integrated Development Environment 1.5 參考資料 [1] Hadoop - Apache Hadoop. ( 工業技術研究院資料 ITRI DOCUMENT 3

4 二應用範圍說明視訊分析演算法有下述需求之一, 即可透過本平台輔助運算 : 演算法之運算量很高, 需要分散式運算及自動負載平衡 ; 需要同時處理大量影片 ; 有跨平台操作需求 ; 需要接取網路攝影機或多種格式之影片視訊分析演算法包含以下常見之應用 : 監視影片分析 : 如車牌辨識事件偵測物件檢索 ; 娛樂應用 : 如影片轉檔影片品質提升 ; 交通應用 : 如車流統計工業技術研究院資料 ITRI DOCUMENT 4

5 三安裝指南說明 3.1 基本開發環境需求本平台運行於 Ubunut Desktop 環境, 以動態連結 (SO) 運行視訊處理模組, 參賽者請採用本單位提供之雲端視訊處理驗證環境 (CloudVP IDE) 進行開發 CloudVP IDE 請至 VMware 官網下載 VMware Player, 以執行 CloudVP IDE 之映像檔, 下載網址為 : 請至本平台 FTP 下載虛擬映像檔 CloudVP IDE: ftp://e200.no-ip.org Username: itri Password:icl (ICL 小寫 ) 第一次載入映像檔會詢問 [I Move It] 或 [I Copy It], 選擇 Move It Windows 平台移植工具為提供參賽者自 Windows 移植程式碼至本平台,CloudVP IDE 中提供一使用 OpenCV 之人臉偵測範例, 並提供 Visual Studio C 專案作為參考, 參賽者需自備該 IDE 軟體參賽者之視訊處理程式碼視訊處理程式碼須採用 C/C++ 語言開發, 可使用 OpenCV SQLite 等函式庫, 但不可使用 MFC 物件 ( 例如 CString CList 等 ) 及 Win32 API ( 例如 GetSystemTime) 3.2 開發環境設定 VMware Player 執行 VMware Player, 載入 CloudVP IDE 之虛擬映像檔 :VMware Player \ [Player] \ [File] \ [Open], 開啟 Ubuntu-CloudVP.vmx 在 Ubuntu-CloudVP 的項目上點滑鼠右鍵, 執行 [Settings...] ( 如圖 1 所示 ), 依據參賽者電腦之硬體環境設定適當之參數, 其中 [Options] \ [Shared Folders] 用於設定虛擬電腦與實體電腦之對應關係, 用於在兩個環境中交換資料檔案,CloudVP IDE 預設之對應關係如下 : Windows 環境 ( 實體電腦 ) CloudVP IDE ( 虛擬電腦 ) C:\ D:\ /mnt/hgfs/c /mnt/hgfs/d 工業技術研究院資料 ITRI DOCUMENT 5

6 圖 1. VMware Player 載入 CloudVP IDE 之介面啟動 CloudVP IDE 後, 輸入使用者密碼登入後畫面如下, 桌面連結 Terminal 為主要工具圖 2. CloudVP IDE 桌面確認檔案資料 CloudVP IDE 中提供一人臉偵測之範例, 執行 [Terminal], 確認 CloudVP 資料夾內容如下 : 工業技術研究院資料 ITRI DOCUMENT 6

$圖 3. CloudVP IDE 檔案資料資料夾與檔案說明如下 : 資料夾 \ 檔案 ini\facedetection.ini src\tfacedetection.h src\tfacedetection.$

7 圖 3. CloudVP IDE 檔案資料資料夾與檔案說明如下 : 資料夾 \ 檔案 ini\facedetection.ini src\tfacedetection.h src\tfacedetection.cpp 說明人臉偵測範例參數檔人臉偵測 SO 範例標頭檔人臉偵測 SO 範例原始碼 VS2012 Windows 環境之 Visual Studio 2012 範例專案, 其中 3rdParty 為 OpenCV 函式庫將範例專案複製至 Windows 在 CloudVP IDE 中啟動 [Terminal] 程式, 輸入下列指令將所有檔案複製 Windows 之 D:\CloudVP: 於 Windows 建立 OpenCV 開發環境 cp -r./cloudvp /mnt/hgfs/d/cloudvp 將 Windows 之 D:\CloudVP\VS2012\3rdParty\dll\ 所有檔案複製到 C:\Windows\ 開啟 Windows 環境之測試專案執行 D:\CloudVP\VS2012\FaceDetection.sln, 其中包含兩個專案 :(1) FaceDetection.vcxproj 為移植前程式碼 ;(2) TestSO.vcxproj 為移植後之測試專案確認虛擬電腦之網路位址 ( 供網頁連結使用 ) 在 CloudVP IDE 中啟動 [Terminal] 程式, 輸入下列指令確認 IP: ifconfig 顯示如下圖之畫面, 可知虛擬電腦之網址為 , 於實體電腦之瀏覽器輸入下列網址即可存取 CloudVP 資料夾資料 : 工業技術研究院資料 ITRI DOCUMENT 7

8 圖 4. 網路位址偵測範例注意 : 若共享資料夾因故無法使用, 建議採 FTP 方式交換檔案工業技術研究院資料 ITRI DOCUMENT 8

9 3.3 參數檔說明本平台採用標準 INI 作為參數介接, 如下圖所示為人臉偵測範例之 INI 檔案, 說明如下 : Section Key 說明 Profile Name 定義模組名稱, 參賽者自訂 InitParam Value 建構子傳入之參數值, 以空白分隔範例 :(1) 偵測對照表檔名.xml 及 (2)Metadata 輸出檔名 PreParamK -- 處理視訊資料前之參數, 通常為使用者設定參數, 可省略 FuncID Value K=1,2,..., 用以區分多組參數值 ID=0,1,..., 用以對應到作用之程式碼參數值, 以空白分隔 PostParamK -- 處理視訊資料後之參數, 通常用於匯整處理結果, 可省略 FuncID Value K=1,2,..., 用以區分多組參數值 ID=0,1,..., 用以對應到作用之程式碼, 須與 PreParam 之 FuncID 不同參數值, 以空白分隔圖 5. INI 參數檔範例工業技術研究院資料 ITRI DOCUMENT 9

10 3.4 視訊處理模組移植 VS2012\FaceDetection.cpp 為一般 Windows 環境開發之視訊處理程式碼, 具幾項主要步驟 : (1) Line37~42: 載入視訊處理所需之對照表訓練集等 ; (2) Line44~50: 載入影片檔案 ; (3) Line53~78: 對每張畫面進行視訊處理 ; (4) Line61~62: 核心演算法, 對應至 Line17~28; (5) Line64~72: 顯示處理結果圖 6. 視訊處理模組移植前程式碼在本平台中, 僅需將上述步驟 (1) (4) (5) 轉換為開放式介面, 對應到下圖之實線框格之功能讀取影片檔及參數檔處理第 k 張畫面 processframe() 建構視訊處理 VP 物件 ( 傳入 InitParam) 影片結束? 是否設定影片寬高 setvideosize() 設定處理前參數 setparam() ( 傳入 PreParam) 通知影片結束 setendofvideo() 設定處理後參數 setparam() ( 傳入 PostParam) 顯示結果圖 7. 雲端監控視訊處理平台運算流程首先依標準介面, 設計視訊處理物件 (VP) 之標頭檔, 例如 TFaceDetection.h 參賽者將 Face Detection 相關名稱置換為自身模組名稱, 並將模組所需變數值置放於 Line43 後之區段工業技術研究院資料 ITRI DOCUMENT 10

11 圖 8. 移植視訊處理之標頭檔隨之將原本的程式碼移植到標準介面, 包含 : 建構子 TFaceDetection() 解構子 ~TFaceDetection() 處理畫面 processframe() 設定參數 setparam() 等, 因人臉偵測範例無需外部參數故無實作注意 : 視訊處理的結果必須要輸出至 metadata 的檔案中, 格式自訂, 不可直接顯示圖 9. 移植視訊處理之程式碼工業技術研究院資料 ITRI DOCUMENT 11

12 3.5 編譯範例程式當依標準介面實作完標頭檔 TFaceDetection.h 及程式碼 TFaceDetection.cpp 後, 將程式碼置放於 CloudVP IDE 之 CloudVP\src\ 參數檔置放於 CloudVP\ini 於 CloudVP IDE 中, 執行桌面 [Terminal], 輸入下列指令編輯 makefile 檔案 : gedit CloudVP/Makefile 如下例所示, 將模組所有程式碼檔案加到 Line4 / SRC 項目, 多個檔案以空白分隔 ; 將模組輸出之動態函式庫名稱定義於 Line5 / TARGET, 副檔名必須為.so 圖 10. 編譯 Makefile 範例編輯完成並儲存後, 於 CloudVP IDE 中, 執行桌面 [Terminal], 輸入下列指令編譯程式碼 : cd CloudVP make clean make 若程式移植不正確,g++ 編譯器將顯示錯誤訊息, 一般而言可能使用到 MFC 物件或 Win32 API 若編議正確, 將生成一個動態函式庫檔案 TFaceDetection.so 3.6 執行範例程式於 CloudVP IDE 中, 執行桌面 [Terminal], 輸入下列指令測試生成之動態函式庫 : cd CloudVP./PU./face.avi./FaceDetection.so./ini/FaceDetection.ini 其中為測試程式, 共傳入三個參數 :(1) 影片檔名 ;(2) 動態函式庫 so 檔名 ;(3) 模組參數檔 ini, 醒各檔名前均需加上./ 以免錯誤若程式正確執行, 將顯示每張畫面的執行狀態 :OK 或 FAIL 工業技術研究院資料 ITRI DOCUMENT 12

13 3.7 處理分析結果本範例將人臉偵測結果輸出至./output.meta, 定義於 TFaceDetection.ini 之 InitParam 本範例輸出之資料格式如下 : 人臉索引 FaceIdx, 畫面索引 FrameIdx, 人臉框左上座標 X, 人臉框左上座標 Y, 人臉框寬度, 人臉框高度, 時間戳記 Timestamp 0,0,158,221,55,55,0 1,0,337,246,56,56,0 2,0,44,219,64,64,0 3,0,549,228,69,69,0 0,1,159,220,56,56,120 1,1,549,229,67,67,120 2,1,336,246,56,56,120 3,1,48,218,68,68,120 0,2,212,29,44,44,160 1,2,160,219,55,55,160 圖 11. 輸出 Metadata 範例上述 metadata 可用於網頁介面呈現 ( 如下位址, 其中 IP 請修改為參賽者虛擬電腦之 IP), 或由參賽者自行撰寫 Windows/iOS/Android 程式讀入後呈現工業技術研究院資料 ITRI DOCUMENT 13

14 四視訊處理介面說明參賽人員需於視訊處理模組實作以下介面 : class VideoAnalyticsABC { public: VideoAnalyticsABC(){} virtual ~VideoAnalyticsABC(){} }; virtual bool setvideosize(int ivideowidth, int ivideoheight)=0; virtual bool processframe(unsigned char *pbinprgb24, UINT64 itimestampms)=0; virtual bool setendofvideo()=0; virtual bool setparam(int argc, char *argv[], int iid=0)=0; virtual bool setvideosize(int ivideowidth, int ivideoheight) 設定分析影片之解析度 Returns 回傳是否設定成功 virtual bool processframe(unsigned char *pbinprgb24, UINT64 itimestampms) 處理分析視訊內容的一張影像, 傳入此張影像的 RGB 內容和時間截記 Parameters pbinprgb24 影像的 RGB 內容, 格式固定為 :RGB24 itimestampms 影像的時間截記, 單位毫秒 Returns 回傳是否分析成功 virtual bool setendofvideo() 通知視訊處理模組此影片已結束, 此時視訊處理模組可將分析結果寫入到檔案或資料庫 Returns 回傳是否設定成功 virtual bool setparam(int argc, char *argv[], int iid=0) 設定分析影片之前或完成後所需的參數 Parameters argc 參數個數 argv 參數值 iid 對應至 INI 定義之 FuncID, 用於區隔處理前及處理後之參數設定功能 Returns 回傳是否設定成功工業技術研究院資料 ITRI DOCUMENT 14

(Microsoft Word - wes _\246p\246\363\250\317\245\316LED\277O\305\343\245\334\252\254\272A.doc)

$(Microsoft Word - wes _\246p\246\363\250\317\245\316LED\277O\305\343\245\334\252\254\272A.doc)$ 作者 Amber 版本 1.0.0 日期 2012/04/25 頁數 1/7 如何使用 LED 燈顯示狀態? 適用於 : 平台作業系統版本 XPAC utility 版本 XP-8000 系列 N/A N/A XP-8000-Atom 系列 WES2009 所有版本 N/A: Not applicable to this platform and OS. 注意! 欲變更系統的任何設定之前, 請先關閉

資料名稱 : 雲端監控視訊處理平台 SDK 安裝與開發指南說明書 版別 : 第 1.0 版 雲端監控視訊處理平台 SDK 安裝與開發指南說明書 版 別 : 第 1.0 版 總頁數 : 14 頁 ( 含封面及附件 ) 工業技術研究院資料 ITRI DOCUMENT 1

資料名稱 : 雲端監控視訊處理平台 SDK 安裝與開發指南說明書版別 : 第 1.0 版雲端監控視訊處理平台 SDK 安裝與開發指南說明書版別 : 第 1.0 版總頁數 : 14 頁 ( 含封面及附件 ) 工業技術研究院資料 ITRI DOCUMENT 1