ii

Transcription

1 國立勤益科技大學 資訊工程系研究所碩士班 碩士論文 以腦波為基礎之無線醫療輔助系統 EEG-Based Medical Assistant Systems with a Wireless Scheme 研究生 : 黃上銘 指導教授 : 林灶生教授 劉紹漢教授 中華民國ㄧ百零一年七月

2 ii

3 以腦波為基礎之無線醫療輔助系統 研究生 : 黃上銘 指導教授 : 林灶生博士 國立勤益科技大學資訊工程系研究所 摘要本論文主要利用電極銅片擷取人類大腦的腦電圖 (EEG) 訊號, 透過了腦機介面 (Brain Computer Interface, BCI) 硬體的處理以及軟體的分析, 將取得的腦波資訊, 藉由藍芽無線傳輸來控制醫療輔具 論文中提出腦波專心度訓練用軌道車 腦波驅動電動床以及腦波驅動電動輪椅等相關的腦波控制輔具, 文中呈現了包含腦波擷取 分析 所有軟硬體的製作以及最後的實際操作測試 本論文主要貢獻在於以 FPGA 晶片實現硬體電路, 以縮小硬體尺寸 實驗結果證明系統確實可以將腦波應用至醫療輔具系統的控制上, 希望未來可以不用透過手腳的操作, 僅用腦波以及臉部動作控制醫療輔具, 幫助諸如漸凍人之病患自由操控諸如電動輪椅之醫療輔具 關鍵字 : 醫療輔具 腦機介面 腦電圖 可程式邏輯閘陣列 i

4 EEG-Based Medical Assistant Systems with a Wireless Scheme Student: Shang-Ming Huang Advisor: Dr. Jzau-Sheng Lin Department of Computer Science and Information Engineering National Chin-Yi University of Technology ABSTRACT In this thesis, the use of electrodes to capture the human brain electroencephalogram (EEG) signals through a BCI (Brain Computer Interface BCI) was proposed. In our BCI system, hardware and software were combined to extract brainwave information to control the medical assistant systems by means of bluetooth interface. Several medical assistant systems such as EEG-based toy car with the attention signal, brainwave- control electric bed, and EEG-based electric wheelchair were proposed. Brainwave extraction and analysis, hardware and software implementation, and system testing are also demonstrated in this thesis. The main contribution of this thesis is to design systems by means of FPGA chip in order to shrink the size of the hardware. Experimental results have shown that our system really can be use brain waves to control medical assistant systems. We hope that the patients can only use brain waves and facial movements to control medical assistant systems like electric wheelchairs without going through the operation of the hands. Keywords: medical assistant system, Brain-computer interface (BCI), EEG, field-programmable gate array (FPGA) ii

5 誌謝本論文能夠完成, 首先我要感謝我的指導老師林灶生教授, 在碩士兩年以來耐心的指導, 當我遇到困難時, 不斷給我想法及方向, 亦教導我很多關於腦波重要的知識, 提供軟體及硬體方面的資源, 最後在撰寫碩士論文期間, 老師也花很多時間指導及修正, 讓我論文能夠更加完善 接著, 我要感謝劉紹漢老師從大學時期就教導我在軟硬體方面技術 在口試期間, 感謝鄭國順教授與張蓺英教授對論文給予寶貴的建議與指導 感謝林學儀老師給予很多的幫助 研究所期間承蒙廖又儀學姐 楊文鎮與呂彥甫學長在我研究中給了我許多建議與支持 感謝一路陪找我從大學到研究所的同學 -- 守紘 家祥 世威以及育嘉 -- 一同討論問題, 一同度過這充滿歡笑與挑戰的六年 感謝秉叡 倍瑜 宇揚及正洪學弟在研究上幫忙做實驗 此外, 亦感謝平時幫助我的同學 最後我要感謝我的父母, 讓我在求學期間不斷的給我照顧與關懷, 讓我能無憂無慮的完成學業 黃上銘 2012 年 7 月勤益資工 iii

6 目錄 中文摘要.. i 英文摘要.. ii 誌謝.. iii 目錄.. iv 表目錄.. v 圖目錄.. vi iv

7 第一章緒論 研究背景 研究動機與目的 論文架構... 6 第二章系統設計原理與方法 腦波擷取與分析 訓練專心度軌道賽車 腦波驅動電動床 腦波驅動電動輪椅 第三章系統實驗結果 專心度分析 訓練專心度軌道賽車 腦波驅動電動床 腦波驅動電動輪椅 第四章討論和結論 參考文獻 附錄... 錯誤! 尚未定義書籤 v

8 表目錄 表 2.1 RAW EEG 封包格式 表 2.2 LONG EEG 封包格式 表 2.3 LCD 畫面顯示說明 表 3.1 腦波驅動電動床測試結果 表 3.2 腦波驅動電動輪椅測試結果之ㄧ 表 3.2 腦波驅動電動輪椅測試結果之二 表 4.1 輪椅功能比較 vi

9 圖目錄 圖 2.1 NEURON 公司的 SPECTRUM-5 腦波測量設備... 8 圖 2.2 NEUROSKY 公司的 MINDSET 腦波意念耳機... 9 圖 2.3 人腦的構造 圖 2.4 腦波 系統 圖 2.5 腦波分析專心度流程圖 圖 2.6 使用 MATLAB 分析腦波頻譜 圖 2.7 使用 MATLAB 分析專心度... 圖 2.8 專心度分析結果圖 圖 2.9 練專心度軌道賽車架構圖 圖 2.10 SPCE61A IO 架構圖 圖 2.11 軌道車系統電路圖 圖 2.12 訓練專心度軌道賽車顯示面板 圖 2.13 SPCE61A 系統架構圖 圖 2.14 SPCE61A 微控制器系統板 圖 X2 LCD 內部架構 圖 2.16 軌道車 PWM 架構 vii

10 圖 2.17 音樂播放架構 圖 2.18 藍芽接收板架構 圖 2.19 軌道賽車軟體流程圖 圖 2.20 腦波專心度訓練用軌道賽車圖 圖 2.21 軌道賽車控制盒內部 圖 2.22 腦波驅動電動床系統架構圖 圖 2.23 RN41 藍芽接收模組 圖 2.24 XC3S400 FPGA 平台 圖 2.25 XC3S400 FPGA 平台架構圖 圖 2.26 XILINX ISE 軟體開發圖 圖 2.27 電動床 FPGA 內部架構圖 圖 2.28 系統除頻電路架構圖 圖 2.29 資料輸入前置處理架構圖 圖 2.30 RN41 輸入資料實際擷取圖 圖 2.31 藍芽接收腦波訊號處理電路架構圖 圖 2.32 眨眼判斷處理架構圖 圖 2.33 LGM 顯示器處理系統架構圖 viii

11 圖 2.34 電動床輸出控制架構圖 圖 2.35 資料輸入封包處理流程圖 圖 2.36 馬達控制電路圖 圖 2.37 電動床模式切換順序 圖 2.38 腦波驅動電動床實體照片 圖 2.39 腦波驅動電動輪椅系統架構 圖 2.40 腦波擷取模組架構圖 圖 2.41 感測端規劃流程圖 圖 2.42 雙通道腦波擷取盒電路圖 圖 2.43 TGAM1 EEG 晶片 圖 2.44 EEG 晶片架構圖 圖 2.45 TGAM1 EEG 封包擷取 圖 2.46 HL-MD08R 藍芽接收模組 圖 2.47 藍芽連線參數 圖 2.48 藍芽參數設定程式 圖 2.49 雙通道腦波擷取盒 LAYOUT 圖 圖 2.50 雙通道腦波擷取盒實體圖 ix

12 圖 2.51 XC3S500E FPGA 平台實體圖 圖 2.52 FPGA 周邊 IO 架構圖 圖 2.53 FPGA 系統內部架構圖 圖 2.54 除頻電路架構 圖 2.55 超音波距離感測器模組 圖 2.56 長距離超音波測試波形 ( 放大時間軸 ) 圖 2.57 長距離超音波測試波形 圖 2.58 短距離超音波測試波形 ( 放大時間軸 ) 圖 2.59 短距離超音波測試波形 圖 2.60 超音波控制電路架構 圖 2.61 超音波接收流程 圖 X64 點矩陣繪圖型 LCD 顯示器 圖 2.63 LCD 控制電路架構 圖 2.64 腦波資料處理流程圖 圖 2.65 資料輸入處理硬體電路圖 圖 2.66 馬達控制電路架構圖 圖 2.67 輪椅驅動控制硬體架構圖 x

13 圖 2.68 電動輪椅馬達驅動電路架構圖 圖 2.69 輪椅馬達驅動電路板之電路圖 圖 2.70 電動輪椅主要硬體實際圖 圖 2.71 電動輪椅 LCD 以及超音波模組安裝圖 圖 2.72 電動輪椅超音波模組偵測方向圖 圖 2.73 腦波驅動電動輪椅操作的流程圖 圖 2.74 LCD 主要畫面 圖 2.75 LCD 主要畫面 圖 2.76 輪椅右轉角度選擇畫面 圖 3.1 專心度分析結果圖 圖 3.2 實驗空間 圖 4.1 輪椅架構比較 xi

14 第一章緒論 1.1 研究背景 人類大腦的研究 [1-32], 在近幾年中是相當熱門的領域之ㄧ, 但是應用在日常生活中諸如腦波控制的相關產品依然很少 透過腦波控制的結果, 理論上可以結合很多生活上相關的系統, 這些腦波控制相關的系統從醫療用途 娛樂 教育甚至移動裝置的開發, 漸漸的在國內外都有相關新聞或是影片報導, 其中最重要的就是, 可以直接透過腦波擷取裝置, 將腦電波訊號擷取轉換成腦電波圖 (Electroencephalograms, EEG) 訊號, 以達到裝置控制的目的 人類日常生活, 所有動作都是需要透過大腦發出訊號, 透過神經傳遞, 最後再由肌肉接收訊號做出相對應的動作 而這些訊號近年來透過科學家跟專家的研究, 就發展出各種腦波分析擷取的系統, 而這種系統介面則稱作腦機介面 (brain computer interface, BCI) - 1 -

15 BCI 介面 [3-27] 不僅只有一種, 依照不同需求不同應用, 可從最簡單的可攜帶式單一通道的腦波擷取器到 256 通道的腦波擷取平台, 它們所使用的環境和應用是完全不同的 隨著科技越來越進步, 腦波擷取裝置也趨向為可攜帶式的 使用者不需要再受到龐大的儀器限制, 只要使用可攜帶式的腦波擷取器就可以將 EEG 訊號傳輸至其他裝置或是儀器上 ; 擷取方式也從侵入式進化到使用導電膠的電極帽, 再進步到電極導電銅片貼片式 操控平台隨著使用電腦, 逐漸開發出以嵌入式系統並透過無線傳輸模組就可以簡單使用 BCI 介面, 進而可將 BCI 裝置應用在不同的領域中, 已不再受限於只能在實驗室中使用專業儀器才能使用腦波控制 目前已有相當多研究投入 BCI 的研究中, 諸如 [3-9] 將 BCI 介面結合機器人使用腦波驅動機器人, 其中也包含了各種腦波的使用方式, 有需要經過長期訓練的方式之後再分析出控制訊號以控制機器人, 也有使用多通道抓取控制訊號的方式,[10-13] 為利用 BCI 介面結合控制應用的研究, 其中 [12] 是將腦波應用至游標的控制,[13] 結合虛擬實境的技術, 使用腦波控制虛擬實境遊戲,[14-15] 中則是利用腦波分析駕駛精神狀態,[15] 是建構 BCI 系統並透過虛擬實境去模擬駕駛環境, 分 - 2 -

16 析駕駛睡眠情況進而提醒駕駛 [17-20] 則將 BCI 結合至輪椅, 使用腦波控制輪椅 [17-19] 是使用電極帽的方式擷取腦波, 因此使用上很不方便, 除了穿戴時需要花較多時間以外, 使用時還需要將頭皮注入電極膏, 長時間使用很不方便 此外,[17] 的問題在於系統過於龐大, 而且所有設備中大部分是不可移動的, 在輪椅應用中如果系統無法跟著輪椅移動, 則將無法實際使用 [20] 中是使用單通道擷取腦波即可控制輪椅, 但是使用者還是需要透過笨重的筆記型電腦的界面才能控制輪椅, 而且使用 MATLAB 介面控制, 透過軟體計算方能控制硬體, 系統因轉換以及傳輸更會產生延遲時間, 控制時自然產生延遲 本篇論文提出一套無線介面且完全不需使用電極帽, 系統體積更做有效的縮小以方便輪椅移動, 且完全以硬體電路實現, 減少因為介面轉換或是傳輸所造成的延遲 生活上導致手腳無法正常運作的原因, 包括有車禍或是其他外力因素使得脊椎無法傳遞訊號而致全身癱瘓, 或是肌肉萎縮而無法使力 目前世界上五大絕症之一 漸凍人症, 又稱肌萎縮性脊髓側索硬化症 (ALS, Amyotrophic lateral sclerosis) 或是叫路格瑞氏症 (Lou Gehrig's disease) 患有這種病的病患, 肌肉會逐漸的萎縮, 而且目前除了少數 - 3 -

17 因為遺傳原因, 其餘大部份發病的病患都是不明原因 而會導致手腳癱瘓的病症另外一種比較常見的就是 小兒麻痺症, 正確名稱是脊髓灰質炎 (Poliomyelitis, Polio) 或是叫急性灰白髓炎, 因為發病期為五歲之前故有此稱 小兒麻痺症的患者, 其病毒會侵入脊椎神經導致手腳癱瘓, 其他還有貝克型肌肉萎縮症 脊髓性肌肉萎縮症 裘馨氏肌肉營養不良症 等各種遺傳性或是基因缺陷原因也是會導致肌肉萎縮 但是這些手腳無法行動的病患大部分人大腦還是可以正常運作, 可是卻因為無法控制自己身體, 對自己或是家人都是一種很沉重的負擔跟壓力 - 4 -

18 1.2 研究動機與目的 在近幾年, 因為上述的一些原因造成手腳行動不便的人, 到目前為止都需要旁人來幫忙協助, 才能使得這些本身不方便移動的人得到正常生活起居照料 但是長期下來不論是對患者或是家屬都是一種負擔, 目前所有的醫療輔具例如傳統的輪椅或是升降床鋪, 都還是需要藉助手部強大的力量的控制才能使裝置移動 因此為了達到省力的目的, 相關廠商陸續開發出各種電動醫療輔具, 但是這些醫療輔具最終都還是需要使用手部去操作控制器, 而手腳完全癱瘓的病患對於需要手部操作的控制器而言, 還是無法正常的使用這些裝置 本篇論文則提出腦波控制電動醫療輔具應用, 透過本篇論文所提出的系統, 患者就不需要透過手腳肌肉, 也可以直接使用腦波控制讓輪椅移動或是使電動床的床台升降 本篇論文首先提出腦波分析, 接著敘述如何以腦波控制電動軌道車, 接下來將說明如何將腦波用來驅動電動床, 最後著墨於如何以腦波控制電動輪椅 - 5 -

19 1.3 論文架構 本論文主要由六個主體架構所組成, 各章節的概要說明如下 : 第一章 第二章 緒論 : 簡單說明本論文研究背景 研究動機及研究目的 系統原理與系統設計 : 本章節描述所使用到的系統運作原 理, 以及系統各個部分軟硬體功能架構, 最後將各部份電路 做系統整合 第三章 第四章 系統實驗結果 : 說明本論文相關實驗的測試結果 討論與結論 : 本章節就本研究相關系統做結論探討, 以及提 出實驗中遇到問題的解決方法, 最後提出需改進的方法以及 未來研究的方向 - 6 -

20 第二章系統設計原理與方法 本章節中, 將依腦波擷取原理與分析方法 硬體設計之系統架構, 以及腦波專心度訓練用軌道車 腦波驅動電動床 腦波驅動電動輪椅 系統所使用的各種開發環境做詳細介紹 2.1 腦波擷取與分析 腦波擷取之方法包括了侵入式與非侵入式 [39], 目前大部分使用的都是使用非侵入式的, 使用方式也比較簡單 但是以訊號品質而言侵入式的抗干擾及阻抗都比非侵入式的佳, 非侵入式在醫療用途上面需要使用電極銅片, 依照國際制定標準, 將頭頂使用尺規作測量, 然後在依照比例在頭皮上做上記號, 接下來再將電極銅片使用導電膠固定在頭皮上面, 最後再使用膠帶固定 就測量以及固定電極而言非常浪費時間, 不過這種方式也是最標準的量測方式 後來廠商則開發出如圖 2.1 所示頭套式的電極帽, 使用了頭套式的電極帽, 電極帽子還是依照腦波擷取國際標準將電極點作佈署並固定在電極帽上面了, 使用者只需依照頭形大小, 選擇不同尺寸的電極帽, 就可以快速將電極點安 - 7 -

21 置在頭皮上面 但電極帽需要搭配水性的導電膏來使用, 使用者配戴好之後, 因為電極點本身頭皮跟電擊本身有著頭髮阻隔, 所以需要將頭髮撥開, 再注入導電膏將頭皮和電極點中間間隙填補以減少電阻抗, 之後透過電極帽導線連接到裝置本身, 最後裝置即可將大腦微弱的腦波訊號擷取並載入平台做分析以及研究 圖 2.1 Neuron 公司的 spectrum-5 腦波測量設備 [40] 上述系統較為複雜且均為實驗室使用系統, 而且還需要搭配高效能 電腦系統平台方能操控自如, 更需要使用導電膏, 實驗完之後還得清 洗頭皮以及頭髮, 所以在應用上面侷限於原始資料分析 - 8 -

22 為了方便於遊戲的應用, 美國 NeuroSky 公司 [41] 提出了一款 MindSet 腦波意念耳機如圖 2.2 所示,MindSet 可以更簡單更快速的配帶, 而且本身內部包含可充電鋰電池以及無線藍芽模組, 使用者直接配戴上, 耳機上貼近耳朵部份會有導電的電極分別為參考電位以及抗雜訊接地, 前額則需貼緊腦波擷取的導電電極, 透過腦波意念耳機, 就能將腦波訊號擷取, 再經藍芽介面傳輸至接收平台, 接收平台則依照使用方式不同, 可以用個人電腦或是嵌入式系統來做資料的分析以及處理, 即可將腦波訊號轉換成控制指令做系統裝置的控制 圖 2.2 NeuroSky 公司的 MindSet 腦波意念耳機 [41] - 9 -

23 圖 2.3 人腦的構造 [1] 如圖 2.3, 人類大腦的構造可以分成 : 額葉 ( 紅色 ) 頂葉 ( 橙色 ) 顳葉 ( 綠色 ) 枕葉 ( 黃色 ) 小腦( 藍色 ) 腦幹 ( 灰色 ) 部分, 大腦包含了額葉 頂葉 枕葉 顳葉 島葉等部分, 額葉部份負責人類思考 語言以及運動, 頂葉部份負責有關於體感的能力, 枕葉則負責視覺, 顳葉則包含聽覺以及杏仁核和海馬體 杏仁核為人類情緒的表現區域, 而海馬體則負責記憶功能, 島葉則為人類情感的表現, 小腦則是協調性和運動的控制, 最後腦幹則連接大腦以及神經的傳輸, 而且腦幹也包含人類基本生理活動機能的維持, 其中包括了呼吸 心跳以及血壓等重要器官運動的維持 本研究所擷取的大腦訊號皆是葉額部

24 分的活動訊息 圖 2.4 腦波 系統 依照圖 2.4 國際標準腦波系統, 使用 MindSet 耳機在 PF1 點擷取訊號, 參考電位使用 A1 點, 訊號透過藍芽介面, 傳送至電腦, 所繪出來的原始 RAW_EEG 腦波圖就如圖 2.6 所示 腦波訊號分析依照不同頻率可以分成 :δ(delta) 波 (0-4 Hz) θ(theta) 波 (4-8 Hz) α(alpha) 波 (8-13 Hz) β(beta) 波 (13-30 Hz) 和 γ(gamma) 波 ( Hz), 這些頻率是依照人類精神狀態來分的頻段,δ 是表示人類在深度睡眠無意識時所呈現

25 的狀態, 透過 δ 波就可以分析出來精神狀況是否進入緩慢狀態,θ 波的強弱則可以看出人類大腦活動是否呈現了意識模糊的狀態, 亦即可能呈現打瞌睡或是發呆恍神狀態或是放鬆 透過 α 波的分析, 可以判讀人類是否呈現精神專注的狀態, 注意力是否已經集中起來 而 β 波可以分析出來精神狀態是比較緊張或是很焦慮的狀態或是精神比較亢奮的情況 γ 波則是需要經過長期訓練或是修行才能產生 γ 波, 因為 γ 波研究還有很多部份研究是不確定的, 因此本論文不加以討論 γ 波, 而已 α 波以及 θ 波分析出專心度以及放鬆度為重點 首先先針對腦波做分析, 分析流程圖如 2.5 所示, 系統將 512 筆原始腦波資料從藍芽接收, 透過 512 階快速傅立葉變換 (Fast Fourier Transform, FFT) 將原始腦波資料轉成如圖 2.6 中的頻譜 快速傅立葉變換是透過離散傅立葉變換簡化計算量而來的, 透過離散傅立葉轉換如公式 (2.1), 可將離散資料從時間域轉換至頻率域, 將單位時間內的訊號, 抽取出各頻率點的訊號強度 若以每秒 512 筆來計算, 計算量將從 降低至 4608 次的計算 將資料轉換至頻率域之後, 可以抓取到原始腦波每秒 512 筆資料的頻譜強度, 接著取平均值可以求得 α

26 波, 在研究中的觀察以及參考文獻 [15] 中指出,α 波的如果變化量越大, 則就是不專心的情況, 反之若再保持專心時, 波形也會相對呈現穩定收斂 在 [15] 中是使用馬式距離作計算, 在圖 2.7 中呈現的波形, 資料形式並不會複雜, 要計算波形穩定度, 只需要計算每次波形上下擺動的距離, 則就可以求得每次波形的變化量 透過計算求出 α 波變化量, 經過正規化計算後就可以將專心度正規化成分數評比 腦波原始資料 512 階快速傅立葉轉換 取 9~14Hz 訊號平均強度 儲存連續五筆資料 計算變化量 正規化 圖 2.5 腦波分析專心度流程圖 圖 2.6 使用 Matlab 分析腦波頻譜

27 N [ ] X k n 1 0 x[ n] e j(2 / N ) kn, k 0,1..., N 1 (2.1) 為了增加穩定度, 在計算每次波形移動距離量時, 我們提取 5 秒鐘的 α 波平均訊號強度, 計算方式如公式 (2.2) 和 (2.3), 公式 (2.2) 計算平均值, 公式 (2.3) 求得標準差, 透過計算標準差, 可以計算出多筆資料的數值變化量, 公式中提取 5 次資料資料量 (N=5),Xi 則為輸入五次 α 波訊號強度, 最後計算正規化, 如果計算出來的平均標準差為 0, 代表專心度高, 正規評分就是 100 分, 如果計算出來平均標準差數值大於某個閥值, 就代表連續五次的 α 波訊號擺盪過大, 評分就是 0 分屬於不專心的情況, 如圖 2.7 左下所示 在研究中我們取得之專心度 (Attention) 與原廠晶片取得之專心度做一比較以驗證系統之準確性, 比較結果如圖 2.8 所示 u 1 N N i 1 Xi (2.2) N 1 2 ( X i u) (2.3) N i

28 圖 2.7 使用 matlab 分析專心度 圖 2.8 專心度分析結果圖 ( 上圖為使用本篇研究結果下圖為原廠晶片 )

29 2.2 訓練專心度軌道賽車 系統簡介 訓練專心度軌道賽車, 主要是利用了意念耳機, 擷取腦波的訊號, 透過了藍芽傳輸, 經由藍芽接收器和 PIC 控制 IC 組成藍芽接收板, 再將資料傳給 SunPlus SPCE61A 作為系統平台作整合控制, 並產生控制 PWM 訊號給軌道車 在軌道車中, 設計了兩組電路, 因此可以用做競速比賽, 其原理主要是以使用者專注力來做為遊戲的成績評比, 當使用者專注度低的時候, 軌道車並不會啟動, 當專注度到一定數值時, 軌道車就會開始以慢速行駛, 而專注度越高的時候, 軌道車的速度就會增快, 達到娛樂及專注度訓練的目的 系統架構 透過意念耳機所擷取到的腦波訊號, 設計了以專注力為主的專注賽車 如圖 2.9 所示為本系統的基本架構圖, 主要分為 EEG 訊號擷取 傳送以及訊號處理分析與顯示兩部份 腦波擷取則利用美國 NeuroSky 公司的意念耳機 MindSet 藉由耳機上的電極擷取腦波訊號, 再透過耳

30 機內建的藍芽無線模組傳送 在接收部份, 整合 RN-41 藍芽模組, 並以 PIC30F13 晶片做為藍芽訊號接收的 MCU, 將所接收的電波訊號完整分析出 Attention Meditation 兩種數位訊號, 利用 UART 傳輸至凌陽公司的 SPCE61A 平台處理後產生控制訊號, 其中控制部份有顯示面板顯示系統狀態, 最後 SPCE61A 會依照 Attention 與遊戲之設定值利用 PWM 電路透過 SSR 控制軌道車的速度 EEG EEG CHIP Bluetooth Bluetooth MCU PIC30F13 Sunplus SPCE061A DISPLAY PANEL SET BUTTON SSR MOTOR 圖 2.9 訓練專心度軌道賽車架構圖 系統單晶片 SPCE61A 所負責的工作則是整合所有周邊電路, 圖 2.10 為 SPCE61A 的周邊架構圖, 圖中所示的 SPCE61A 輸入部分有藍芽模組接收介面以及面板設定按鈕, 輸出的部份則透過 SPCE61A 直接控制 LCD 顯示器以及七段顯示器和喇叭輸出

31 圖 2.11 為軌道車系統電路圖, 最左邊電路使用 7805 穩壓 IC 做為電源分配, 因為有兩組軌道賽車, 所以電路也使用兩組的電路板設計, 每一組均包含了設定按鈕 藍芽接收 LCD 顯示器 以及七段顯示器, 面板包含兩組的設定按鈕和 LCD 顯示器以及七段顯示器 bluetooth 16 x 2 Character LCD SPCE061A 7-segment display Set button SPEAKER PWM OUTPUT 圖 2.10 SPCE61A IO 架構圖 顯示面板 如圖 2.12 所示顯示面板上分別為左右兩組遊戲顯示及設定, 其中 設定按鈕包含遊戲開始 設定點數 設定難度 重新開始, 顯示部份 包含 16x2 文字型 LCD 顯示器以及兩位數的七段顯示器

32 圖 2.11 軌道車系統電路圖

33 圖 2.12 訓練專心度軌道賽車顯示面板 硬體設計 SunPlus SPCE61A 腦波專心度訓練用軌道車的主要控制晶片是使用了凌陽科技公司生產的 16 bit 單晶片的 SPCE61A 微控制器, 採用了 μ nsp TM (Microcontroller and Signal Processor)16 bit 處理器晶片之 CPU, 主要控制板上提供了 ICE( 線上即時模擬 / 除錯 ) 通用 I/O 埠 計時 / 計數器 中斷控制 CPU 時脈鎖相迴路 (PLL) UART( 通用非同步串列輸入輸出介面 ) SRAM( 靜態記憶體 ) 與 FLASH( 快閃記憶體 ), 其完整系統架構圖, 如圖 2.13 所示

34 ICE_EN ICE_SCK ICE_SDA 16 位元微控制器 μ nsptm + ICE FLASH RAM 雙 16bit 計時器 / 計數器時脈中斷控制 VCP XI/R XO PPL 鎖相迴路振盪器 CPU 時脈即時時脈 7 CH 10bit ADC 1CH WDC+AGC MIC_IN 低電壓監測低電壓重置 2 CH 10bit DAC AUD1 AUD2 UART IBO0 (SCK) IBO1 (SDA) 32Pin INPUT/OUTPUT PORT IOA15-0 IOB15-0 圖 2.13 SPCE61A 系統架構圖 圖 2.14 為 SPCE61A 微控制器系統板, 其 SPCE61A 特性如下 : 16 bit μ nsp TM 微處理器 ; 工作電壓 :VDD 為 2.6~3.6V(CPU),VDDH 為 VDD~5.5V(I/O); CPU 時脈 :0.32MHz~ MHz; 內建 2K Words 的 SRAM; 內建 32K Words 的 FLASH; 可程式音頻處理

35 系統處於備用狀態下 ( 時脈處於停止狀態 ), 耗電小於 2μA 3.6V; 2 個 16 bit 可程式計時器 / 計數器 ( 可自動預設初始計數值 ); 2 個 10 bit DAC( 數位 - 類比轉換 ) 輸出通道 ; 32 位通用可程式輸出 / 輸入埠 ; 14 個中斷源可來自計時器 A / B,2 個外部時脈輸入, 鍵喚醒 ; 具備觸控喚醒功能 ; 使用凌陽音頻編碼 SACM_S240 方式 (2.4K bit / 秒 ), 能容納 210 秒的語音資料 ; 鎖相迴路 PLL 振盪器提供系統時脈信號 ; 32768Hz 即時時脈 ; 7 通道 10 bit 電壓類比 - 數位轉換器 (ADC) 和 1 個單通道的聲音專用類比 - 數位轉換器 ; 聲音類比 - 數位轉換器輸入通道, 內建麥克風放大器和自動增益控制 (AGC) 電路 ; 具備串列設備介面 ; 具有低電壓重置 (LVR) 功能和低電壓監測 (LVD) 功能 ; 內建線上模擬電路 ICE (In-Circuit Emulator) 介面 ;

36 具有保密能力 ; 具有看門狗 (WatchDog) 功能 圖 2.14 SPCE61A 微控制器系統板 x2 文字型 LCD 顯示器 文字型 LCD 顯示器最主要內部是由一顆 DDRAM 以及 CGROM 所組合而成, 架構如圖 2.15 所示, 顯示器顯示部份有 16x2 格可以顯示, 使用者只需要將資料, 透過 DATA BUS 傳送 ASCI 碼至相對應的 DDRAM 位址, 接著會透過 DDRAM 將資料送至 CGROM 去查 ASCII

37 表, 便可將字型顯示到畫面上, 架構圖 2.16 中的 CGRAM 是留給使用 自行繪圖用使用,40bit 的 shift 則是將畫面左右 40 的位址資料做掃描 使用, 可以將顯示畫面左右移動 圖 x2 LCD 內部架構 PWM 軌道車速度控制 實驗中所使用的是一般市售的軌道車, 經由軌道提供電力給車子 內部的馬達, 馬達再傳輸至車子的後輪推動車子, 而如果要控制車子 移動的速度, 則就需要改變馬達所獲得的電壓大小, 以控制軌道車的

38 快慢 因此透過圖 2.14 架構圖中, 使用計數器, 設計出使用 PWN 相位調變技術, 透過 PWM 調變軌道車輸出的電壓值 因為軌道車的馬達耗電量比較大, 所以在 PWM 輸出中還需使用 SSR 固態繼電器來做快速開關使用, 使用 SSR 取代 RERAY 繼電器目的在於, 使用 RERAY 除了有接點損耗問題, 最重要就是傳統 RERAY 在開關切換時候會產生機械動作延遲時間, 而 PWM 本身是需要高速切換才能達到調變電壓, 如果使用傳統 RERAY 除了壽命會因為長時間快速動作而損耗以外, 最重要是延遲時間造成無法正確達到 PWM 調變的正確時脈,PWM 至馬達控制完整架構如圖 2.16 所示 電源輸入 SPCE061A PWM 輸出 SSR 控制開關軌道車軌道軌道車馬達 圖 2.16 軌道車 PWM 架構 音樂播放 為了讓遊戲更有趣, 所以在遊戲結束時增加了過關音樂, 而過關

39 音樂主要是透過 SPCE61A 板控制, 使用音樂播放功能一開始, 需要在電腦編輯 WAV 音效檔案, 並將檔案燒錄至 SPCE61A 板如圖 2.13 架構圖的 FLASH 中, 透過程式的控制, 啟動內部 DAC 電路,SPCE61A 板會將內部所儲存的 WAV 無壓縮音效檔案直接透過 DAC 轉換輸出, 接著透過 SPCE61A 板上 OPA 放大電路輸出至喇叭, 就可以將錄製的 WAV 檔案播放, 音樂播放架構圖如圖 2.17 所示 電源輸入 SPCE061A FLASH 音樂資料 D/A 數位類比轉換 OPA 運算放大器 喇叭 圖 2.17 音樂播放架構 藍芽接收板 在腦波資料接收中, 電路並不是直接將藍芽接收模組 RN41 接至 SPCE61A, 而是透過了藍芽接收板中的 PIC 單晶片先做過資料過濾以及電位 IC 轉換將 3.3v 轉換至 5v 之後, 才將資料送入 SPCE61A 版, 藍芽接收板架構如圖 2.18 所示,PIC 會將資料中的 RAW DATA 忽略, 因在軌道車中沒有使用到, 而會將專心度資料提取出來直接透過 UART

40 輸出至 SPEC61A, 將訊號品質直接透過 PIC 的 IO 輸出至 LCD 顯示 RN41 藍芽接收模組 UART 57600bps 傳輸 PIC30F 系列單晶片 UART 9600bps 傳輸 SPEC61A 主控晶片 LED 顯示 圖 2.18 藍芽接收板架構 Sunplus unspide 開發軟體 unspide 軟體為國內凌陽科技公司 (Sunplus) 所開發的軟體, 它專門配合凌陽公司旗下的系統晶片所提供的開發環境, 使用者使用凌陽開發版可以透過 unspide 這套軟體, 從撰寫程式 組譯程式 除錯到燒錄, 均可在此軟體上完成, 其主要的開發程式語言為 C 語言 unspide 本身也有內建針對凌陽的開發版提供基本的函式庫, 使用者可以直接使用內建的函式庫設定所使用開發版的參數設定以及常用的設定檔, 以增加開發系統效率

41 2.2.6 軟體流程 軌道車軟體設計流程如圖 2.19 所示, 程式會先判斷遊戲是否已啟動, 如果尚未啟動則就可透過面板上的按鈕設定時間以及難度, 接著再透過按鈕啟動遊戲, 在遊戲開始之後就會接收腦波耳機所傳輸過來的 attention 專心度數值, 先進行平均值的運算, 最後就會依照難度不同, 用不同的速度去遞減遊戲的時間, 當遊戲結束時, 會播放過關的音樂, 先播放過關音樂的一方即為勝利者 腦波軌道車實做結果以及實體照片 圖 2.20 為腦波軌道車實體照片圖, 圖中使用兩組的腦波耳機, 一組工業用電源供應器, 軌道車顯示面板及所有硬體電路 圖 2.21 是控制盒內部硬體實體, 主要包含了兩組的藍芽接收電路板以及主要控制的 SPEC61A 板, 還有電源分配板以及的用來發出過關的勝利音效喇叭

42 開始 判斷遊戲是否開始 否 偵測面板設定按鈕 設定遊戲時間以及難度 是 初始化 UART GPIO 輸出設定 設定 UART 中斷點接收藍芽資料 否 判斷資料封包是否有接收腦波數值 七段顯示控制 七段顯示器 是 將 attention 數值加總 5 次後平均, 使得數值更為平順 LCD 控制 LCD 輸出 否 計算 attention 數值依照難度以及 attention 數值扣遊戲時間 PWM 控制 軌道車控制 判斷遊戲時間是否結束 是 遊戲結束 喇叭輸出 圖 2.19 軌道賽車軟體流程圖

43 腦波擷取 耳機 控制電路 顯示面板 軌道 賽車 圖 2.20 腦波專心度訓練用軌道車 圖 2.21 腦波軌道車控制盒內部

44 2.3 腦波驅動電動床 為了讓手腳不方便的病患使用, 我們設計了使用腦波控制電動 床, 本節說明了腦波驅動電動床系統架構以及系統設計流程 腦波驅動電動床系統架構 腦波驅動電動床系統架構如圖 2.22 所示, 利用腦波耳機擷取腦波 訊號透過藍芽將資料傳輸至 FPGA 平台, 最後由 FPGA 平台的驅動電 路控制電動床的上升與下降 圖 2.22 腦波驅動電動床系統架構圖 藍芽接收模組 因需要將取得之腦波資料輸入至 FPGA 平台做處理, 所以在腦波資

45 料擷取端並沒有做資料過濾, 而是直接使用了 RN41 模組做傳輸, 圖 2.23 為 RN41 藍芽接收模組, 模組中使用 57.6kbps 將所有資料封包都 傳送給 FPGA 做處理 圖 2.23 RN41 藍芽接收模組 藍芽是一種無線傳輸的技術, 它使用了 2.4GHz( GHz) 頻段作傳輸載波, 因為 2.4G 被廣泛使用在 RF 或是 WIFI 傳輸上, 容易造成不同設備之間的干擾, 藍芽介面為了防止頻道互相衝突, 因此使用了跳頻展頻技術 (Frequency Hopping Spread Spectrum,FHSS) 主要將 2.4G 頻段切為 79 個頻道, 並以每 1MHz 頻帶做切換, 跳頻速度為每秒 1600 次 在系統控制部份, 只要先配對好 MAC 位址之後, 每次在開機時主動去搜尋配對好的裝置並且自動建立連線, 建立連線之後直接

46 透過 TX 跟 RX 來進行封包的發送以及接收即可 RN41 是一款低功率消耗的藍芽模組使用電流大約 30mA, 並且在停擺的時候會自動進入睡眠狀態以降低耗電, 支援藍芽模式有 2.1/2.0/1.2/1.1, 支援 UART 傳輸模式以及 USB 模式, 傳輸速度為 1200bps 到 921Kbps, 有 class1 等級的內建天線, 傳輸距離最大可以到 100 公尺, 電源使用 3.3V Xilinx Spartan-3 XC3S400 FPGA 系統平台 FPGA 平台為腦波驅動電動床主要的電路單元, 如圖 2.24 所示我們選用了為希科技 UBD-Spartan3-MB 電路版, FPGA 晶片則使用了 Spartan-3 XC3S400, 它提供了 40 萬個邏輯閘 PQ208 的 IC 封裝, 內含 141 支 I/O 接腳, 架構圖如圖 2.25 所示, 因為 Spartan-3 使用電源有 1.2V 2.5V 3.3V 以及 5V, 所以平台板子上面除了基本的 5V 外部電源輸入以外還提供了電源轉換穩壓電路, 將 5V 轉換成 1.2V 2.5V 3.3V, 其中 3.3V 電源輸出亦可提供給 RN41 使用

47 圖 2.24 XC3S400 FPGA 平台 +1.2V +5V POWER +2.5V +3.3V RS232 NET USB1.1 PROM Xilinx XC3S400 PQ208 SDRAM LED VGA LCD PS2 BUTTON 圖 2.25 XC3S400 FPGA 平台架構圖 FPGA 是現場可程式邏輯閘陣列 (Field Programmable Gate Array, FPGA), 為一種純硬體的電路架構, 透過了硬體描述語言 (VHDL 或

48 Verilog) 來實現硬體電路, 可以快速建構所需要的功能之硬體電路, 內部主要包含了各種邏輯閘, 透過了規劃方式將各個邏輯閘之間線路連接, 以建構所要功能之電路 因為它屬於純硬體架構, 最大優點執行速度很快而且各個電路可以獨立運作, 而不會互相干擾或是電路主控優先權的問題發生, 甚至可以實現多工或多核心的架構 除了搭載了電源穩壓電路以外, 電路還提供了各種常用的實驗周邊 IO 元件如從最簡單的 LED 顯示 開關按鈕 到 VGA LCD PS2 RS232 NET USB 等元件, 詳細規格如下 40 萬邏輯閘的 Xilinx Spartan-3 XC3S400 FPGA, 編號為 XC3S400PQ208, 包裝為 PQFP 且共有 208 隻腳位, 內含 :. 16 個 18K-bit 的 Block RAMs ( 共 288K bits). 16 個 18x18 硬體乘法器. 4 個 Digital Clock Managers (DCMs). 141 個可用腳位 8 Mbit 的 Xilinx XCF08P VQ48 Platform Flash, 可重覆燒錄的快閃記憶體 8Mbit 的 SDRAM

49 10/100 Ethernet PHY USB1.1 PHY PS/2 Interface VGA Interface (8 color ) 液晶顯示螢幕 (128 x 64 Pixels ) RS-232 介面 4 個 DIP switch 與 4 個 LED 介面 4 個 7 段顯示器 單一電源輸入 ( +5V/ 3A ). 提供板子上三組電源使用 ( 1.2 V, 2.5 V, 3.3 V ) 提供燒錄程式的 JTAG 介面以及並列埠 xilinx ISE 開發環境 圖 2.26 呈現,ISE 為 Xilinx 的 FPGA 產品的開發環境,ISE 是一套硬體描述語言的系統開發環境, 本論文所使用的硬體描述語言為 VHDL, 透過 VHDL 程式語言可以將所需要的功能以硬體來實現, 其最大優點在於由使用者規劃系統架構, 且可以同時存在很多組的電路以達到同時多工, 而且系統不會有當機情況發生, 在設計系統時依照系統的時脈週期來撰寫, 系統的開發完全依照系統本身以及周邊元件

50 所的時間週期, 因此系統的穩定性都相對比利用 C 語言開發的系統晶片好, 當然也可以隨時將內部訊號透過 IO 輸出經由示波器或是邏輯分析儀做除錯動作 ISE 的軟體開發環境, 除了包含系統最基本的程式撰寫介面以外, 還有包含波形模擬以及線上燒錄的功能, 使用者透過 ISE 可以先利用模擬檔進行波形的模擬, 透過系統合成器將程式合成成硬體的系統架構, 然後再透過燒錄介面, 將電路下載至 FPGA 的晶片上 圖 2.26 xilinx ISE 軟體開發圖

51 2.3.5 腦波驅動電動床 FPGA 內部架構 腦波驅動電動床是使用 FPGA 平台作為系統主要控制, 架構圖如 圖 2.27 所示, 首先使用 RN41 做為接收模組透過 IO 介面將腦波資料輸 入並以 40MHz 作為系統時脈, 硬體架構依序由下列各節作說明 40MHz 石英震盪 RN41 藍芽模組 UART 系統除頻電路 資料輸入前置處理 RAW EEG Big packet 眨眼判斷處理 藍芽接收腦波訊號處理 眨眼觸發訊號 專心度數值 LGM 顯示器處理 電動床輸出控制 七段顯示器顯示數值控制 圖 2.27 電動床 FPGA 內部架構圖 系統除頻電路 除頻電路的詳細架構如圖 2.28 所示, 主要目的是把輸入的 40MHz

52 的石英震盪的時脈, 除頻至各種需要不同頻率的電路使用,FPGA 中包含了 LGM RN41 資料輸入 七段顯示掃描的電路架構, 因為各個電路需要各種不同的頻率, 所以需要各種不同頻率時脈來滿足各個電路的需求, 以確保周邊 IO 以及電路可以正常運作 外部 40MHz 石英震盪 除頻電路 1 (1Hz) 除頻電路 2 (LGM) 除頻電路 3 ( 七段顯示 ) 除頻電路 4 (RN41) 除頻電路 4 (RS232) 圖 2.28 系統除頻電路架構圖 資料輸入前置處理 如圖 2.29 所示, 資料輸入前置處理電路主要用來處理藍芽模組所接收到的資料, 首先做 UART 傳輸的電位判斷, 以判斷資料是否進來, 如果接收到資料就會將資料暫存在緩衝區, 最後將所有資料組合成 2 個 Byte 的資料儲存起來, 如圖 2.30 所示, 接著判斷資料是否為系統所要求的資料封包, 再利用 checksum 去確認封包是否有效 電路會依照

53 封包內容將資料做分類儲存並且將有用的資料直接輸出至下一級電 路 RN41 輸入資料 有效資料輸入 偵測電位 判斷封包是否有效 將資料填入緩衝區 封包資料 將資料分類存入緩衝區 有效資料 DELTA THETA LOW_ALPHA HIGH_ALPHA LOW_BATA HIGH_BATA LOW_GAMMA MID_GAMMA Attention Meditation 完成一筆資料輸入將有效資料輸出 資料輸出 圖 2.29 資料輸入前置處理架構圖 圖 2.30 RN41 輸入資料實際擷取圖

54 藍芽接收腦波訊號處理電路 圖 2.31 為藍芽接收腦波訊號處理電路架構中, 主要功能為資料分傳送分配工作, 此電路會依照系統的設計將所有資訊從暫存區中提取出目前電動床控制狀態以及專心度數值資料 透過藍芽腦波訊號處理電路, 會將腦波資訊整合之後再送到 LGM 顯示器 七段顯示器 以及 LED 狀態顯示直接顯示, 而同時也將所有資料組合成封包再透過 RS232 電路部份輸出, 最後將控制訊號輸出至繼電器, 以控制的電動床 前置處裡資料輸出 RS232 串列傳輸 LGM 顯示器 七段顯示器 LED 顯示目前狀態 繼電器輸出 圖 2.31 藍芽接收腦波訊號處理電路架構圖 眨眼判斷處理 如圖 2.32 所示, 眨眼是直接判斷腦波原始資料 RAW EEG, 眨眼訊

55 號在腦波波型上為一巨大凸波, 如果使用者有做眨眼動作, 電路就會 輸出一個眨眼的觸發訊號輸出去控制繼電器 腦波原始資料 RAW EEG 判斷眨眼波形特徵 眨眼觸發訊號輸出 圖 2.32 眨眼判斷處理架構圖 LGM 顯示器處理系統 LGM 模組中包含兩顆 DDRAM, 分別對應左右邊 64x64 點畫面以組合成 128x64 點的 LGM 顯示器 FPGA 內部電路如圖 2.33 架構圖所示 我們也在 FPGA 內部規劃一塊 RAM 區域做對應, 接著再將原始腦波的 RAW DATA 資料存入 FPGA 內部暫存區, 透過 LGM 輸出電路將 FPGA 內部 RAM 資料轉換輸出至 LGM 中的 DDRAM, 最後透過指令

56 控制將原始腦電波波形顯示至畫面上 除頻電路 (LGM) 有效資料 腦波原始資料 RAW DATA LGM 資料緩衝 LGM 輸出 圖 2.33 LGM 顯示器處理系統架構圖 電動床輸出控制架構 如圖 2.34 中, 主要在於電動床的馬達控制, 電路中會以每秒一次的判斷眨眼訊號切換模式狀態 電動床馬達控制所參考的數據為專心度的數值, 如專心度高於設定的門檻值, 電動床則會啟動, 模式切換分為上升跟下降, 我們利用眨眼來做切換, 以停止 > 上升 > 停止 > 下降為

57 一個循環切換, 切換的觸發訊號是抓取前一級眨眼判斷處理電路所取 得的眨眼訊號 除頻電路 (1HZ) 眨眼確認 專心度 Mode 暫存狀態 LED 顯示器 繼電器輸出 圖 2.34 電動床輸出控制架構圖 資料輸入封包處理流程 FPGA 資料處理流程如圖 2.35 所示, 首先先判斷有效起始雙位元組是否為 AA AA? 若是則將資料分類為 RAW EEG 以及 Big Packet, 再透過 check sum 檢查封包是否正確, 以便將資料輸出至下一級處理電路

58 資料接收等待區 NO 判斷是否為 AA AA NO RAW DATA YES 判斷 RAW EEG 或是 Big Packet Big Packet NO RAW EEG Big packet Check sum 是否正確 Check sum 是否正確 YES YES 輸出原始腦波資料 輸出各種資料數值 圖 2.35 資料輸入封包處理流程圖 馬達驅動電路 在醫療輔具中不論是電動床或是電動輪椅都需要控制大電流的驅動馬達, 若使用系統單晶片本身電流去驅動, 不但無法推動馬達, 電路板也有可能因為超載電流導致電路板損壞, 因此重新設計了馬達驅動電路

59 在電動床中只有一顆馬達控制正反轉, 且由手動控制, 所以直接修改原本控制電路, 不需要額外增加繼電器或是 SSR 切換開關, 直接使用原本繼電器以及電源, 就可直接使用 FPGA 控制電動床, 而且也不會影響原本的使用 馬達控制電路圖如圖 2.36 所示 手動線控 正轉繼電器 FPGA 馬達電源 馬達 反轉繼電器 圖 2.36 馬達控制電路圖 腦波驅動電動床操作模式 在腦波驅動電動床中, 使用 EEG 訊號的專心度數值, 作為電動床 啟動或是停止的控制, 透過了 RAW EEG 的波形分析, 可以抓取使用 者眨眼的訊號, 最後再經由圖 2.37 的流程來做切換, 就可以透過腦波

60 控制電動床了 停止模式上升模式停止模式下降模式 圖 2.37 電動床模式切換順序 腦波驅動電動床實做結果以及實體照片 如圖 2.38 所示, 病患只要戴上腦波擷取耳機, 透過藍芽傳輸, FPGA 平台就可以抓取到腦波的訊號以及眨眼訊號, 其中使用眨眼選擇上升及下降模式 藉由 FPGA 平台上面顯示面板, 可看到電動床切換的狀態和腦波的電波圖形以及專心度以及放鬆度的數值 圖 2.38 腦波驅動電動床實體照片

61 2.4 腦波驅動電動輪椅 腦波驅動電動輪椅系統架構 如圖 2.39 為腦波驅動電動輪椅系統架構, 圖中包含了從大腦擷取 腦波的腦波擷取部份以及作為系統處理及控制的 FPGA 晶片, 最後將 控制指令轉出控制輪椅左右馬達並傳送至使用者畫面顯示 Acquisition & process EEG Chip CH1 bluetooth model CH LEFT EEG Chip CH2 bluetooth model CH RIGHT Process & control bluetooth model CH L&R Ultrsonic distance sensor 4CH 40MHz Clock Generator RIGHT MOTOR LCD 128*64Pixel LEFT MOTOR 圖 2.39 腦波驅動電動輪椅系統架構

62 2.4.2 EEG 腦波擷取盒 圖 2.40 所示擷取模組架構圖, 分別使用兩組腦波晶片跟兩組藍芽 模組, 主要將左右腦訊號擷取出並透過藍芽傳輸到 FPGA 系統平台, 使用雙頻道之目的在於取得穩定的腦電波 EEG Chip CH1 bluetooth model CH1 human head EEG Chip CH2 bluetooth model CH2 圖 2.40 腦波擷取模組架構圖 在腦波擷取接收端中, 須要利用電極銅片將所擷取到的腦波訊號給傳送至 TGAM1 EEG 晶片來處理, 接著透過 EEG 晶片中的 DSP 單元處理並分析, 最後透過藍芽的模組將資料傳送至主要系統晶片 FPGA 轉化成電動輪椅控制指令以及相關訊息, 圖 2.41 為感測端規劃流程圖

63 開始 從受測者頭皮讀取 EEG 腦波訊號 使用 DSP 做訊號處裡 將所有資料組合成封包資料依照規定的通訊協定送出資料 否 藍芽模組是否已經連結至接收端? 是 透過藍芽模組將封包資料傳送出去 圖 2.41 感測端規劃流程圖 圖 2.42 為雙通道腦波擷取盒之電路圖, 在電路圖中包含了兩組的 TGAM EEG 擷取晶片和 BT-C2A 藍芽模組,CON2 為電池電源供應插 座,CON6 則為腦波導電銅片的輸入端 腦波擷取晶片 本篇論文中使用美國 NeuroSky 公司的 EEG 訊號處理晶片來截取

64 腦波的訊號,EEG 晶片型號為 TGAM1 如圖 2.43 所示 圖 2.42 雙通道腦波擷取盒電路圖 圖 2.43 TGAM1 EEG 晶片 TGAM1 晶片腳位包含了電源 3.3V 接地 GND 串列資料輸出 TX

65 串列資料輸入 RX 腦波訊號輸入 EEG 腦波訊號接地 GND 以及腦波訊號參考電位 REF,TGAM1 晶片可以透過類比數位轉換器將腦波類比訊號轉換成數位資料, 再透過串列傳輸模式連續輸出 TGAM1 同時保有腦波的擷取功能, 其中包含了 delta ( Hz) theta ( Hz) low-alpha ( Hz) high-alpha ( Hz) low-beta ( Hz) high-beta ( Hz) low-gamma ( Hz) 和 mid-gamma ( Hz) 原始腦波資料 RAW EEG 則是透過 16 bit 的類比數位轉換 IC, 其資料數值範圍為 ~32767, 取樣頻率為每秒 512 次,DSP 則為每秒擷取一次 除了各種波形擷取之外,EEG 晶片還會輸出 ATTENTION 以及 MEDITATION 的數值, 可以檢出受測者的專心度以及放鬆度, 其中值範圍則為 0~100 數字越高代表越專著或是越放鬆, 此外還包含了品質訊號 SIGNAL Quality, 數值越大則代表訊號品質越差,00 為最佳 20~40 可能為接觸不良,80 則為完全無法接收到腦波訊號, 表示使用者完全沒有接觸到皮膚 圖 2.44 為 EEG 晶片架構圖, 首先將擷取到的腦波訊號透過放大器, 將微弱的腦波訊號 ( 約 100uV) 放大, 接著 ADC 以每秒 512 次速度轉換出 RAW EEG, 再以封包形式傳送, 此時 DSP 電路即可利用 RAW

66 EEG 資料處理腦波, 運算單元則先將 RAW EEG 分析雜訊程度, 再將 RAW EEG 資料送至帶通濾波器, 將不要的頻率濾除掉 ; 接著使用 FFT 將腦波訊號分出各個頻段例如 δ 波 θ 波 α 波 β 波和 γ 波等 此時我們便可利用 θ 分析出放鬆度 MEDITATION, 以及使用 α 分析出來專心度 ATTENTION, 最後再將這些資料透過 LONG EEG 封包以每秒鐘一筆的速度傳輸出去 腦波訊號 放大器 16bit 類比轉數位轉換器 暫存以及輸出 RAW EEG DSP 電路 串列資料封包輸出 帶通濾波器 快速傅利葉轉換 (FFT) 暫存以及輸出 LONG EEG 運算單元 圖 2.44 EEG 晶片架構圖

67 資料封包的串列傳輸主要是利用 UART 串列傳輸方式, 將鮑率為 57600bps, 起始位元 1bit+, 資料 8bit+, 停止位元 1bit, 沒有使用同位元除錯 傳輸部份分為下列三個部份, 首先是標頭起始碼 AA+AA 兩組封包資料作為確認以及同步使用, 接著就是腦波資料 RAW EEG 封包或是 LONG EEG 封包, 當傳輸完整個封包之後, 會送出 check sum 檢查碼以確認整個封包接收是否正確 詳細封包內容如表 2.1 及表 2.2 所示, 表 2.1 為 RAW EEG 封包格式, 表 2.2 則為 LONG EEG 封包格式 HEX 值 封包意義 開頭碼 AA+AAH 資料起始碼 封包長度碼 04H 封包長度為 4Bytes 辨識碼 80H Raw EEG 資料辨識碼 資料長度碼 02H Raw EEG 資料長度 Raw EEG 00~FFH Raw EEG 資料高 8bit 資料 Raw EEG 00~FFH Raw EEG 資料低 8bit 資料 檢查碼 00~FFH 判斷資料正確性 表 2.1 RAW EEG 封包格式

68 HEX 值 封包意義 開頭碼 AA+AAH 資料起始碼 封包長度碼 20H 封包長度為 32Bytes 訊號品質 02H 代表接下來要接受訊號品質資料 訊號品質資料 00~80H 訊號品質資料 辨識碼 83H LONG EEG 資料辨識碼 資料長度碼 18H LONG EEG 資料長度 Delta 資料 00~FFH 三組分別為高中低位元組 Theta 資料 00~FFH 三組分別為高中低位元組 Low Alpha 資料 00~FFH 三組分別為高中低位元組 High Alpha 資料 00~FFH 三組分別為高中低位元組 Low Beta 資料 00~FFH 三組分別為高中低位元組 High Beta 資料 00~FFH 三組分別為高中低位元組 Low Gamma 資料 00~FFH 三組分別為高中低位元組 Mid Gamma 資料 00~FFH 三組分別為高中低位元組 ATTENTION 04H ATTENTION 辨識碼 ATTENTION 00~FFH ATTENTION 資料 Meditation 05H Meditation 辨識碼 Meditation 00~FFH Meditation 資料 檢查碼 00~FFH 判斷資料正確性 表 2.2 LONG EEG 封包格式 我們使用電極銅片來擷取 EEG 訊號, 接著傳送至 EEG 處理晶片 TGAM1, 透過 FP1 及 FP2 點輸入腦波訊號, 藉由 TGAM1 內部的 DSP 分析以及處理 EEG 訊號, 再透過 UART 的 PORT 傳輸至藍芽模組 MD08R 將資料傳送出去 透過藍芽接收端所接收到的 EEG 訊號, 實

69 際傳輸測試如圖 2.45 所示 圖 2.45 TGAM1 EEG 封包擷取 TGAM1 晶片擷取 EEG 訊號之後, 每秒會輸出 512 筆的 Raw EEG 資料封包以及 1 筆 Long EEG 的資料封包, 圖中 2.45 可以看到資料包含了很多的 Raw EEG 封包, 其中在第 5 行行號 2788 中可以看到 Long EEG 的封包資料串, 其中所有封包資料開頭都為 AA AA, 所以在讀取 EEG 數值時必須先判斷標頭碼 (AA AA), 接著再就依表 2.1 及 2.2 封包的格式去提取出所需要的資料, 最後經由結束檢查碼計算來判斷 EEG 封包是否正確, 其中特別要注意就是 checksum 只能驗證資料封包串資料是否有正確, 無法做錯誤更正, 所以當接收到錯誤封包時候只能將

70 資料丟棄, 並繼續接收下一筆新的封包資料 藍芽無線傳輸模組 本系統使用了另外一款如圖 2.46 型號為 HL-MD08R 的藍芽模組, 它只提供 UART 傳輸模式且電壓為 5V 或 3.3V, 而且 TX 和 RX 可以同時支援 3.3V 以及 5V 規格, HL-MD08R 同樣提供了 1200 bps 到 921Kbps, 內建天線則是使用 class2 等級傳輸距離 10 公尺 圖 2.46 HL-MD08R 藍芽接收模組 使用 RN41 需要使用轉接板體積較大, 而且 3.3V 對於 5V 的單晶 片使用還需要搭配電壓轉換模組, 在攜帶式腦波擷取以及 FPGA 上則 都是選擇使用了 HL-MD08R, 電源透過電池串聯提供至 3.3V 輸入電

71 壓 要驅動輪椅, 先在電腦端先使用 Manager 程式配對藍芽模組, 圖 2.47 中, 可以看到電腦連接到裝置名稱 Hotlift 的藍芽模組以及裝置的 MAC 位址 傳輸模式以及 COM PORT 序號, 藍芽連線最重要就是裝置本身的 MAC 位址, 因為不管主動端或是被動連線端, 都是需要透過 MAC 做裝置確認, 才能夠建立連線 接著透過原廠軟體 DeviceConfigure_v4.0B 設定藍芽的通訊模式, 對輪椅 電動床以及軌道車而言, 需設定成主動端, 腦波擷取介面的 MAC 即可透過軟體, 自動搜尋並建立連線 圖 2.47 藍芽連線參數

72 圖 2.48 藍芽參數設定程式 雙通道腦波擷取電路 為了提升輪椅操作的穩定性, 腦波擷取採用雙通道, 同樣透過圖 2.42 雙通道腦波擷取電路, 其內部包含了兩組 MD08R 藍芽接收模組以及兩組的 TGAM1 EEG 晶片, 內部使用了兩顆 4 號 AAA 電池, 實際 LAYOUT 電路圖如圖 2.49 所示 圖 2.49 雙通道腦波擷取盒 LAYOUT 圖

73 最後將所有擷取電路所需要的零件組合完成如圖 2.50 所示, 圖中 包含外殼以及頭巾, 還有兩組電極銅片以及線組, 接地所需要的接地 手環, 還有擷取電路板以及電池 圖 2.50 雙通道腦波擷取電路實體圖 系統處理以及控制 FPGA 平台 Xilinx Spartan-3 XC3S500E FPGA 系統平台 本篇論文在輪椅部分使用另外一種屬於非實驗版的 FPGA 平台, 主要 FPGA 功能與前章所提一樣, 但這種核心板只有提供了 PROM 跟 XC3S500E 晶片, 其他外接元件均無搭載在核心版中, 如圖 2.51 所示

74 核心板上左側是三種類型 5V 電源接頭, 右側為 JTGA 介面接腳, 上下 兩側就是 FPGA 可使用的所有 IO 接腳,PROM 和電源穩壓模組則是在 電路板背面,USB 接頭只提供板子 5V 電源功能並無傳輸功能 圖 2.51 XC3S500E FPGA 平台實體圖 腦波驅動電動輪椅 FPGA 內部架構 腦波驅動輪椅使用了 FPGA 平台做為整體系統控制, 圖 2.52 為本系統 FPGA 平台所使用的周邊 IO 的所有元件, 輸入元件包含二組藍芽模組四組 超音波模組 40MHz 時脈震盪器以及系統重置輸入控制接腳, 輸出則包含了左右馬達控制與 128x64 LCD 顯示器 圖 2.53 為 FPGA 系統內部架構圖, 其中包含了超音波控制 除頻電路 腦波控制 LCD

75 驅動控制以及馬達控制 bluetooth model CH1&2 RIGHT MOTOR PING (ultrsonic distance sensor) CH1&1&2&3&4 FPGA Board (XC3S500E-PQ208) LCD 128*64Pixel 40MHz Clock Generator RESET input signal LEFT MOTOR 圖 2.52 FPGA 周邊 IO 架構圖 PING CH1&1&2&3&4 40MHz Clock Generator bluetooth model CH1&2 RESET input signal FPGA Board (XC3S500E-PQ208) clock Serial DATA PING Control 1MHz CLOCK DIVIDER EEG Control 1.25MHz 76Hz PING DATA EEG DATA LCD Control DIR MOTOR Control LCD Data Bus LCD 128*64Pixel LEFT MOTOR RIGHT MOTOR 圖 2.53 FPGA 系統內部架構圖

76 除頻電路 圖 2.54 中, 藉由除頻電路系統產生三組不同的頻率時脈, 分別提 供不同的電路所使用 CLOCK DIVIDER 40MHz Clock Input DIVIDER 1.25MHz (for LCD) 1MHz (for PING) 76Hz (for MOTOR) 圖 2.54 除頻電路架構 超音波控制 為了使電動輪椅可以有更高的安全性, 硬體部分加入了超音波量測從感測器到障礙物之間的距離, 使得輪椅在移動中, 在碰撞障礙物之前即可讓馬達停止, 以保護輪椅上的病患或是避免輪椅撞到人或是造成物體損壞

77 如圖 2.55 所示, 本篇論文使用 parallax 公司所製造的超音波模組, 探測距離 2 公分 ~3 公尺, 發射音波的頻率為 40KHz, 探測角度最大為 左右各 20 度角 圖 2.55 超音波距離感測器模組 首先由 FPGA 發射 2us 以上的觸發訊號給超音波感測器的 SIG 接腳, 經過了 750us 之後, 超音波便會回傳一段時間的脈衝訊號, 而透過測量回傳訊號的脈衝訊號寬度, 經由聲音速度計算便可以算出距離, 聲音速度在空氣中常溫 25 度時為 346 公尺 / 秒, 所需要的超音波模組距離障礙物的距離如 (2.4) 式所示 圖 2.56~2.59 為測試長距離以及短距離所量測的測試波形, 在圖 2.56 以及 2.58 中可以看到波形包含由

78 FPGA 系統所發射的觸發脈衝訊號 Distance 346 Echo Time m 2 (2.4) 圖 2.56 長距離超音波測試波形 ( 放大時間軸 ) 圖 2.57 長距離超音波測試波形

79 圖 2.58 短距離超音波測試波形 ( 放大時間軸 ) 圖 2.59 短距離超音波測試波形 超音波模組控制電路如圖 2.60 所示, 其中控制單元將會發送控制訊號給超音波模組, 超音波模組會回傳一組距離回傳的延遲時間, 透過音速的公式, 再利用程式所計算到的延遲時間, 立即以利用超音波模組去偵測障礙物距離模組距離 系統運作流程如圖 2.61 所示

80 PING Control 1MHz clock PING CH1~4 IN/OUTput Control&Counter PING DATA (Echo time as Micro sec) 圖 2.60 超音波控制電路架構 開始 發送控制訊號 等待超音波模組執行 開始計算接收回傳的訊號 是否回傳結束 否 是 將距離資料儲存輸出 圖 2.61 超音波接收流程

81 LCD 128x64 顯示器控制 128x64 點矩陣繪圖型 LCD 顯示器如圖 2.62 所示, 內部包含了兩 顆的 64x64 的 DDRAM, 在輪椅部份主畫面為 GUI 系統控制畫面, 透 過開關可以切換成腦波的波型顯示畫面 圖 x64 點矩陣繪圖型 LCD 顯示器 LCD 顯示器架構圖如 2.63 所示,LCD 顯示器主要顯示原始雙通道腦波訊號的腦電波圖以及控制輪椅所需要的資訊 透過了 EEG 的 RAW DATA 資料可以將 FPGA 內部規劃一塊記憶空間來儲存一段時間的資料, 接著再依照時間軸將波形直接顯示至畫面 而控制輪椅所需要的資訊則在 FPGA 中建立所有用到的字型檔案, 如數字 0~9 字型 A~F

82 等, 再透過 LCD 畫面上直接顯示出來的如 Attention Meditation Signal Quality 等資訊及超音波模組所測量到的數據 同時也顯示眨眼觸發 訊號以及輪椅馬達啟動的狀態, 最後畫面會顯示輪椅所要行駛的方向 LCD Control EEG RAW DATA EEG Packet DATA PING DATA Direction Control DATA 1.25MHz clock LCD Wave DATA EEG&Control information LCD 128*64 圖 2.63 LCD 控制電路架構 腦波訊號處理 腦波訊號資料處理流程如圖 2.64 所示, 首先電路透過了 40MHz 的速度去偵測藍芽模組所傳輸過來的封包資料, 以速率 的非同步串列方式傳輸,UART 是直接使用 40MHz 做電位偵測, 因此不容易產生掉封包的情況 封包抓取之後先判斷封包內容是否為 AA AA 起始雙位元組, 接著進行封包資料分類, 將資料分成 RAW EEG 原始腦電波與 BIG Packet 封包群

83 BIG Packet 封包是 EEG 晶片處理過後的資料封包, 包含 Attention, Meditation, Signal Quality, α 波 β 波 γ 波 δ 波的資料, 相對的每秒鐘也會有一個 BIG Packet 封包跟 512 筆的 RAW DATA 資料, 每傳輸完一整筆資料就會有 check sum 做為資料正確性驗證, 在流程圖中的 EEG DATA packet 會去做驗證, 資料正確才繼續輸出否則就直接將資料丟棄 RAW DATA 主要就有兩個用途, 除了將資料直接透過 LCD 顯示原始波形之外, 另外進行眨眼偵測, 系統會先偵測波雜訊形是否過強, 如果訊號品質跟雜訊都過強, 則系統處於等待狀態, 直到訊號穩定, 系統才去偵測波形是否有眨眼突波產生, 以便產生眨眼觸發訊號 圖 2.66 為腦波資料輸入處理硬體電路圖, 由於資料輸入是串列傳輸的, 但系統內部資料均是並列控制, 因此使用一組緩衝器與計數器將串列資料存到 RAM 以方便使用 接著電路依照 STATE 的狀態, 至 CONSTANT 資料區抓取資料以判斷目前 RAM 的資料是否為正確, 以便將資料依照不同用途存放到不同 RAM 區塊中

84 EEG Control Bluetooth model CH1&CH2 TX 40MHz clock sugnal Bitstream EX: EEG DATAIN model Packet (00H~FFH) EEG DATA packet NO Start bytes AAH AAH? YES RAW EEG RAW EEG Or BIG packet BIG Packet Signal Quality =00 YES Signal Quality NO (Wink Judge = 0) Attention Meditation Signal Quality EEG information to LCD Wink Judge (CH1 or CH2) Output=0 or 1 to LCD Wave MOTOR Control 圖 2.64 腦波資料處理流程圖

85 若資料非目前狀態的資料, 澤狀態重新設定, 回到等待狀態 而 眨眼判斷則是直接從 RAM 取得資料 RAW EEG DATA 與眨眼特徵資料 做比對, 以便輸出一個眨眼訊號 圖 2.65 為資料輸入處理硬體電路圖 MOTOR_CONTROL BLUETOOTH_INPUT D Q INPUT [7:0] IN DATA OUT [7:0] D Q [7:0] [7:0] IN DATA OUT DFF BUFFER RAM DFF DEMUX RAM BIG_PACKET CLOCK CLK ADDRESS ADDRESS CLK S [7:0] TO_LCD Q[2:0] COUNTER_UP 0~7 STATE COUINTER CONSTANT (PACKET_DATA) COMP IN DATA OUT CLK Q[2] CLK RST CLK RST RAM RAW_EEG CONSTANT (EYES DATA) COMP EYES CLK RST 圖 2.65 資料輸入處理硬體電路圖 馬達控制 馬達控制電路架構如圖 2.66 所示, 其中上半部為輪椅行走方向選擇以及轉彎角度的判斷與選擇 當 reset 訊號啟動時, 左邊候選方向開始顯示, 若在固定周期內無法取得眨眼訊號時, 會跳到右邊候選方向, 若還是沒有眨眼訊號, 則又會跳回左邊候選方向, 如此二邊方向反覆以等待使用者選擇 若偵測到眨眼訊號, 則就跳至角度選擇 眨眼訊

86 號判斷週期為每秒 76 次, 方向選擇也會透過 DIR 訊號傳輸以顯示在 LCD 畫面上 Reset signal COUNTER Left&Right STEP 76Hz Select Left NO Select Right NO YES YES NO DIR To LCD DIR Wink signal Select Left Angle YES MOTOR speed Control Select Right Angle YES Attention Meditation Signal Quality Go to Left Go to Right PING DATA Forward NO STOP YES Left MOTOR Control Right MOTOR Control For Left DAC (Speed Control) For Left SSR (ON&OFF Control) For Right DAC (Speed Control) For Right SSR (ON&OFF Control) 圖 2.66 馬達控制電路架構圖

87 依上述操作, 使用者即可直接透過畫面選擇下一步要移動的方向和角度 下半部電路會依照選擇好的角度, 設定輪椅的左右馬達所需要移動的速度跟時間, 而且同時擷取超音波測距資料以偵測障礙物, 以便強制輪椅停止移動以防止碰撞障礙物 Attention 與 meditation 則用來控制輪椅往前移動的速度, 它們會被轉換成速度資料, 以便傳送到外部硬體的 DAC 速度控制驅動電路與 SSR 開關來驅動輪椅馬達 Signal Quality 則作為雜訊太強時輪椅強制停止的依據 圖 2.67 為輪椅驅動控制硬體架構圖, 透過狀態控制的計數器, 判斷目前狀態為左右控制 角度控制 左右馬達啟動或是前進啟動的狀態 且狀態計數器會依照前述眨眼觸發訊號去改變目前的狀態, 依照不同狀態將 DAC 資料轉成不同數值以改變輪椅速度 其中一個計數器作為左右移動的時候, 馬達需要啟動的時間之計數, 以達到馬達左轉或右轉的角度控制 電路下方另一狀態計數器, 則是控制的馬達是否啟動的判斷 電路中亦包含超音波距離資料擷取, 防止輪椅與障礙物碰撞

88 CONSTANT (DAC_DATA) MOTOR_DAC EYES STATE COUINTER ADDRESS MOTOR_SSR CLK RST RESET >Attention MOTOR_CONTROL CLOCK COMP Q[7:0] UP_COUNTER (TIME) CLK > 0 COMP MUX D CLK DFF Q PING >SET COMP 圖 2.67 輪椅驅動控制硬體架構圖 輪椅馬達驅動電路架構 輪椅驅動電路包含了馬達控制以及轉速控制二部份, 我們使用 SSR 來控制馬達開關, 轉速控制架構圖如圖 2.68 所示, 首先 DAC 將控制電壓輸出, 透過 OPA 放大至馬達所需要的電壓範圍, 最後再透過大功率電晶體達靈頓電流放大器, 輸出後直接驅動輪椅馬達 系統晶片 DAC 轉換 OPA 放大 達靈頓電流放大器 輪椅馬達 圖 2.68 電動輪椅馬達轉速控制電路架構圖

89 圖 2.69 為馬達驅動電路圖, 區塊 1 和 2 分別為左右馬達兩組的 DAC 的 IC, 透過 7805 穩壓電路讓 DAC0832 輸出 0~5V 電壓 區塊 3 與 4 則為左右馬達 OPA 提供電壓放大與緩衝, 將 DAC 輸出的電壓從 0~5V 放大到 0~15V, 區塊 5 6 則為達靈頓電流放大電路, 以大電流驅動輪椅馬達, 由於輪椅從靜止到移動的瞬間消耗電流非常大 ( 約 20A), 所以使用達靈頓電流放大器以及兩組 2SD1027 並聯, 每組至少提供 15A 電流, 最大提供至 30A 以上的電流驅動能力 區塊 11 跟 12 為電路動作指示 LED 以及防止馬達電流逆衝燒毀電路的保護二極體 區塊 7 則是包含 3 組 5V 穩壓電路 區塊 8 為兩組藍芽模組的插座, 也提供了藍芽模組所需的 5V 電源 區塊 9 為電池輸入插座端, 其中包含 LED 電源指示 插座 10 為啟動輪椅開關所需電源插座

90 圖 2.69 輪椅馬達驅動電路板之電路圖

91 2.4.5 腦波驅動電動輪椅實做結果以及實體照片 電動輪椅硬體系統整合 圖 2.70 包含 FPGA 板 輪椅驅動電路以及 SSR, 改裝後的電動輪 椅如圖 2.71 所示 圖 2.70 電動輪椅主要硬體實際圖

92 圖 2.71 電動輪椅 LCD 以及超音波模組安裝圖 超音波距離偵測 電動輪椅中使用了四顆的超音波距離感測模組, 用來偵測輪椅前方以及左右的障礙物, 以確保輪椅移動時的安全 偵測的方向如圖 2.72 所示, 偵測方向為左邊 右邊 前左以及前右, 但當障礙物太靠近輪椅前方的時候, 輪椅則會直接停止 左邊跟右邊的超音波則是在左轉或是右轉的情況下, 進行左邊或是右邊的障礙物偵測, 當左轉或右轉的時障礙物太靠近時, 也會使輪椅停止

93 圖 2.72 電動輪椅超音波模組偵測方向圖 GUI 使用者介面及操作 系統主要以 LCD 面板做為與使用者溝通的介面, 如圖 2.74~2.76 所示, 顯示於 LCD 之資料如表 2.3 所示, 從圖中可以分別看到左右腦 分別有接收到的資料, 而在中央部分則為輪椅移動方向的顯示, 目的

94 是讓使用者依照畫面指示去選擇輪椅所要移動的方向 LEFT 為左邊 FP1 腦波,RIGHT 為右邊 FP2 腦波 ATT MTT SIG ATTENTION 專心度 MEDITATION 放鬆度 訊號品質 00= 最好 32= 接觸不良 80= 未接觸 EYE 眨眼觸發訊號 ( 有眨眼才會顯示 ) MT000 馬達 (MT 啟動時候才顯示 ) 速度為 000~255 FL LL FR RR 分別表示圖 4.14 所標示方向的距離數值表 2.3 LCD 畫面顯示說明 腦波驅動電動輪椅操作的流程 腦波驅動電動輪椅操作的流程如圖 2.73 所示, 只透過眨眼就即可選擇, 在輪椅停止的時候畫面會在每 1.5 秒鐘顯示左右方向, 如圖 2.74 和圖 2.75 所示, 使用者只要透過眨眼就可以做觸發訊號去選定左右方向, 接著選擇角度, 以右轉角度範例如圖 2.76 所示, 顯示畫面以每秒 0.8 切換 6 種的前進角度, 輪椅在移動的任何時間點只要超音波距離偵測障礙物與輪椅之間距離過近或是使用者有眨眼動作, 則輪椅立刻停

95 止, 畫面重回預選畫面 輪椅前進時, 此時輪椅會依照使用者專心度 數值, 做速度控制, 當使用者越專心, 輪椅移動速度就越快, 反之亦 然 停止等待使用者選擇 左右方向選擇 轉向角度選擇 輪椅移動 圖 2.73 腦波驅動電動輪椅操作的流程圖 圖 2.74 LCD 主要畫面 1 圖 2.75 LCD 主要畫面

96 圖 2.76 輪椅右轉角度選擇畫面

97 第三章系統實驗結果 3.1 專心度分析專心度亮畫圖如圖 3.1 所示, 上圖的波形是由 RAW EEG 取得之專心度的波形, 下圖則是 TGAM1 EEG 晶片直接輸出的專心度, 因為量化的方式不同, 所以數值有些許的不同, 在圖中可以看到受測者專心的時候, 專心度均有明顯上升 經過兩個波型比較以及實際測試結果, 專心度可以直接透過快速傅利葉轉換到頻率域, 最後再計算 α 波變動量, 便可計算出受測者的專心度 3.2 訓練專心度軌道賽車專心度軌道賽車, 可以讓兩個人同時進行專心度測試, 透過軌道車以遊戲的方式來訓練專心度, 專心度越強則車速越快, 藉由比賽讓受測者大腦輕易的進入專心的狀態

98 圖 3.1 專心度分析結果圖 3.3 腦波驅動電動床受測者以三次去測試腦波驅動電動床, 從底部躺平升到最高所花費時間, 以及從最高仰角降回最低需要花多少時間, 進行三次的測試, 實驗結果如表 3.1 所示 所使用的電動床, 馬達本身的轉速是固定的, 一般透過手動控制器, 需時 20 秒鐘才可以將電動床完全升起或是下降, 但透過腦波來控制, 所花的時間並不比手控方式多出太多的時間

99 從底部上升到頂 從頂部下降到底 第一次測試 44 秒 秒 63 第二次測試 21 秒 秒 65 第三次測試 32 秒 56 1 分 7 秒 44 表 3.1 腦波驅動電動床測試結果 3.4 腦波驅動電動輪椅腦波驅動電動輪椅的實驗, 由 6 位健康年紀大約 24 歲左右的人員接受測試, 測試場地為實驗空間繞場如圖 3.2 所示 場地為 7.5 公尺 *7.5 公尺 ( 約 17.5 坪 ) 空間所組成, 路線距離全長約 24 公尺, 路線寬度最小為 80 公分 每人分別進行了 4 次測試, 每次測試中間休息大約 15 分鐘, 休息期間會讓使用者暫時離開輪椅本身, 測試結果如表 3.2 所示 由表 3.2 中可看出, 受測者一 ( 本系統的設計者 ) 平均約需花費 4 分鐘完成全程測試, 有三位受測者平均約需花費 4 到 7 分鐘完成全程測試 ; 另外三位則平均約需 10 到 14 分鐘 由於受測者一熟練於腦波控制輪椅, 表示腦波控制是需要訓練方能熟練的

100 圖 3.2 實驗空間 ( 全長 24 公尺 ) 第一次 第二次 第三次 第四次 平均 受測者一 04: : : : :03.16 受測者二 08: : : : :38.97 受測者三 09: : : : :58.05 受測者四 10: : : : :42.34 受測者五 12: : : : :52.79 受測者六 06: : : : :14.12 表 3.2 腦波驅動電動輪椅測試結果之ㄧ ( 單位 : 分 : 秒 : 毫秒 )

101 表 3.3 是測試左右轉選擇正確率, 實驗步驟則是, 首先研究人員會下指令給受測者, 受測者如果一次就可以選中方向則紀錄為一次, 如果失敗則就累積次數直到選到正確方向為止, 從結果中受測者一以及受測者六則為情況較佳, 全部測試皆為一次就可以選中所想要的方向 第一次測試 第二次測試 右右左左左右左左右右左左左右左左 受測者一 受測者二 受測者三 受測者四 受測者五 受測者六 第三次測試 第四次測試 正確率 右右左左左右左左右右左左左右左左 受測者一 % 受測者二 % 受測者三 % 受測者四 % 受測者五 % 受測者六 % 表 3.4 腦波驅動電動輪椅測試結果之二

102 第四章討論和結論 腦波主要分為各種波形 δ 波 θ 波 α 波 β 波和 γ 波, 當人在專心的時候 α 波其實他的訊號強度是會呈現一個穩定的狀態, 而反過來說, 如果當不專心的時候, 反而依照時間所繪製的波形就可以看出來很明顯的,α 波會上下擺盪呈現一個很不穩定的狀態, 透過計算並正規化, 將專心度呈現出來 為了讓軌道車可以有更簡單明瞭的遊戲比賽方式, 我們增加了顯 示面板, 並且利用專心度做 PWM 速度控制, 讓軌道車能平穩的跑動 為了將腦波資料輸入到 FPGA 平台, 在使用 FPGA 平台的實驗中, 直接接收藍芽所傳輸的 57600bps 的封包資料, 而且將所有封包資料處理包含檢查工作, 都包含在 FPGA 平台中 就各個系統而言, 電動床輸出控制比較簡單, 只有單純馬達正轉以及反轉的控制, LCD 是用來顯示原始腦波的波形 使用 VHDL 語言之優點在於處理速度快, 而且可以很容易做到多核心的方式處理, 所以只要 FPGA 本身容量許可, 可以同時將很多個需要處理的電路透過 VHDL 語言把電路整合進來

103 在設計電動輪椅過程中, 部分沿用了的電動床的架構, 不同在於直接使用 FPGA 核心板, 所以所有周邊元件都需透過 IO 介面來連接, 而且燒錄跟電源介面都需另外處理 電動床與輪椅在程式架構不同點在於電動床只是單純的馬達控制, 但在電動輪椅部分, 不但還需要 GUI 介面讓使用者對方向選擇與角度選擇有溝通的介面, 不像電動床只有接受使用者控制訊號 輪椅馬達控制也比電動床複雜, 除了控制速度之外, 還有左右轉馬達控制, 轉向角度控制, 甚至利用超音波做障礙物距離的偵測 腦波控制電動輪椅在本研究室中已經過一段時間的研發, 第一代是使用筆記型電腦控制, 第二代是使用 SPEC61 微電腦板, 為了減少空間占有面積以及方便性, 本論文為使用 FPGA 製作, 表 4.1 為三個世代腦波控制電動輪椅架構比較圖 NeuroSky Notebook computer (GUI on moniter) Sunplus Spec061A On Wheelchair Control joystick People EEG EEG CHIP Sunplus Spec061A (GUI on LED) On PCB (SSR) DC MOTOR EEG CHIP 2CH Xilinx FPGA (GUI on LGM) On PCB (DAC+SSR) 圖 4.1 輪椅架構比較

104 第一代 (NB) 第二代 (61A) 第三代 (FPGA) 腦波擷取 有接觸不良問題調整也不容易 頭帶式有改善接觸不良問題並且可以有效降低雜訊但是還是有可能會抓取不到眨眼 可以同時偵測左右眼眨眼訊號如果有一邊偵測到就可以動作 使用平台 筆記型電腦有可能有當機或是因為 CPU 處裡 GUI 介面不夠快而產生嚴重延遲 使用 61A 晶片可以將系統架構精簡化, 缺點就是版子運算能力及 IO 不夠 可以同時處裡 EEG 跟超音波訊號而且擴充容易執行反應速度也最快 GUI 顯示介面 使用電腦螢幕可以同時顯示很多資訊 只有使用 LED 顯示無法顯示很多數值的資料 可以同時顯示左右通道的各項數值資料和超音波距離而且方向顯示也可以很清楚表示出來 馬達控制 需使用 61A 版控制輪椅搖桿控制電路 只有使用 SSR 控制輪椅 走 和 停 使用 SSR 做開關控制並且有 DAC 可以控制輪椅速度 超音波碰撞偵測 無 使用四顆但是需要個別偵測而且使用者無法知道超音波距離偵 同時偵測全部並且可以同時顯示在 LGM 測資訊 延遲訊號點 EEG CHIP+MATLAB 運算 +RS232 傳輸 EEG CHIP+61A( 單工處裡 ) EEG CHIP+ FPGA ( 多工處裡 ) +61A 調整方式 使用者可以透過 GUI 介面了解波型是否正常 只有簡單了解是否有戴上 EEG 偵測銅片 使用者可以透過 LCG 顯示器了解波形是否正常 超音波控制 無 無法瞭解超音波是否正常或是偵測到障礙物所以輪椅無法移動 可以直接顯示數值了解超音波是否有障礙物偵測範圍內 表 4.1 輪椅功能比較

105 在本論文中, 所設計出來的腦波相關的應用, 經過實測結果, 可以容易的將腦波轉化來控制 只要專心度以及眨眼就可以控制轉化成控制訊號 我們希望讓手腳行動不方便的人可以透過腦波與電腦介面去控制醫療輔具, 讓病患以腦波去使用電動床或是電動輪椅以減少生活上的不便 近幾年腦波相關應用的研究, 最終的目的希望可以讓生活上不便病患, 可以利用腦波控制醫療輔具 本篇論文是用專心度以及眨眼來做腦波訊號控制 未來研究的方向, 希望以 SSVER 視覺誘發電位方式, 做為觸發訊號, 產生更多的控制訊號, 讓醫療輔具的控制能更多樣性且更具方便性

106 參考文獻 [1] 腦 - 維基百科, 自由的百科全書 [2] 漸凍人協會 [3] Yoshitsugu Yasui, A Brainwave Signal Measurement and Data Processing Technique for Daily Life Applications, Journal of Physiological Anthropology on Brainwave Signals for Daily Life Applications, vol. 28, no. 3, pp , [4] Alexandre O. G. Barbosa, David R. Achanccaray, and Marco A. Meggiolaro Activation of a Mobile Robot through a Brain Computer Interface, 2010 IEEE International Conference on Robotics and Automation Anchorage Convention District May 3-8, 2010, Anchorage, Alaska, USA. [5] Yongwook Chae, Sungho Jo, Member, IEEE and Jaeseung Jeong, Member, IEEE Brain-actuated Humanoid Robot Navigation control using Asynchronous Brain-Computer Interface Proceedings of the 5th International IEEE EMBS Conference on Neural Engineering Cancun, Mexico, April 27 - May 1, [6] Mufti Mahmud, Graduate Student Member, IEEE, David Hawellek, Alessandra Bertoldo EEG Based Brain-Machine Interface for Navigation of Robotic Device Proceedings of the rd IEEE RAS & EMBS International Conference on Biomedical Robotics and Biomechatronics, The University of Tokyo, Tokyo, Japan, September 26-29, [7] W. A. Amai, J. C. Fahrenholtz, and C. L. Leger, Hands-free operation of a small mobile robot, Sandia Nat. Lab. Rep., [8] K. Tanaka, K. Matsunaga, N. Kanamori, S. Hori, and H.O. Wang, Electroencephalogram-based Control of a Mobile Robot, Proceedings 2003 IEEE International Symposium on Computational Intelligence in Robotics and Automation, vol.2, pp , July [9] F. Gal an, M. Nuttin, E. Lew, P. W. Ferrez, G. Vanacker, J. Philips, and J. d. R. Mill an, A brain-actuated wheelchair: Asynchronous and non-invasive brain-computer interfaces for continuous control of robots, Clinical Neurophysiology, vol. 119, pp ,

107 [10] J. R. Wolpae, N. Birbaumer, D. J. McFarland, G. Pfurtscheller, and T. M. Vaughan, Brain-Computer Interfaces for Communication and Control, Clin. Neurophsiol., vol. 113, no. 6, pp , [11] K. Nielsen, A. Cabrera, and O. Nascimento, Eeg based bci - towards a better control : Brain-computer interface research at aalborg university, IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 14, no. 2, pp , [12] Conversion of EEG activity into cursor movement by a brain-computer interface (BCI) [13] Lecuyer, F. Lotte, R. B. Reilly, R. Leeb, M. Hirose, and M. Slater, Brain-Computer Interfaces, Virtual Reality and Videogames: Current Applications and Future Trends, IEEE Comput., vol. 41, no. 10, pp.66-72, [14] Chin-Teng Lin, I-Fang Chung, Li-Wei Ko, Yu-Chieh Chen, Sheng-Fu Liang, and Jeng-Ren Duann, EEG-Based Assessment of Driver Cognitive Responses in a Dynamic Virtual-Reality Driving Environment, IEEE Transactions on Biomedical Engineering, vol.54, no.7, pp , July [15] Chin-Teng Lin, Fellow, IEEE, Che-Jui Chang, Bor-Shyh Lin, Member, IEEE, Shao-Hang Hung, Chih-Feng Chao, and I-Jan Wang A Real-Time Wireless Brain Computer Interface System for Drowsiness Detection IEEE TRANSACTIONS ON BIOMEDICAL CIRCUITS AND SYSTEMS, VOL. 4, NO. 4, AUGUST [16] F. Cabrera, O. F. do Nascimento, D. Farina, and K. Dremstrup, Brain-Computer Interfacing: How to Control Computers with Thoughts, First International Symposium on Applied Sciences on Biomedical and Communication Technologies, pp. 1-4, [17] K. Tanaka, K. Matsunaga, and H. O. Wang, Electroencephalogram-Based Control of an Electric Wheelchair, IEEE Trans. on Robotics, vol. 21, no. 4, pp , [18] S-. Y. Cho, A. P. Vinod, and K. W. E. Cheng, Towards a Brain-Computer Interface Based Control for Next Generation Electric Wheelchairs, Int. Conf. on Power Electronics Systems and Applications, pp. 1-5,

108 [19] J. del R. Mill an, F. Gal an, D. Vanhooydonck, E. Lew, J. Philips and M. Nuttin Asynchronous Non-Invasive Brain-Actuated Control of an Intelligent Wheelchair 31st Annual International Conference of the IEEE EMBS Minneapolis, Minnesota, USA, September 2-6, 2009 [20] Jzau-Sheng Lin, Kuo-Chi Chen, and Win-Ching Yang, EEG and Eye-Blinking signals through a Brain-Computer Interface Based control for Electric Wheelchairs with Wireless Scheme The 4th Int. Conf. on New Trends in Information Science and Service Science, vol. II, pp , Gyeongju, Korea, [21] Jzau-Sheng Lin, Wen-Jen Yang, Shao-Han Liu, and Yi-Ying Chang, Implementation of a Wireless Sensor Headband in EEG Signal Acquisition The World Congress on Computer Science and Information Engineering 2011, pp , Changchun, China, June, [22] John Wiley and Sons, Encyclopedia of Medical Devices and Instrumentation, 2nd ed., Hoboken, N.J. : Wiley-Interscience, pp , [23] Chin-Teng Lin, Li-Wei Ko, I-Fang Chung, Teng-Yi Huang, Yu-Chieh Chen, Tzyy-Ping Jung, Sheng-Fu Liang, Adaptive EEGBased Alertness Estimation System by Using ICA-Based Fuzzy Neural Networks, IEEE Transactions on Circuits and Systems I: Regular Papers, vol. 53, no. 11, pp , Nov [24] Chang-Hwan Im, Chany Lee, Hyun-Kyo Jung, Soo Yeol Lee, A New Neuronal Electrical Source Model Considering Electrophysiology to Simulate Realistic Electroencephalography (EEG) Forward Signals, IEEE Transactions on Magnetics, vol. 44, no. 6, pp , June [25] L. Montesano, M. Diaz, S. Bhaskar, and J. Minguez, Towards an Intelligent Wheelchair System for Users With Cerebral Palsy users, IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 18, pp , [26] F. Lotte, C. Guan, and K. K. Ang, Comparison of Designs Towards a Subject-Independent Brain-Computer Interface based on Motor Imagery, 31st Annual Int. Conf. of the IEEE EMBS Minneapolis, Minnesota, pp , Sep. 2-6, [27] J. Soraghan, C. Markham, F. Matthews and T. E. Ward, Triple Wavelength LED for Optical Brain-Computer Interfaces, Electronic Letters, vol. 45, no. 8, pp , April,

109 [28] M. Liu and M. Zhao, A Semi-Supervised Learning Algorithm for Brain-Computer Interface Based on Combing Features, 4th Int. Conf. on Neural Computation, pp , [29] Cabrera and K. Dremstrup, Auditory and spatial navigation imagery in brain computer interface using optimized wavelets, Journal of Neuroscience Methods, vol. 174, no. 1, pp , [30] 張蓺英 林灶生 張韶芹 劉崇志 陳國志 楊文鎮, 植基於無線腦波儀之心境模式判讀與應用,2009 第 17 屆模糊理論及其應用研討會,pp , 2009 [31] 劉維旻, 無線感測心電圖量測系統設計與應用, 國立中央大學, 電機工程研究所, 碩士論文,2008 年 7 月 [32] 廖允在, 腦波即時監控系統開發 - 音樂對腦波影響之案例研究, 國立雲林科技大學, 電子工程系碩士班, 碩士論文,2007 年 6 月 [33] 林能毅, 十六通道腦電波訊號擷取晶片之研製, 中原大學, 醫學工程學系, 碩士學位論文,2002 年 8 月 [34] 劉崇志, 以太陽能為基礎之農田田野訊號無線感測系統, 國立勤益科技大學, 電子工程系研究所, 碩士論文,2009 年 7 月 [35] 洪繹翔 呂祐誠, 超音波導航 SumoBot 機器人, 逢甲大學, 自動控制工程學系, 專題論文,2009 年 [36] 陳明熒, 單晶片 8051-KEIL C 實作入門第二版, 松崗文魁,2010 年 6 月 11 日 [37] 杜勇進 郭晉魁 林俊宏 林明權, 微算機原理 - 以 SPCE61A 為例, 橋高科技有限公司,2007 年 7 月 [38] 張義和, 主流電腦輔助電路設計 -Protel 99 SE, 全華科技圖書股份有限公司, 2004 年 8 月 [39] 腦機介面 - 維基百科, 自由的百科全書 F%A3 [40] Neuron-Spectrum-5 [41] NeuroSky MindSet [42] NeuroSky, TGAM1 Communications Protocol, 28 July 晶片 sets.aspx

110 [43] HL-MD08R-C2A Datasheet [44] PING))) TM Ultrasonic Distance Sensor Datasheet f [45] KS0066U Datasheet [46] 2SD773 Datasheet [47] 2SD1027 Datasheet [48] SD0625 Datasheet

111 附錄 發表論文 : 會議 : [1] 林灶生 黃上銘 林家祥 楊文鎮, 植基於 FPGA 平台之腦波監控系統, 中華民國第十九屆模糊理論及其應用研討會,2011 [2] Jzau-Sheng Lin Shang-Ming Huang,BCI with FPGA-Based Control for Electric Wheelchair, 第七屆智慧生活科技研討會,pp ,2012 [3] Jzau-Sheng Lin, Sun-Ming Huang, An FPGA-Based Brain-Computer Interface for Wireless Electric Wheelchairs, ICETI2012, 2012(Accepted)

112 植基於 FPGA 平台之腦波監控系統 林灶生黃上銘林家祥楊文鎮 Jzau-Sheng Lin, Shang-Ming Huang, Chian-Siang Lin, and Wen-Jen Yang 1 國立勤益科技大學資訊工程研究所 2 國立勤益科技大學電子工程研究所 1 Dept. of Computer Science and Information Engineering, 2 Dept. of Electronic Engineering, National Chin-Yi University of Technology jslin@ ncut.edu.tw 國科會計畫編號 :NSC E 摘要在腦波研究領域裡, 腦波量測大都需要體積較大的機器或是黏貼許多電極片於頭部, 以取得腦波訊號來進行分析與處裡, 如此導致它在空間與應用上受到了限制 更有甚者, 一套醫學用腦波儀耗費更以百萬台幣計 本論文主要的目的是讓腦波量測與應用可以融入於人們的生活中並且讓它簡單化 所以引發我們設計較為簡易的無線單極感測系統來擷取腦波訊號, 並且使用藍芽做為腦波訊號的無線傳輸介面, 藉此介面配合所設計之 FPAG 嵌入式平台, 讓腦波監控應用有突破性的發展, 本研究應用於電動床之控制, 獲得了滿意的實驗成果 關鍵詞 : 腦波訊號 藍芽介面 電動床 Abstract Research in the field of EEG, measurement of brain wave generally needs larger machines or adhesive a lot of electrodes on the head in order to obtain EEG signals for analysis. Therefore, it restricted in the application of EEG machine in space. Moreover, a medical EEG system is very expensive. The main purpose of this paper is to measure brain waves and its applications can be integrated into people's lives and make it simple. It led us to design a more simple wireless unipolar-sensing system to capture EEG signals by means of Bluetooth as the wireless transmission interface. We wish we can obtain a new ground in the applications of EEG for monitoring brain waves through the interface with the FPAG embedded platform. This study was applied to the control of electric bed and shown to obtain satisfactory results. Keywords:EEG, Bluetooth, and Electric bed. 1. 前言 大腦的活動對於人類了解自己的生心理是一個很重要的關鍵, 眾所周知, 大腦是人體活動的總指揮, 也都知道大腦是掌管自身能力最高權利器官, 為此, 科學家們利用各種各樣的方法嚐試揭開大腦的神秘面紗 在腦波量測上使用了非侵入式的 EEG, 將電極片直接黏貼於前額上讀取大腦狀態, 而無需進行複雜的測量和分析等醫療程序 大腦雖然是人類最複雜的器官之ㄧ, 但在腦波科學的推理下, 產生了許多理論討論了對於腦波 之間的特徵和心生理狀態的關係 目前的挑戰大都是精確的測量與使用簡單的儀器來擷取腦波訊號, 然後分析數據並轉換成有意義的特徵訊號 [1] 腦部電活動在生理學上被分為 4 種常見的類型 :δ 波頻率 0.5-3Hz, 表示大腦處在無夢深睡狀態, 睡眠越深 頻率越慢 θ 波頻率 4-7Hz, 表示大腦處於深層思維和靈感思維狀態, 腦愈是自由創造,θ 活動愈是典型完美 α 波頻率 8-13Hz, 表示大腦處於安靜平和狀態, 腦愈是安逸,α 活動愈是明顯增強 β 波頻率 18-30Hz, 表示大腦處在警覺興奮狀態, 腦愈是專注,β 活動所占份額越高 目前已有許多論文對於腦波的分析與處理來建置與設計於週邊的應用 [1-4], 如 Yoshitsugu Yasui 將人們日常生活中的精神狀態使用腦波量測進行分析與處裡 [5];Kazuo Tanaka 等研究者運用腦波來決定電動輪椅的方向控制 [6];Chin-Teng Lin 等人使用腦波量測與動態虛擬的駕駛環境來評估駕駛者的反應 [7] 隨著腦波科學的進步 [1-11], 一些提供準確的擷取腦波系統, 對腦部神經的位置需要大量的電極, 導致空間等因素的束縛 傳統多點的腦電圖需要一個專門的電帽和導電膠來黏貼受測者的前額, 這可能會因黏貼位置不準確或是導電效果不佳而導致腦波的數據擷取錯誤 因此, 本系統以一個輕量化的單點觸發的腦波擷取系統作為腦波 本論文以單點 EEG 擷取點進行腦波量測, 並以藍芽 (Bluetooth) 無線感測系統來做為腦波數值的訊號傳輸, 在週邊的應用上可以讓受測者在量測時知道自己的原始腦波 (Raw EEG) 訊號強度 (Signal quality) 專注力 (Attention) 與禪定力 (Meditation) 的數值來了解當下的自我狀態, 進而以 FPGA 嵌入式平台設計處理電路, 利用腦波數值來控制電動床, 讓漸凍人患者能以意志控制床舖的角度 2. FPGA 開發平台 FPGA 主要是由特殊用途積體電路 (ASIC) 的基礎上所發展出來的可程式邏輯化元件, 其主要的特性是完全由使用者透過軟體的工具進行配置與編程, 進而完成某種特定之功能, 且可以反覆修改, 讓硬體設計工作也成為了軟體開發的程序 如此一來便可大大的縮短系統設計的週期, 提升了開發設計之靈敏度以及降低開發成本 Xilinx 公司所提供的 ISE 開發工具其功能整合了

113 FPGA 開發計設流程之工具, 其中包含了輸入, 合成, 模擬, 實現和下載 在工作流程上無須依賴其他 EDA 的軟體工具 ISE 提供了設計輸入的工具, 包含了使用 HDL 語言編輯, 原理圖編輯工具的 ECS(Engineering Capture System), 用於生成 IP Core 的 Core generator, 使用狀態機設計的 StateCAD 等 ISE 的整合工具不但包含了 Xilinx 公司自身提供的 XST 合成工具, 同時還具備了 Mentor Graphics 公司的 Leonardo 以及 Spectrum 公司的 Synplicity ISE 本身提供了一個具有圖形化波形編輯功能的模擬工具 HDL Bencher, 同時又提供了使用 Model Tech 公司的 Modelsim 進行模擬 本系統使用 XILINX Spartan-III XC2S300 晶片作為開發平台 XC2S300 晶片共有 30 萬邏輯閘,ISE 開發流程如 ( 圖 1) 所示,( 圖 2) 則為 ISE 開發環境 L2CAP, RFCOMM), 並且在設計上也較為簡單 RN-41 的傳輸數率為 3Mbps, 傳送距離為 100 m, 當 NeuroSky 腦波晶片將腦波訊號以 UART 的方式傳送至 RN-41 時, 其寫入速度為 300Kbps 發射端的輸出為 12dBm, 而接收端的靈敏度為 -80dBm, 工作頻率為 ~ 2.480GMHz 此系統主要從 RN41 串列將資料輸入進來, 傳送鮑率 (Baud rate) 設為 57600, 然後在依照每次資料進來封包內容做處理 3. 系統架構如 ( 圖 3) 所示為本系統主要架構, 共分為除頻電路 資料輸入的擷取部份 資料處理部分 腦波判斷 資料輸出與顯示, 依序的來說明整體系統架構 ( 圖 2) ISE 開發環境 ( 圖 1) ISE 設計流程圖 本系統的無線傳輸是使用 RN-41 的無線傳輸方式做為腦波訊號的資料傳送 / 接收, 其技術運作的原理主要是運用跳頻展頻技術 (Frequency Hopping Spread Spectrum,FHSS) 方式在 79 個頻道以 1MHz 做切換, 使藍芽晶片的兩端, 以某一特定形式的窄頻載波同步地在 2.4GHz 頻帶上傳送訊號 選擇 RN-41 的目的主要是因為低功率消耗並且支援許多介面協定 (SPP, SDP, GAP, 圖 (3) 腦波處理系統架構圖

114 如 ( 圖 4) 所示藍芽接收系統會將分類好的資料作輸出顯示處理, 主要有 RS232 串列輸出所有有效的資料, LGM 顯示器顯示腦波原始資料的波形, 七段顯示專心度值和禪定值還有總輸入資料筆數, 還有使用 LED 顯示目前狀態和輸出繼電器的控制 圖 (4) 藍芽接收腦波訊號處理電路架構圖 如 ( 圖 5) 所示, 除頻電路主要是把輸入的 40MHz 的石英震盪, 除頻除到給各個需要各種頻率的電路使用, 而本電路有 LGM RN41 資料輸入 七段顯示掃描等電路都需要各種不同的頻率, 所以需要各個不同頻率的除頻電路來做處裡 圖 (5) 腦波訊號處理系統除頻電路架構圖 如 ( 圖 6) 所示, 資料擷取部份的電路主要功能就是將串列輸入進來的資料作處裡, 由於串列資料進來是以單 1 個位元數輸入, 但是資料使用時候是以整個封包的資料內容來處裡, 而且串列傳輸是屬於非同步訊號傳輸, 無傳輸資料時電位是為 1, 而當資料輸入時電位設定為 0, 並且為 start bit, 電路做法就是先偵測電位是否有下拉至 0 準位, 如果符合條件則先延遲半個週期, 接著依照鮑率的速度將各個位元資料擷取並做處裡, 輸出部分就可以直接將整個封包資料用位元組的方式輸出 資料處理部分是將資料擷取部份輸出的資料, 依照條件不同, 進行資料分類, 以本系統為例子, 資料輸入會先判斷兩個 16 進制 AA 資料進來, 進行同步還有起始資料的判斷, 如果輸入的資料不是兩個 16 進制的 AA 則程式就會判斷輸入的資料不正確, 接下來輸入的資料就會判斷是 16 進制的 04 或是 20, 如果是 04 則進行 RAW DATA 資料處理, 如果是 20 則進行 Big Packet 資料處理 最後部份就是進行 checksum 資料驗證, 如果驗證正確就會將資料輸出給判斷和顯示部分電路, 如果資料有錯誤則不會將資料輸出並直接進行下一筆資料輸入擷取 判斷程式部份是擷取 RAW DATA 資料還有 Big Packet 資料, 依照各種需求, 設定值的門檻並且去控制輸出電路, 其中還有使用了 RAW DATA 資料進行眨眼的功能判斷, 如果有達到臨界值就判斷有眨眼 資料輸出與顯示部分電路, 內容有包含了 RS232 資料輸出的部份,RS232 資料輸出可直接輸出到 PC 端, 以驗證是否資料正確性, 也可以依照需求設定所輸出的封包內容, 來達到擴充不同電路板的需求 顯示電路就是為七段顯示, 其中七段顯示部分就還有包含了掃描電路和多工器電路, 掃描電路所需要的頻率就是從除頻電路輸入, 多工器電路就依照輸入開關的選擇, 去切換顯示所要顯示的資料內容, 以本電路來說可以選擇顯示專心度和禪定值 每秒所接收到的 RAW DATA 有效資料數量以及 RAW DATA 超過臨界值的資料數量等等功能 資料輸入封包處理流程如 ( 圖 7) 所示, 輸入的資料大致上可以分為 RAW EEG 原始腦波資料, 和 Big Packet 封包,RAW EEG 就是原始腦波的波形, 而 Big Packet 封包內容就主要為分析過後的資料, 內容有腦波的訊號強度 專心度 禪定度 Delta Theta Low Alpha High Alpha Low Beta High Beta Low Gamma Mid Gamma 等等資料 4. 系統實物與電動床控制如 ( 圖 8) 所示為所開發之系統實物圖 在醫療設備上我們研究了能讓患者使用腦波訊號而不須經由手便能控制病床高度的研究, 在接收端我們使用了 FPGA 平台來做電動床高低的調整, 當專心高於門檻值時, 電動床便會開始動作 ( 上升 / 下降 ), 眨眼訊號則是讓患者選擇電動床的模式 ( 上升 / 下降 ) ( 圖 9) 為電動床控制之實體圖 5. 結論本論文使用 NeuroSky 腦波晶片來擷取人類大腦的腦電波, 並及時分析出腦電波訊號, 在與傳統的腦波相較時, 它的體積小而且攜帶方便, 在使用上不會受到場地與時間的限制 此外, 我們以 FPAG 平台做為開發工具, 並以 VHDL 硬體描述語言開發出腦波號處理電路, 用以控制電動床之驅動馬達, 在實驗過程中, 我們將 NeuroSky 腦波晶片分析出來的腦波訊號以藍芽無線傳輸的方式作為我們資料的通訊協定 在電動床控制上運用原始腦波中專注力與禪定力可順利的控制電動床角度的控制 在未來, 我們將以這技術運用在教育或是醫療週邊控制上 圖 (6) 腦波訊號資料處理架構圖 致謝本研究感謝國科會計畫編號 NSC E 所提供之經費補助

115 Information Engineering 2011, pp , Changchun, China, June, [2] Jzau-Sheng Lin, Kuo-Chi Chen, and Win-Ching Yang, EEG and Eye-Blinking signals through a Brain-Computer Interface Based Control for Electric Wheelchairs with Wireless Scheme, The 4 th Int. Conf. on New Trends in Information Science and Service Science, vol. II, pp , Gyeongju, Korea, [3] Jzau-Sheng Lin, William Chang, A Multichannel EEGs Monitored System Based on Wireless Sensor Network, Proceedings of 2010 Cross-Strait Conference on Information Science and Technology, pp , Qinhuangdao, China, ( 圖 7) 資料輸入封包處理流程圖 ( 圖 8) 電路系統實物圖 ( 圖 9) 應用於電動床控制之實體圖 參考文獻 [1] Jzau-Sheng Lin, Wen-Jen Yang, Shao-Han Liu, and Yi-Ying Chang, Implementation of a Wireless Sensor Headband in EEG Signal Acquisition, The World Congress on Computer Science and [4] 張蓺英, 林灶生, 張韶芹, 劉崇志, 陳國志, 楊文鎮, 植基於無線腦波儀之心境模式判讀與應用," 第十七屆模糊理論及其應用研討會, pp , [5] Yoshitsugu Yasui, A Brainwave Signal Measurement and Data Processing Technique for Daily Life Applications, Journal of Physiological anthropology, vol.28, no.3, pp , [6] K. Tanaka, K. Matsunaga, and H. O. Wang, Electroencephalogram-Based Control of an Electric Wheelchair, IEEE Trans. on Robotics, vol. 21, no. 4, pp , [7] Chin-Teng Lin, I-Fang Chung, Li-Wei Ko, Yu-Chieh Chen, Sheng-Fu Liang, and Jeng-Ren Duann, EEG-Based Assessment of Driver Cognitive Responses in a Dynamic Virtual-Reality Driving Environment, IEEE Transactions on Biomedical Engineering, vol.54, no.7, pp , July [8] K. Tanaka, K. Matsunaga, N. Kanamori, S. Hori, and H.O. Wang, " Electroencephalogram-based Control of a Mobile Robot", Proceedings 2003 IEEE International Symposium on Computational Intelligence in Robotics and Automation, vol.2, pp , July [9] Chang-Hwan Im, Chany Lee, Hyun-Kyo Jung, Soo Yeol Lee, A New Neuronal Electrical Source Model Considering Electrophysiology to Simulate Realistic Electroencephalography (EEG) Forward Signals, IEEE Transactions on Magnetics, vol. 44, no. 6, pp , June [10] Chin-Teng Lin, Li-Wei Ko, I-Fang Chung, Teng-Yi Huang, Yu-Chieh Chen, Tzyy-Ping Jung, Sheng-Fu Liang, Adaptive EEG-Based Alertness Estimation System by Using ICA-Based Fuzzy Neural Networks, IEEE Transactions on Circuits and Systems I: Regular Papers, vol. 53, no. 11, pp , Nov [11] John Wiley and Sons, Encyclopedia of Medical Devices and Instrumentation, 2nd ed., Hoboken, N.J. : Wiley-Interscience, pp , 2006.

116 第七屆智慧生活科技研討會論文集 Proceedings of Seventh Intelligent Living Technology Conference(2012) ISBN BCI with FPGA-Based Control for Electric Wheelchair Jzau-Sheng Lin Department of Computer Science and Information Engineering National Chin-Yi University of Technology Abstract In this paper, we proposed attention signal in EEG to control the speed of electric wheelchair. The proposed system included acquisition module, processing unit, and control interface. In the acquisition module, the BCI is used to extract the EEG signals from two-channel EEG chips and the ultrasound distance sensor is used to obtain the distance data. The EEG signals include attention, meditation, and RAW EEG. In the processing unit, the FPGA receives the EEG signals through Bluetooth and distance data of obstacle from ultrasound distance sensor to decide how to drive the electric wheelchair. FPGA yields the winking signal and command after processing the RAW EEG and distance data. In the control interface, attention and meditation control the speed of electric wheelchair. The dirction and angle are selected by winking signal. The collision will be avoided according to the value of distance. Additionally, the LCD panel was used to display processing information. Keywords: EEG; BCI; FPGA; electric wheelchair. 1. Introduction In recent year, the development and the application of Electroencephalography (EEG) control are widely implemented. Thereby, brain computer interface (BCI) systems were designed by Barbosa et al. [1], Chae et al.[2] and Mahmud et al.[3] to acquire EEG signal in which robot control system based on BCI are presented. The EEG signal is captured by BCI, and is converted to digital data. By the some way, BCI system can be complete combine with the medical assistive device control system. The traditional wheelchair is operated by human physical actions. It is replaced by the electric wheelchair which is developed to meet the demand of laborsaving. However, joystick is just easily operated by hand control. Lin et al [4] proposed the EEG control electric wheelchair base on BCI. Control chips were deployed in the wheelchair and were connected to a notebook computer by RS232 interface. The EEG signal obtained by BCI then transferred to the notebook computer. The overall analysis and treatment was done in the notebook computer. This framework indicated a feasible solution of physical action free Shang-Ming Huang Department of Computer Science and Information Engineering National Chin-Yi University of Technology s @ student.ncut.edu.tw operation. However, the response time of this framework was restricted since the software process and signals transformation must be considered. In previous researches, the integral system included a personal computer, and non-portable instruments. Though the precision of results were relative higher due to the variety of resource, the whole system was not portable. A portable version of BCI system was proposed by Lin et al. [5]. A single channel EEG headband was proposed to reduce the physical size of hardware. It may cause some loss of accuracy, but the overall precision was acceptable. Extending to preceding researches, we proposed a new approach using a two-channel EEG acquisition system. The EEG signal is first captured and analyzed in the EEG chips. The results then were transformed through the Bluetooth device to FPGA platform. FPGA platform is used to process and control those were done by the notebook computer and central control unit (CCU) in [4]. The execution speed is accelerated when the software computation and the transformation of signals between devices are integrated into hardware. Another advantage of the proposed system is using a multi-channel acquisition. The signal in each channel then can be simply compared to make it more robust. The rest of the paper is organized as follows: Section 2 describes the proposed system. Section 3 demonstrates the experimental results. Finally, section 4 gives the conclusion 2. The Proposed System 2.1 The framework of the proposed system Figure 1. The framework of the proposed system 559

117 第七屆智慧生活科技研討會論文集 Proceedings of Seventh Intelligent Living Technology Conference(2012) ISBN In the proposed system, we used the attention and meditation signals to control the speed of electric wheelchair and used the ultrasonic devices to prevent collisions. The framework of the proposed system, shown in Figure 1, involves acquisition module, processing unit, and control interface respectively. In the acquisition module, the EEG signals were acquired by BCI and the distance data from electric wheelchair to obstacles were measured by ultrasound distance sensors. In the processing unit, attention and meditation were analyzed by EEG chip in BCI. The winking data and distance were processed by FPGA. In the control interface, the speed of the electric wheelchair will be controlled by the values of attention and meditation that were shown in the liquid crystal display (LCD) panel. The dirction and angle are chosen by winking signal. The collision will be avoided according to the value of distance measured by ultrasonic sensors. The detail of the proposed system will be described as following. wave. We used two-channel electrodes to capture EEG signals from left and right forehead for the purpose of smoothing the running of electric wheelchair. Therefore, according to the international system, electrodes positions were located at FP1 and A1 shown as in Figure 3. EEG digital data including Attention, meditation, RAW data, and signal quality were sampled and analyzed by EEG chips and transmitted to the FPGA chip by Bluetooth transceiver. 2.2 The acquisition module Figure 3. The EEG electrode positions The processing unit Figure 2. The brain-computer interface system (1) headband, (2) case, (3) grounded wrist strap (4) electrodes (5) batteries and printed circuit board including EEG chips and Bluetooth models In this module, we used a BCI to gain the EEG signals and used the ultrasonic sensor to obtain the distance data. The BCI, shown in Figure 2, was consisted of headband, mounting box, grounded wrist strap, electrodes, batteries, printed circuit board including EEG chips and Bluetooth models, respectively. The EEG records the electrical currents of the neurons of the brain and shows up these currents as wave-like patterns called brainwaves. The common types of brainwave patterns include Delta (0-3Hz), Theta (4-7 Hz), Alpha (8-12 Hz), and Beta (12-30 Hz). The patterns of the brainwave change depending on what we are thinking and doing. Lin et al. [6] used theta wave and alpha wave to detect drowsiness. In the proposed system, the speed was control by the alpha wave as attention and the switch was started/ stopped by meditation signal converted from theta Figure 4. FPGA board (1) Xilinx chip, (2)JTAG, (3) clock generator, (4)power input, (5)I/O port In the processing unit, a programmable logic device, called a Field Programmable Gate Array (FPGA), was implemented to speed up computing performance. Figure 4 shows the FPGA board that consists of FPGA chip, Joint Test Action Group (JTAG), clock generator, power input, and I/O port, respectively. The FPGA chip was a Xilinx Spartan-3E with 500K gate counts. The circuits were designed using Very High Speed Integrated Circuit Hardware Description Language (VHDL), which is a hardware description language with multiple design unit. JTAG interface was used to download the program to Electrically Erasable Programmable 560

118 第七屆智慧生活科技研討會論文集 Proceedings of Seventh Intelligent Living Technology Conference(2012) ISBN Read-Only Memory (EEPROM) (4Mbit). The clock generator with 40MHz quartz crystal unit controls the frequency of FPGA chip. The input ports were connected to the Bluetooth receiver, Ultrasonic sensors, and clock generator individually. Output ports were connected to LCD panel and motor shown as in Figure 5. RESET input signal Ultrasound distance sensor CH1&1&2&3&4 FPGA chip PING Control PING DATA LCD Control 1MHz LCD Data Bus LCD 128*64Pixel 1.25MHz 40MHz Clock Generator clock CLOCK DIVIDER LEFT MOTOR 76Hz MOTOR Control Figure 5. FPGA system framework DIR bluetooth model CH1&2 Serial DATA EEG Control EEG DATA RIGHT MOTOR In distance processing unit, PING control unit in FPGA chip transmitted the start signal to ultrasonic distance sensors and then received the feedback distance data. The distance data, displayed on the LCD panel and shown as in Figure 6, were simultaneously sent to motor control unit to control the DC motors. In the FPGA chip, EEG control unit got the start bit of packets transformed from Bluetooth interface through serial port with a sampling rate of 40MHz and store them into the buffers. The RAW data in the packets were identified whether the user s winking signal was sent control action to motor control. The LCD control module received the EEG data and direction data to display on the LCD panel. The motor control interface outputs the digital signals to D/A converter converting into analog signals to control the speed of the motors or on/off the motors by solid state relay (SSR). The next section will describe the details of motor control interface and LCD control unit. The information that we need to control the motor is shown in a LCD monitor in Figure 6.The information is divided into two parts in the LCD monitor, each of it measures different channel of EEG signals. ATT shows the attention data of users, and is normalized from 0 to 100. We used A0 instead of 100 points due to the size of the field. The higher grade demonstrates a higher level of concentration. In the same way, MTT indicate the meditation data which measures the physical relaxation. SIG shows the strength of incoming signals. We use 00 for a robust signal, 3A for a weak signal, and 80 for the disconnection. The fifth line which is a blank field in Figure 6 demonstrates the detection of eyes winking. When user winks, the string EYE is shown in this field. Then a field showing the status of motor is deployed. When the system is turned on, MT is shown in the first two characters. The numbers on the bottom show the speed of the motors and can be calibrated in accordance with the attention data on both channels. Users can accelerate the motor by paying more concentration on it. In the proposed method, four ultrasonic sensors are deployed around the wheelchair. The distances of different direction are estimated from the user to the obstacles. They are encoded to hex and shown in last two line of the LCD panel. An additional panel is added to plot the original waveform according to the RAW data from EEG. A 128*64 LCD monitor is used to display the waveform scrolling horizontally with oscilloscope mode. The latest data is shown is the left side, and continuing drifting to the right. Through the displaying wave, we can monitor the intensity of noises by direct observation. The EEG acquisition module has to be calibrated If the EEG signals are unstable. 2.4 motor control and LCD control Figure 7. Motor control framework Figure 6 GUI LCD display 561

119 第七屆智慧生活科技研討會論文集 Proceedings of Seventh Intelligent Living Technology Conference(2012) ISBN A motor control framework is shown as in Figure 7. The first step is direction control in the control flow. The options (left and right) are presented repeated in the center of this monitor every 0.8 second. Once the needed direction appears on the monitor, it is confirmed by the eyes winking of the user. After the confirmation, angels which are marked as 0, 14, 26.6, 45, 63.4, and 90 degrees. Every option lasts 0.8 second shown in the monitor except the option 0 is for 1.2 second, because it is most generally used. By the same way, it is confirmed by the eyes winking again. The needed direction of the movement then can be easily determined without any physical action. The electric wheelchair will turn to the determined direction demanded by the user. When the correct direction is achieved, it moves forward in the speed generated by attention data. The user can stop the electric wheelchair anytime in this stage by winking again. When the electric wheelchair stops, it goes back to the step of direction control. The sample rate retrieving winking of the user is set to 76HZ. In every 0.8 second, we capture the signal from sensors 60 times to confirm if the user is winking or not. Considering the angle of 0 degree is the most generally used, we sample it at the same rate for 1.2 second. The safety is also an important factor in the proposed method. Ultrasonic sensors deployed around the electric wheelchair to detect if any obstacle was located near the wheelchair. wheelchair has to be stopped and the control flow goes back to the step of direction control. By the same way, the wheelchair is also forced to stop when the distance measured by RR and LL is less than 5 cm. When the user decides to turn left or right, the system will measure the distance of LL and RR sides being enough or not. If the space is not enough applying this operation, the wheelchair was stopped for the purpose of safety. Finally, the wheelchair was stopped follows several rules such as the EEG acquisition being removed from the user, the EEG signals being not robust enough. attention and mediation values being lower, respectively. 2.5 DC driver circuit The DC driver circuit is used to drive the direct current (DC) motor, in which it consists of DAC, SSR, Operational Amplifier (OPA), and Darlington amplifiers. The current of DAC is not enough to start the DC motor (20A). Therefore, we use the OPA to amplify the range of voltage and two sets of Darlington amplifiers (15A + 15A) to amplify the current. 3. Experimental results Figure 9 The proposed electric wheelchair system Figure 8 The four Ultrasound distance sensors scan the four direction Figure 8 demonstrates four ultrasound sensors mounted on the wheelchair to scan different four directions. FL and FR detect the front obstacle. If the distance to obstacles is less than 10 cm, the The proposed electric wheelchair system is demonstrated in Figure 9. First, the headband was wearing on head and adjusted the positions of electrodes according to Figure 3. The user checks the quality of EEG signals according the SIG values (= 00). According to the center line on the LCD panel, the user blinks his eyes to choose the direction and 562

120 第七屆智慧生活科技研討會論文集 Proceedings of Seventh Intelligent Living Technology Conference(2012) ISBN angle. The wheelchair turns to the selected direction. The speed of wheelchair is controlled by attention and meditation. The wheelchair is stoped when the user winks or ultrasound sensors detect the obstacle. The system will be reset when the wheelchair stops. 4. Conclusion In this paper, we use the EEG signals and ultrasound sensors to control an electric Wheelchair. The proposed system includes several modules. Firstly, two-channel acquisition interface by EEG chips in the BCI to capture the EEG signals was created. Bluetooth transceiver then transmits signals to the FPGA. The ultrasound sensors extract and send the distance data of obstacles. Then, FPGA calculates the RAW EEG to obtain the winking data and process the distance data to get the distance of obstacles. Finally, attention and meditation data were used to control the speed of electric wheelchair. Additionally, the direction and angle of wheelchair were picked by winking data. The distances are used to prevent the collision between wheelchair and obstacle. The processing information will be displayed on the LCD panel. The overall system demonstrates a practical application in the experimental results , June [6] Chin-Teng Lin, Che-Jui Chang, Bor-Shyh Lin, Shao-Hang Hung, Chih-Feng Chao, and I-Jan Wang, A Real-Time Wireless Brain Computer Interface System for Drowsiness Detection IEEE Transactions on biomedical circuits and systems, no. 4, pp , References [1] Alexandre O. G. Barbosa, David R. Achanccaray, and Marco A. Meggiolaro Activation of a Mobile Robot through a Brain Computer Interface, IEEE International Conference on Robotics and Automation, pp , May [2] Yongwook Chae, Sungho Jo, and Jaeseung Jeong, Brain-actuated Humanoid Robot Navigation Control using Asynchronous Brain-Computer Interface Proceedings of the 5th International IEEE EMBS Conference on Neural Engineering, pp , April [3] Mufti Mahmud, David Hawellek, Alessandra Bertoldo EEG Based Brain-Machine Interface for Navigation of Robotic Device Proceedings of the 3rd IEEE RAS & EMBS International Conference on Biomedical Robotics and Biomechatronics, pp , September 2010 [4] Jzau-Sheng Lin, Kuo-Chi Chen, and Win-Ching Yang, EEG and Eye-Blinking signals through a Brain-Computer Interface Based Control for Electric Wheelchairs with Wireless Scheme The 4th Int. Conf. on New Trends in Information Science and Service Science, vol. 2, pp , [5] Jzau-Sheng Lin, Wen-Jen Yang, Shao-Han Liu, and Yi-Ying Chang, Implementation of a Wireless Sensor Headband in EEG Signal Acquisition The World Congress on Computer Science and Information Engineering, pp. 563

121 Acceptance Letter July Paper no.: F1086 Paper title: An FPGA-Based Brain-Computer Interface for Wireless Electric Wheelchairs Dear Prof./Dr./Mr./Ms. Jzau-Sheng Lin We are pleased to inform you that your manuscript has now been accepted by the 2nd International Conference on Engineering and Technology Innovation 2012 (ICETI2012). Your expertise and leadership will be a very valuable contribution to the conference and to attract other great scientists, speakers and young talents. ICETI2012 conference will take place from November at Crown Plaza Kaohsiung E-Da World in Kaohsiung, Taiwan. You are cordially invited to attend the conference and to give an oral presentation. Your interest in ICETI2012 is very much appreciated. We look forward to meeting you at the conference. Sincerely yours, The Organizing Committee of ICETI2012

122 An FPGA-Based Brain-Computer Interface for Wireless Electric Wheelchairs Jzau-Sheng Lin, Sun-Ming Huang Department of Computer Science and Information Engineering, National Chin-Yi University of Technology Taichung, 41170, Taiwan, ROC. Keywords: FPGA, EEG, BCI, Electric Wheelchairs. Abstract. A wireless EEG-based brain-computer interface (BCI) and an FPGA-based system to control electric wheelchairs through a Bluetooth interface was proposed in this paper for paralyzed patients. Paralytic patients can not move freely and only use wheelchairs in their daily life. Especially, people getting motor neuron disease (MND) can only use their eyes and brain to exercise their willpower. Therefore, real-time EEG and winking signals can help these patients effectively. However, current BCI systems are usually complex and have to send the brain waves to a personal computer or a single-chip microcontroller to process the EEG signals. In this paper, a simple BCI system with two channels and an FPGA-based circuit for controlling DC motor can help paralytic patients easily to drive the electric wheelchair. The proposed BCI system consists of a wireless physiological with two-channel acquisition module and an FPGA-based signal processing unit. Here, the physiological signal acquisition module and signal processing unit were designed for extracting EEG and winking signals from brain waves which can directly transformed into control signals to drive the electric wheelchairs. The advantages of the proposed BCI system are low power consumption and compact size so that the system can be suitable for the paralytic patients. The experimental results showed feasible action for the proposed BCI system and drive circuit with a practical operating in electric wheelchair applications.. Introduction For the electric wheelchair, it has been considered as one of important mobility aids for the elderly as well as the physically impaired patients. Approximately 50% of patients including paralyzed patients can not be able to control an electric wheelchair by conventional methods in the clinicians report. Especially, people can only use eyes and brain to exercise their willpower if they got MND. In the context, EEG-based wheelchairs are a mobility aid especially suitable for the paralyzed patients that are unable to successfully operate the electric wheelchair. Especially, the control system is implemented by an FPGA chip with hardware description language VHDL to reduce the physical size of hardware. A number of biological signals have been utilized as hand-free interfaces, named brain-computer interface (BCI) to machines like electromyogram (EMG) and electroencephalogram (EEG). For the hardware in the proposed BCI systems included personal computer, embedded system, single-chip microcomputer, and so on. In order to compact the size of hardware circuit, the authors used FPGA chip to design the BCI system to control an electric wheelchair to help the paralytic patients moving freely in their daily life. Electric wheelchairs have been identified as a primary mobility aid for the elderly as well as the physically impaired. There is a rising tendency in the growing recognition requirements of BCI systems [1-9]. These existing BCI systems focus on developing new superior control and communication technologies for those with strict neuromuscular disorders. A subject-independent BCI based on motor imagery was discussed by Lotte et. al. [6]. In [7], Soraghan et al. proposed optical brain-computer interfaces to drive triple wavelength LED. Liu and Zhao [8] demonstrated a semi-supervised learning algorithm for BCI based on combining features to aim at reducing the training process. In Reference [9], Prof. Lin et. al.

123 proposed a real-time wireless BCI for drowsiness detection. Their system consists of a wireless physiological signal-acquisition module and an embedded signal-processing module to monitor the drivers long-term EEG signals and drowsiness status respectively. Additionally, several BCI systems were constructed to control electric wheelchairs [1-5]. Several portable BCI systems have been proposed with a complex manner and having to transmit an EEG signal to a back-end computer to process the EEG signals. Montesano et. al. [1] proposed a wheelchair system for cerebral palsy users. In reference [2], Tanaka et al. used 15 electrodes to acquire EEG signals and a computer to access and analyze the brainwaves through wired cables. Their system cannot be suitable in practical use. Galan et al. [3] proposed a brain-actuated wheelchair in an asynchronous and non-invasive BCI by using of a complex EEG acquisition system with 64 channels. An electric wheelchair towards a BCI-based control was proposed by Cho et al. [4]. They utilized a software named ACQUIRE and a complex acquiring system for the data acquisition process. For the electric wheelchairs in References [1-4], they did not use any wireless interface in their system. The author also proposed a microprocessor-based and wireless-interface electric wheelchair with EEG signal [5]. In order to downsize the system size, an FPGA chip was used to organize all the digital circuits in the wheelchair control module in this paper. This paper describes EEG-controlled wheelchairs through a Bluetooth interface by using of an FPGA chip to reduce the size of hardware circuit. The study focused on paralyzed patients who can only use eyes and brain to exercise their willpower. In this paper, we proposed a novel and simple technology to incorporate interactivity value in a wireless BCI system and an FPGA-based drive circuit to control electric wheelchairs. The purpose of this paper is also to upgrade the previous system with microcomputer-based and to compact the size of hardware circuit. In the proposed BCI system, it has a compact size with low-power consumption for two channels to extract the EEG signals. Architecture of BCI A BCI is a novel communication system which enables users to translate brain activity, measured by Electroencephalography (EEG), into a control signal and sending to processing unit. BCIs have been exposed as a promising tool for paralyzed people and healthy people in several computer applications such as medical assistant devices and video games. BCI is a system in order to acquire and analyze brain waves in which a communication channel with high-range bandwidth has been created between the brain and the machine. Recently, the research field on BCI provides a new direction to construct an interactive system which can translate human brainwave into control signals for computer-application devices. A BCI system is just to translate EEG signals from a reflection of brain activity into user action through system s hardware and software. BCI approaches are based on a variety of strategies to generate control signals which may be the result of visual stimulation or of imaginary motor tasks. Structure of the Proposed BCI for Electric Wheelchairs As shown in FIG 1, the proposed framework for the signal processing of EEGs with Bluetooth interface is expressed. The EEG signal was extracted from EEG acquisition module with two channels. In this system, we used the NeuroSky's ASIC chip to capture EEG and eye-winking signals. With the sensor on headband to read brain waves, the brainwaves raw EEG were transmitted by the Bluetooth wireless module HL-MR08R-C2A in the EEG acquisition module. In the receiving part, we also integrated the Bluetooth module HL-MR08R-C2A in the wheelchair control module. The raw EEG signals, received from Bluetooth, were processed by an FPGA chip named XC3S500E-PQ208. The FPGA chip also displayed the operation signals on the 128*64 LCD. The direction-status unit, controlled and determined by the eye-blinking signal, is an LED array used to show the moving direction of turning for the wheelchair. The brainwave-score unit shows the

124 intensity of Attention signal as well as the action status of electric wheelchair is displayed on the wheelchair right/left control unit. The Attention signals can be transformed as analog signals with a D/A converter to control the electric wheelchair through the motor driver circuit. The ultrasonic sensors with four directions are also designed to detect the obstacles around wheelchair. Wireless EEG Acquisition Module The wireless EEG acquisition module, shown as in FIG. 1, mainly consists of two sets of NeuroSky ASIC chip named TGAM1_R24A and wireless transmission unit to organize two-channel EEG acquisition module in order to extract EEG signals stably. The EEG chips pass signals through A/D converters to convert analog signals into digital signals. Every NeuroSky ASIC chip also uses DSP circuit and an MCU to get high-quality EEG signals and reduce the noisy interference. Additionally, the chip has an active electrode to extract EEG signals and two reference electrodes. It, working on a voltage level of 3.3V, can send EEG raw data and big-package signals to peripherals by series manner with a baud rate of bps. Here, two Bluetooth modules HL-MD08R-C2A are used as the wireless transmission unit. Wireless EEG Acquisition module EEG extracting Chip CH1 Bluetooth Transmitter 1 (D) Box for mounting A (A) Batteries, EEG acquiring, and Bluetooth (B) 2-channel electrodes EEG Extracting Chip CH2 Wheelchair Control Module Bluetooth Transmitter 2 (E). Headband for setting B FIG. 2. Photograph of wireless EEG acquisition module (C) Grounding Bluetooth Receiver 1 CH1 MOTOR_DAC1 Driver 1 DC Motor Bluetooth Receiver 2 Ultrasonic Modules CH1 CH4 CH2 MOTOR_SSR1 Central Control Unit XILINX FPGA XC3S500E-PQ208 PING LCD 128*64 LCD 40MHz System Clock CLK MOTOR_DAC2 MOTOR_SSR2 Driver 2 Reset RESET DC Motor FIG. 3. FPGA XC3S500E-PQ208 FIG. 1. System architecture of the proposed BCI for electric wheelchair. For the wireless EEG acquisition module, an I/O port acquiring the EEG signals is named Active Electrode Port which can be connected with an electrode to attach on the forehead as well as Reference Electrode Ports are affixed on hand as reference points. Then the analog EEG signals have to be amplified, filtered, and converted to digital manner through TGAM1_R24A to form raw EEG signals. These raw EEG signals can then be fed foreword into the Bluetooth transmitter HL-MR08R-C2A on the port TXD with the UART manner. The Bluetooth transceiver HL-MR08R-C2A was selected because it has low-power

125 consumption, supports many interface protocols (SPP, SDP, GAP, L2CAP, and RFCOMM), and can be designed a wireless interface with a simple manner. The photograph of wireless EEG acquisition module is shown as in FIG. 2. In order to effectively acquire the suitable EEG signals, 2-channel electrodes were bounded on the forehead as well as grounding electrode was tied on a hand. Wheelchair control module The wheelchair control module was implemented by a Xilinx FPGA chip named XC3S500E-PQ208 shown as in FIG. 3. It occupies 500K system gates equivalent a number of logic cells, in which we organized EEG analysis, Clock driver, ultrasonic, DC motor, and LCD ccontrol units. The block diagram of wheelchair control module is shown as in FG. 4. In the block of clock driver, we used 40 MHz system clock to generate 1.25 MHz for LCD control circuit, 1 MHz for ultrasonic control module, and 76 Hz for DC motor control circuit, respectively. In the block of EEG analysis, we directly used system clock (40 MHz) to detect the brain-wave packages received from the Bluetooth receivers due to series and asynchronous manner being followed in the wireless transceivers in order to avoid losing package data. EEG data were separated into raw EEG and big packages. We can receive a big package and 512-byte raw EEG data per second. FIG. 5 shows the implemented circuit of the EEG Analysis module. The input data were received through Bluetooth with a series manner. In the circuit, we used a buffer and a counter to convert series data into parallel manner. In accordance with the state counter, the big package and EEG raw data were separated and stored into BIG_PACKAGE RAM and RAW_EEG RAM respectively. If the input data in the current state is not correct, the state counter will be reset into waiting state. Additionally, the winking signal was detected by using of comparison RAW_EEG with the winking feature. If the winking characteristic was matched, the winking signal was sent through signal EYES. MOTOR_DAC1/MOTOR_SSR1 CH1 CH2 CL K EEG Analysis Clock Driver 1 MHz PING RESET RESET Ultrasonic Control 76 Hz 1.25 MHz RESET PING Data DC Motor Control DI LCD Control MOTOR_DAC2/ MOTOR SSR2 RESET LCD FIG. 4 The block diagram of wheelchair control module. FIG. 5. The implemented circuit of the EEG Analysis FPGA Module PCB of Driver Circuit SSR Componen t SSR Componen t FIG. 6 The implemented circuit of DC Motor control module. FIG. 7. The whole circuit of the proposed electric wheelchair system.