中醫舌診電腦化之特徵擷取方法 Feature Extraction For The Automatic Tongue Diagnosis 葉信育 + 蔣依吾 Sin-Yu Yeh +, John Y.Chiang + 國立中山大學資訊科學中心 + Center of Information Science National Sun Yat-Sen University Kaohsiung, Taiwan 80424 + 陳建仲 + + + + Jiang-jung Chen 中國醫藥學院附設醫院中醫內科 + + Department of Chinese Medicine China Medical College Hospital 摘要 中醫舌診焦點集中於舌頭部位, 辨別舌質可以知道五臟虛實 ; 檢驗舌苔可以判斷六淫深淺 ; 同時審察舌質與舌苔, 比較兩者變化, 更具有重要意義 ; 因此自動化舌診首先必須從患者嘴部影像中擷取舌頭部分, 本文藉由分析不同部位 RGB 彩色分量, 利用其彩色分量間相對值差異, 強化舌頭邊緣和嘴唇 皮膚之間對比, 再以邊界檢測法則擷取舌頭影像, 利用色調與亮度特性將舌診辨証上兩大重要特徵 舌苔與舌質 分離, 於舌頭區分成舌質部分與舌苔部分後, 導出苔色 厚薄 偏全變化 剝脫 舌色 朱點 裂舌等特徵, 以作為下一階段運用模糊理論斷症之依據 關鍵字 : 舌診, 舌苔, 舌質, 特徵擷取, RGB 彩色分量 Abstract The tongue diagnosis in traditional Chinese medicine concentrates on differentiating the tongue characteristic of the patient. The extraction of tongue portion from the surrounding mouth image is the first step in the automatic tongue diagnosis. However, the separation of tongue from its surrounding lips and facial portions can not be based on simple grey-level differences due to the close resemblance in terms of lighting condition. In this paper, an auto matic feature extraction of a patient s tongue based on the RGB color components is proposed. The color differences in tongue and its surrounding areas are enhanced and discriminated by a contour extraction procedure. Once the boundary of the tongue is located, two primal characteristics utilized in the next stage fuzzy classification, tongue granularity and smoothness, are extracted. The color, thickness, area of distribution, peeling conditions, spottiness and cracks are then derived and employed as features to diagnose diseases. Keyword: tongue diagnosis, tongue granularity, tongue smoothness, feature extraction, RGB color components
Ⅰ. 簡介 中醫診斷精髓在於 辨證論治, 而辨證 以望 聞 問 切四診為依據, 以視覺來診 察為望診 ; 以聽覺 嗅覺來診察為聞診 ; 以 言語來診察為問診 ; 以觸覺來診察為切診, 依 四診合參 原則, 綜合各類訊息, 加以 分析歸納, 辨明疾病之病態與病理機序, 即 為 辨證, 其中舌診是中醫望診中重要項目 [1,2], 但是在舌診判讀上往往取決於醫師主 觀意識 經驗累積以及受限當時環境因素 [3], 缺乏客觀指標, 因此為達到診斷之客觀 化及定量化目標, 中醫舌診電腦化之研究為 必然發展趨勢 [4-6] 舌診電腦化工作包括舌頭影像數位化 擷取舌頭影像 擷取舌診特徵 舌特徵分析 等步驟 [18-21]; 首先, 為了保證數位化舌診影像準確與一致, 在影像攝取過程中必須注意攝影環境控制, 避免因外在因素干擾, 造 成影像失真 [7,8]; 其次, 為了有效擷取舌頭 部位影像, 處理流程可區分為數個模組, 首 先將原始影像讀入電腦中, 根據原始影像攝取時環境特性, 產生一個包含舌頭區域之矩形影像, 利用彩色分量間相對特性強化舌頭影像與周遭其他部位之差異, 再選擇適當臨 界值將強化後之影像變成二值影像, 接著利 用影像邊緣檢測方法找出舌頭邊界, 根據舌 苔與舌質在色調和亮度之差異, 由擷取出之舌頭影像中分離出舌苔與舌質部份 [18-21]; 將舌苔與舌質顏色 相對面積等特 徵以模糊理論 (fuzzy theory) 來進行舌診特徵 分析 [9-12], 每一項舌診特徵就是一個模糊 集 (fuzzy set), 為各種舌苔與舌質特徵定義其 相關歸屬函數 (membership function) 表示程 度上之差異, 所有舌診特徵形成特徵集 (pattern set)[ 16,17], 根據中醫辨證論治, 將 各項特徵進行交叉分析, 對於不同病態取相 關之舌診特徵以計算其相關模糊值 (fuzziness) [17], 並綜合判讀, 決定診斷結果 ; 自動化舌診影像處理流程如下圖所示 : 攝攝影影 病病結結 原原 RGB 彩彩影影 檢檢矩矩區區 交交分分歸歸 矩矩區區影影 模模集集 增增影影對對 歸歸函函分分 模糊分分 強強對對影影 特特集集 影影二二化 特特分分 黑黑影影 舌舌舌舌 邊邊檢檢 特特擷攝 特徵擷取 圖一. 自動化舌診影像處理流程 Ⅱ. 舌診攝影環境之控制 舌舌影影 為了避免影像失真, 首先於舌診攝影室設立暗房, 阻絕外來光源, 以避免外來光線 對攝影結果之影響 ; 另外設計舌診攝影頭部固定架, 使舌頭照射部位 光源 和相機三 者位置固定, 避免因彼此間距離不同而對攝取影像之亮度及可信度造成影響, 攝影檢查檯如圖二所示 在光源方面, 使用標準色溫冷光燈光 ( 色溫值約 5300K, 亮度約 3100Lux) 作為舌診攝影光源, 以避免因色溫因素而影響影像色調 (Hue), 也可免除一般燈光因光源 發熱, 而影響舌頭血液循環, 造成干擾, 由於閃光燈電容器因充電時間不同會影響電瓶電壓高低, 而不同電壓下閃光燈所產生光線 色溫值會有變化, 因此也會影響影像之可信 度, 所以攝影時不使用閃光燈, 在成像器材方面, 使用之 Nikon E2 數 位相機具有比一般 RGB 分離式彩色攝影機 CCD 及數位相機為高之解析度 (1.3 萬 pixels, 1280*1000), 經由手動模式操作, 可
避免因影像色相及取景不同, 而影響測光後 曝光量 ; 而此一相機具有根據不同色溫而設 定色溫值功能, 因此亦能避免因色溫漂移而 對影像造成干擾, 同時在每位患者做舌診攝 影前, 除了以灰卡 (Gray card) 做曝光矯正以避免明亮度 (luminance) 和色彩度 (saturation) 失真外, 還以色溫表詳細記載每張影像色溫值和亮度值 ; 另一方面, 影像攝影由經過訓練操作人員, 依固定程序攝影, 並注意患者伸舌頭姿勢及舌頭狀態, 以避免患者因舌頭伸展姿勢不同造成干擾, 而且舌頭影像攝影是在患者進食後二小時進行, 避免飲食所造 成影響 像處理方法中, 包括灰階影像處理和彩色影像處理, 沒有一個適當方法可以將舌頭區域 從影像中獨立出來, 因此很難直接從整幅影 像中擷取出舌頭部位, 因此, 如果能夠找到一塊包含舌頭的矩形區域, 且該矩形區域能夠盡可能過濾不必要資訊, 將可有效地縮減 影像處理範圍, 簡化後續處理 圖二. 攝影檢查檯 Ⅲ. 檢測矩形區域 圖三. 輸入舌診影像 欲找出一塊包含舌頭部位之矩形區域, 必須於舌頭四周圍尋找線索, 以便找出矩形 邊界, 仔細觀察舌診影像, 可以發現在舌頭四周分別對應四個顏色比較黯淡的區域, 如圖三所示, 這四個區域分別為影像左側的灰卡在患者面頰上產生之陰影, 影像右側的比色卡在患者面頰上產生之陰影, 下巴固定檯上之黑色絨布, 及上嘴唇與舌根交界處之陰 影 ; 藉由檢測這四個顏色較為黯淡的區域, 就可以找到一塊包含舌頭之矩形區域影像, 其結果如圖四所示 中醫舌診焦點集中於舌頭部位, 影像中 舌頭以外區域對於病情診斷並無助益, 因此 先要將舌頭區域從輸入舌診影像中分離, 以 便排除不相關資訊, 這些不相關資訊包括影 像左側用來校正曝光量的灰卡 (Gray Card), 影像右側做為色彩對照的比色卡, 影像下方固定下巴的固定檯黑色絨布, 以及患者嘴唇 及其周圍皮膚, 如圖三所示 由於舌診影像是全彩影像, 於所知的影 圖四. 矩形區域影像
Ⅳ. 增強影像對比 前一個檢測矩形區域步驟已經過濾原影 像中很多不相關資訊, 後續處理之目的在於 尋找舌頭邊界, 以便進一步擷取舌頭區域, 如直接使用傳統影像處理中之邊緣檢測技術, 所得之舌頭邊界並不明顯, 於很多地方 斷裂不連續, 並伴隨大量雜訊, 很難分辨到底是舌頭邊界還是雜訊, 無法進行連接舌頭 邊界 ; 藉由觀察舌頭邊緣 ( 舌尖以及舌頭的兩側 ) 亮度和嘴巴周圍皮膚亮度, 發現這兩處亮 度值並沒有很顯著差異, 低對比影像區域將 導致找出之舌頭邊界不明顯, 而且時有斷裂, 另外由於這兩處區域並非均勻平滑表面, 對光線反射量不一致, 所以產生之亮度值也不平均, 再加上舌面上唾液多寡影響光 反射量, 所以同一區域內亮度值變化很大, 而不同區域間亮度值並無明顯差異, 以單純 邊緣檢測技術將產生大量的雜訊, 並無法有效區隔不同部位 經由取樣觀察舌頭邊緣和周遭皮膚這兩處之 RGB 彩色分量, 發現這兩處之紅色分量值以及藍色分量值並沒有很明顯差距, 有些 區域是舌頭邊緣上紅色及藍色分量值較皮膚 為大, 有些區域則是皮膚上分量值值大, 而且相差都很小, 並沒有一致的規律可尋, 這樣忽大忽小現象, 即導因於這兩處區域不是均勻平滑表面, 然而舌頭色彩會較皮膚來得紅潤之關鍵在於綠色分量值之差異, 比較這 兩處綠色分量值, 可以發現皮膚上 G 值大於在舌頭邊緣上 G 值, 並且不論是舌頭或周遭 不夠明顯, 不足以用來檢測舌頭邊界, 如果 能夠將這兩處對比增強, 擷取舌頭工作將較 為容易, 如前所述, 這兩處 R 值及 B 值沒有明顯差別, 唯一比較明顯差別處在於 G 值表現上, 因此可以假設 R B 是常數而 G 是變 數, 利用這些彩色分量值彼此間相對特性, 導出下列強化對比公式 : R G G B + 1 if R G, R B (4 1) 其中分母加 1 是為了避免分母為 0 狀況 ; 解讀 (4-1) 式意義, 在分子部分, 當 G 值愈接近 R 值時, 分子愈小, 則整個式子結果也變小 ; 反之, 如果 G 值和 R 值差距愈大, 分子愈大, 則式子結果也跟著變大 同樣的道理, 在分母部分, 當 G 值愈接近 B 值時, 分母愈小, 式子結果變大 ; 反之, 如果 G 值和 B 值差距愈大, 分母愈大, 式子結果反而變小 由於 舌邊 G 值小於皮膚 G 值, 所以 (4-1) 式在舌頭 邊緣表現是分子大而分母小 ; 在皮膚表現則恰好相反, 是分子小而分母大 因此 舌頭邊緣 R G R G > G B + 1 G B + 1 周遭皮膚 將矩形區域內每一個像素代入 (4-1) 式中計算, 並求出平均值 m 和變異數 d, 然後再利用下面對應關係, 將強化後數值對應到灰 階範圍 0 到 255 之間, 以增加其動態範圍, 即可得一幅強化舌頭邊緣和皮膚對比的矩形灰階影像, 如圖五所示 皮膚, 其紅色分量值均較綠色分量及藍色分量值為大, 換言之 : m-d m m+d R G, R B 灰灰灰 0 127 255 由於這三個原色間的相對特性, 其組合結果 使得舌面色彩感覺較皮膚紅潤 由於舌頭邊緣和皮膚這兩處亮度值差距
圖五. 增強影像對比後影像 Ⅴ. 影像二值化 由前一個步驟得出之強化影像中, 舌頭部份亮度值很高, 特別是在舌頭邊緣得到相當好的對比度, 而在舌頭以外區域, 其亮度值就相對較低, 選擇適當臨界值將強化對比 影像二分為黑白影像, 由 30 張收集之實驗影 像導出最佳臨界值通常介於間, 如圖六所示 : 105 至 125 之 方邊界 至於舌頭兩側及下方邊界, 圖六之 黑白影像已提供足夠資訊, 先建立兩個不同區塊 (block), 大小分別為 7*5 和 3*7, 區塊 大小設定乃是依據 30 張收集之實驗影像在 黑白影像上之表現, 歸納出足以檢測出舌頭 邊界並消除雜訊影響, 設立兩個大小不同區塊之主要目的在於避免因為雜訊影響而造成誤判, 將此兩個區塊代入黑白影像中, 針對每一個像素點進行判斷, 如果兩個區塊所包 含白點數總和大於事先設定之臨界值, 則可 標示為舌頭邊界, 相同地, 臨界值設定也是根據所有收集之實驗影像歸納而來, 產生結果則如圖七所示 圖六. 二值化黑白影像最後一個步驟是利用邊緣檢測找出舌頭 邊界, 但必須分為兩方面進行, 其一是舌頭上方邊界, 其二為舌頭兩側及下方邊界 仔細觀察圖六黑白影像, 舌頭兩側及下方白色 點非常明顯, 但是舌頭上方卻不明顯, 因此 不能直接以圖六黑白影像來檢測舌頭上方邊 界, 唯一可用資訊來自原始影像, 利用如步 驟一尋找矩形區域影像之作法來檢測舌頭上 原始 RGB 圖七. 舌頭曲線影像 彩色影像經由檢測矩形區域 增強影像對比 影像二值化及邊界檢測 等步驟, 最後得出之舌頭曲線影像與人眼辨 識結果完全吻合, 證明我們所提出之特徵擷 取方法優良, 非常適用於自動化舌診影像特 徵擷取 Ⅵ. 舌苔與舌質特徵擷取 中醫舌診病情診斷主要是根據舌苔與舌 質上特徵, 辨別舌質可以知道五臟虛實 ; 檢 驗舌苔可以判斷六淫深淺 ; 同時審察舌質與 舌苔, 比較兩者變化, 更具有重要意義, 診家直談一書說 : 凡察舌者, 舌苔與舌質非分開不可, 即使舌苔不良, 舌質若正常, 則只
是胃氣穢濁而已 ; 通俗傷寒論說 : 舌苔無 論何色, 皆為可治, 舌質既變, 則視其色之 死活 活者, 查察舌質微現燦燦紅色, 此不外為氣血澀滯而已, 臟器無損 ; 死者, 舌質 全乾而色萎黑, 全無生氣, 臟氣不至之故, 所謂真臟之色也 ; 在舌苔部份, 主要特徵包 括苔色 苔的厚薄 苔面偏全變化及苔的剝 脫, 在舌質部份, 主要特徵有舌色 色澤 朱點 裂舌 舌態, 綜合這些特徵的特性, 依據中醫診斷學辨證法, 陰 陽 表 裡 寒 熱 虛 實八種疾病證型分類方法以辨 明病態 舌苔部份 1. 苔色 : 主要分為薄白苔 白苔 黃苔和黑苔四種 正常苔色為薄白苔, 若異於 薄白苔之情形為不正常舌苔 苔色的界定須仰賴中醫專家依其臨床經驗之習慣 來判斷, 以實際病例作數據上的統計工 作, 以歸納出各種苔色的顏色範圍 2. 厚薄 : 正常為薄苔, 若異於薄苔之情形 為不正常舌苔 ( 包括無苔 少苔 厚苔 ) 厚薄的判斷, 可根據舌苔與舌質之相對 色澤對比來判定, 顏色對比差距越大 時, 則苔越厚 ; 反之, 則苔越薄 3. 偏全變化 : 全, 是苔滿佈於全部 ; 偏, 為苔偏前 偏後 偏左或偏右 可根據 舌苔在舌面上分佈來判斷 4. 剝脫 : 通常表現是在應該有舌苔之處, 發生了少苔或無苔現象, 或是少苔或無 苔處有被有苔包圍感覺 舌質部份 1. 舌色 : 主要可分為淡紅舌 淡白舌 紅舌 絳舌和輕紫舌 正常舌色為淡紅舌, 若異於淡紅舌之情形為不正常舌色 舌 色的界定須仰賴中醫專家依其臨床經驗之習慣來判斷, 以實際病例作數據上統計工作, 以歸納出各種舌色顏色範圍 2. 色澤 : 用以判斷舌之榮枯 榮舌紅潤有 光彩有津液 ; 枯舌黯淡無光彩, 乾燥無津液 可由色調 飽和度 亮度三者一起作綜合判斷 3. 朱點 : 通常出現在舌尖和舌邊區域, 常呈點狀圓形散佈, 其顏色較周圍舌質顏 色紅豔 4. 裂舌 : 出現在舌面上, 可有各種方向裂溝, 形成一條一條的無苔裂痕 所以進一步工作重點在於將舌頭影像分 離成舌苔影像與舌質影像, 由於舌苔與舌質 在顏色表現上明顯不同, 因此以色調 (hue) 和 亮度 (intensity) 差異做為判斷依據, 色調表徵 色彩屬性強弱, 亮度則表示彩色強度大小, 如圖七所示 HIS 與 RGB 彩色模型架構關係 R H P 白 黑 B G 圖八. HSI 彩色模型 亮度 I 其中色調 H 決定於 P 點和 R 軸的夾角, 亮度 I 是用垂直於三角形並通過三角形中心的線來計算的, 而飽和度 S 是顏色未被白色沖淡的程度, 它與 P 點到三角形中心距離成比例, 越接近三角形中心則顏色越不飽和 經由取樣分析, 舌苔亮度值大於舌質亮 度值, 舌質色調較接近純紅色而舌苔色調比較偏離純紅色, 利用兩者在色調和亮度上的 相對特性, 可以歸納出足以分離兩者的臨界 值, 分離結果如圖八與圖九所示
苔色判斷方面, 可由舌苔影像之色調而定, 苔色主要分為薄白苔 白苔 黃苔和黑 苔, 各種苔色色調範圍之界定, 是依據 30 張收集之實驗影像, 由多位中醫專家共同認 定並作數據上之統計歸納而得, 同時, 也藉 由舌苔影像中各苔色色調之比重以斷其病症種類及病症程度 ; 在苔之有無及厚薄方面, 可根據舌苔面積佔舌頭總面積之比重判斷其無苔程度, 當舌苔面積佔舌頭總面積之比重 愈小時, 其無苔程度愈高, 另外, 可根據舌 苔與舌質之相對色澤對比來判定厚薄程度, 當對比差距越大時, 則苔越厚, 反之, 當對比差距越小時, 則苔越薄 ; 苔的偏全變化方面, 若舌苔面積佔舌頭總面積之比例越高 時, 表示苔面佈滿舌面程度越高, 另由舌苔在舌面上分佈的對稱性可判斷其偏左 偏右 及偏差程度 ; 苔的剝脫程度則由苔面分佈上 之缺塊程度而定, 苔面的缺塊越嚴重表示其 剝苔程度越高 圖九. 舌苔影像 舌色之判斷, 可由舌質影像之色調而 定, 舌色主要分為淡紅舌 淡白舌 紅舌 絳舌和輕紫舌, 各種舌色色調範圍之界定, 同樣是依據 30 張實驗影像經多為中醫專家 判定並加以統計歸納而得, 同時也藉由舌質 影像中各舌色色調之比重以斷其病症種類及病症程度 ; 在色澤方面, 則由統計色調 飽和度 亮度三者之整體表現作綜合判斷, 榮 舌應該紅潤有光彩, 反之, 枯舌則顯得黯淡 無光彩 ; 朱點之多寡方面, 由於朱點顏色較 為紅豔並且呈點狀散佈, 因此可藉由訂定朱 點色調範圍以判斷是否產生朱點, 朱點色調 範圍亦由實驗影像之統計歸納而來 圖十. 舌質影像 Ⅶ. 結論 下一個階段為特徵解讀, 這一個過程很 類似於人類智慧認知過程, 由於舌診特徵判 讀本身具有模糊本質, 勉強地將其二分成 0 與 1, 反因無法契合舌診解讀特性而失去實 質上意義, 加上人類以語彙表達時, 其本質亦具不確定性 (uncertainty), 這正符合模糊理 論精神, 因此以模糊關係定義舌特徵模糊程 度, 每一項舌診特徵就是一個模糊集, 為其定義一個歸屬函數以表示程度上之差異, 所 有舌診特徵形成特徵集, 並根據中醫舌診辨 證法則, 將各項特徵進行交叉分析, 也就是 對於不同病態取相關舌診特徵以計算其模糊 性, 此一運用模糊理論歸納各項特徵斷診部 分尚在研究中, 將於後續論文中報告 Ⅷ. 參考資料 [1] 李乃民等 : 中國舌診大全, 學苑出版社, 北京 1995:1-525, 1224-1347 [2] 王季藜等 : 舌診源鑑, 立得出版社, 台
北 1993:2-15 [3] 洪禎徽 : 舌診, 立得出版社, 台北 [4] 趙榮菜等 : 舌質舌苔的計算機定量描述 和分類 中醫雜誌 1989; 2:47 [5] 張永賢 邱創乾 : 以色彩學探討中醫舌象之研究 第六十六屆國醫節中醫學術 研討會 1996; 三月 :2 [6] 尚瑞梅 : 舌體大小的臨床意義與客觀化計量化研究 浙江中醫雜誌 1993; (11):518 [7] 宋汝濬 APSC 著 : 攝影學, 藝術圖書公司, 台北 1993:10-11, 65-69 [8] 林傑人編著 : 實用攝影, 渤海堂文化事業有限公司, 台北 1993:106-123, 265-272 [9] George J. Klir and Tina A. Folger, Fuzzy Sets, Uncertainty, and Information, New Jersey, 1988. [10] Shinichi Tamura, Seihaku Higuchi, and Kokichi Tanaka, Pattern Classification Based on Fuzzy Relations, IEEE Transactions on Systems, Man, and Cybernetics, vol. SMC-1, No. 1, pp. 61-66, Jan. 1971. [11] L. A. Zadeh, Fuzzy algorithms, Inform. Contr., vol. 12, pp. 99-102, Feb. 1968. [12] L. A. Zadeh, Fuzzy sets and systems, Proc. 1965 Symp. On Syst. Theory, pp. 29-39. [13] 菅野道夫原著, 楊英魁編譯 : Fuzzy 控制, 全華科技圖書出版, 台北 1993:1-66 [14] Bart Kosko 原著, 林基興編譯 : 模糊思考, 全華科技圖書出版, 台北 1995:121-154 [15] L. A. Zadeh, Fuzzy sets, Inform. Contr., vol. 8, pp. 338-353, June 1965. [16] R. Bellman, R. Kalaba, and L. Zadeh, Abstraction and pattern classification, J. Math. Anal. Appl., vol. 13, pp. 1-7, Jan. 1966. [17] Krzysztof J. Cios, Inho Shin and Lucy S. Goodenday, Using Fuzzy Sets to Diagnose Coronary Artery Stenosis, IEEE Computer, pp. 57-63, Mar. 1991. [18] Rafael C. Gonzalez and Richard E. Woods, Digital Image Processing, Addison-Wesley Publishing Company, USA, 1992. [19] William K. Pratt, Digital Image Processing, Second Edition, A Wiley-Interscience Publication, USA, 1991. [20] Anil K. Jain, Fundamentals of Digital Image Processing, Prentice-Hall International, Inc., USA, 1989. [21] Kenneth R. Castleman, Digital Image Processing, Prentice-Hall International, Inc., USA, 1996.