Microsoft PowerPoint - tk-2010-TSIL.ppt

Size: px

Start display at page:

Download "Microsoft PowerPoint - tk-2010-TSIL.ppt"

进屈
5 years ago
Views:

1 Tâi-gú gú-liāu-khò. gú-giân-ha k kang-chok-hong 台語語料庫語言學工作坊楊允言 Iûⁿ Ún-giân 台中教育大學台灣語文學系助理教授 2010 語言學卓越營 2010/7/23

2 報告大綱說明羅馬字字型 / 輸入法字 / 辭典詞頻統計資料語詞檢索系統 2

3 報告大綱 -2 斷詞詞類標記書寫系統轉換應用 : 電腦講台語語料資源 3

4 說明假使有 chah[ 帶 ] 電腦來, 請那上課那操作講義有上網 Google 查詢楊允言好手氣作品演講 Yahoo 查詢 ti [ 在 ] 第二個 4

5 Taiwan 說明 % 15.0M 資料來源 :M. Paul Lewis(ed.) Ethnologue : Languages of the world (16 th ed.). SIL International Singapore Malaysia Brunei China Thailand Philippines Indonesia 27.04% 9.98% 3.59% 1.98% 1.71% 0.70% 0.57% 1.2M 2.7M 12.1K 25.7M 1.1M 0.6M 0.7M 5

6 說明 -3 閩南語語言人口數 :47M 世界排名第 24 名漢字書寫 kah 羅馬字書寫互相幫贊 6

7 說明 -4 閩語 / 閩南語? 廈門話 (Amoy) 台灣土語福建話台語閩南語 ( 國民政府 ) 福佬話 ( 客家人 ) 約有 20 種稱呼一個語言, 各自表述? 民間慣稱台語 7

8 說明 -5 台語 ti 台灣 ê 處境強勢族群弱勢語言錯誤 ê 語言政策 ( 獨尊華語 ) 錯誤 ê 語言使用觀念 ( 母語厝內講 to 好大人遷就囡仔 ) 語詞流失新語詞補充 8

9 9

10 10

11 11

12 12

13 13

14 羅馬字字型台語羅馬字, 有 ê 符號是兩個 character 鬥做伙 ê ( 符合 Unicode 規範 ),chia ê 符號, 假使無適當 ê 字型, 有時仔會出現一個四角格仔, 無法度正常顯示 14

15 羅馬字字型 -2 Ti Windows 7 作業系統, 已經完全無問題, 總是較早期 ê 作業系統所提供 ê 字型大部分攏無支援 Unicode 規範 ( 兩字鬥做伙 ) 15

16 羅馬字字型 -3 Windows XP 作業系統, 會使選用 Lucida Sans Unicode 字型, 台羅無問題, 白話字差一個符號 (o. )(Combining Dot Above Right,2004 年納入 Unicode) 16

17 羅馬字字型 -4 Taigi Unicode Charis SIL Doulos SIL Gentium DejaVu 17

18 輸入法信望愛台語客語輸入法有 32 bits kah 64 bits 版漢羅 / 全羅, 台羅 / 白話字雙音節 (kah 以上 )ê 語詞,m 免輸入聲調 kah 連字符自定詞庫 18

19 輸入法 -2 教育部臺灣閩南語漢字輸入法 Taiwanese package( 羅馬字 ) TaigiLMJ101 htm Transliterator (Firefox add-on) 19

20 字 / 辭典台華辭典 6 萬外個詞條, 漳州腔為主提供羅馬字含糊查詢, 輸入 "hoechhia", 會 chhe 出 "hoe-chhia ( 花車 )" "hóe/hé-chhia ( 火車 )" "hòe/hè-chhia ( 貨車 )" "hóe/héchhiah ( 火鍘 ) 會當 ka 辭典 khn g ti Blog 邊 a 欄位 20

21 字 / 辭典 -2 台日大辭典台語譯本 9 萬外個詞條, 泉州腔為主林俊育 2002 年開始整理, 台文詞條改做漢羅, 日文解說翻寫做台文, 蔡哲民開發系統後來 kah 中研院語言所合作, 提供原圖掃瞄 21

22 字 / 辭典 -3 教育部台灣閩南語常用詞辭典 1 萬外個詞條, 第 1 份官方辭典漢字用字遵照教育部的規範台語詞條, 華語解說 22

23 字 / 辭典 -4 甘字典廈門音新字典台語音節, 華語解說 2009 年上線, 台語信望愛網站提供介面 kah 台日大辭典台語譯本類似, 精差資料無仝 23

24 詞頻統計資料台語文詞頻統計國科會計畫的結案報告資料, 包括漢羅台語文 (400 外萬詞, word tokens)kah 全羅台語文語料 (240 外萬詞 ), 有詞頻互訊息相關度 ê 資料 24

25 詞頻統計資料 -2 互訊息 (Mutual Information) MI(AB) = - log P(A) P(B) P(AB) 0 無關係 ( 獨立事件 ) > 0 愈有關係 < 0 愈無關係 25

26 詞頻統計資料 -3 相關度 (Correlation) CR(AB) = n(n 11 n 22 -n 12 n 21 ) 2 n 1* n 2* n *1 n *2 數字愈大, 愈有關係 26

27 詞頻統計資料 -4 因為無人工校對,ma 無 POS (part-of-speech) 資料,MI kah Cor 品質並無好台語平均詞長 :1.4 vs 華語 1.6 (CKIP) 2.0 ( 香港 ) 27

28 詞頻統計資料 -5 教育部台灣閩南語字詞頻官方第 1 份詞頻統計資料, 語料分教材口傳文學創作文學 3 大類,140 外萬詞 thang 利用羅馬字 ka 無仝漢字寫法 khn g 做伙 28

29 語詞檢索 Corcordancer KWIC (KeyWord In Context) 台語文語詞檢索系統漢羅 (5.8M+)/ 羅馬字 (3.4M+) Syl. 29

30 語詞檢索 -2 教育部台灣閩南語字詞頻文本 lóng chhoân 2 種文字型式會當查詢重疊型式 ê 語詞漢字造字利用中研院缺字系統會當羅馬字漢羅頂下對照看 Firefox 需要 add-on (HTML Ruby) 30

31 台語文斷詞系統利用台華辭典, 採用逆向最大比對法 (Backward Maximum Matching Algorithm) 提供使用者詞庫, 增加斷詞結果 ê 正確率斷詞 31

32 斷詞 -2 Backward Maximal Matching (BMM) vs FMM Ùi 聖經看台語語詞變化 BMM : Ùi# 聖經 # 看 # 台語 # 語詞 # 變化 FMM : Ùi# 聖經 # 看台 # 語 # 語詞 # 變化 32

33 斷詞 -3 Q1: 台語 ê 分詞規範? 臺灣閩南語羅馬字拼音方案連字符使用規則 kah 華語無啥仝款 : 數字人名 Q2 : 遵照台語分詞規範 ê 辭典? 辭典內底 ê 詞條有 ê 是詞組 33

34 詞類標記台語文詞類標記華語詞類標記無台語文人工標記詞類資料 ka 每一個台語詞翻做華文 ( 一對多 ), 揀出上適當 ê,chhe 出這個華語詞所有可能 ê 詞類標記用 MEMM 揀出上適當 ê 詞類詞類集採用中研院 46 個簡化詞類 34

35 35

36 詞類標記 -3 實例... Sió-moē thiaⁿ chè oē chiu chhe lâng khì kúi-na kok sì-kè ba 小妹聽 chè 話就差人去幾若國四界 ba... 36

37 利用程式 ka 詞隨個對齊小妹 [Sió-moē] 聽 [thiaⁿ] chè[chè] 話 [oē] 就 [chiu ] 差 [chhe] 人 [lâng] 去 [khì] 幾若 [kúi-na ] 國 [kok] 四界 [sì-kè] ba [ba ] 詞類標記 -4 37

38 詞類標記 -5 查台華辭典, 加入華語詞小妹 [Sió-moē]{ 小妹 ; 妹子 ; 妹妹 } 聽 [thiaⁿ]{ 聽 } chè[chè]{# 制 ; 祭 ; 詐 ; 債 ; 製 ; 際 ; 濟 } 話 [oē]{ 話 ; 話語 } 就 [chiu ]{ 就 } 差 [chhe]{ 打發 ; 指派 ; 差 } 人 [lâng]{ 人 ; 人們 } 去 [khì]{ 去 ; 掉 } 幾若 [kúi-na ]{ 好幾 } 國 [kok]{ 國 } 四界 [sì-kè]{ 四下裡 ; 四處 ; 到處 ; 在在 ; 處處 } ba [ba ]{ 找 ; 物色 ; 剛好 ; 密 ; 密合 ; 覓 ; 緊 ; 親密 } 38

39 詞類標記 -6 以 HMM 挑適當 ê 華語詞小妹 [Sió-moē]{ 小妹 ; 妹子 ; 妹妹 }< 妹妹 > 聽 [thiaⁿ]{ 聽 }< 聽 > chè[chè]{# 制 ; 祭 ; 詐 ; 債 ; 製 ; 際 ; 濟 }< 際 > 話 [oē]{ 話 ; 話語 }< 話 > 就 [chiu ]{ 就 }< 就 > 差 [chhe]{ 打發 ; 指派 ; 差 }< 差 > 人 [lâng]{ 人 ; 人們 }< 人 > 去 [khì]{ 去 ; 掉 }< 去 > 幾若 [kúina ]{ 好幾 }< 好幾 > 國 [kok]{ 國 }< 國 > 四界 [sìkè]{ 四下裡 ; 四處 ; 到處 ; 在在 ; 處處 }< 到處 > ba [ba ]{ 找 ; 物色 ; 剛好 ; 密 ; 密合 ; 覓 ; 緊 ; 親密 }< 找 > 39

40 詞類標記 -7 以 MEMM 揀出詞類標記小妹 [Sió-moē] < 妹妹 >(Na) 聽 [thiaⁿ] < 聽 >(VE) chè[chè] < 際 >(Nd) 話 [oē] < 話 >(Na) 就 [chiu ] < 就 >(D) 差 [chhe] < 差 >(VH) 人 [lâng] < 人 >(Na) 去 [khì] < 去 >(VCL) 幾若 [kúi-na ] < 好幾 > (Neu) 國 [kok] < 國 >(Na) 四界 [sì-kè] < 到處 >(D) ba [ba ] < 找 >(VC) 40

41 書寫系統轉換華台轉換台語信望愛提供, 主要是利用辭典詞條來轉換, 所以並無調整語詞順序, 總是是一個好用 ê 工具, 尤其是對一個初初 beh 開始試寫台語文 ê 人, 會當協助避免用字無一致 ê 問題 41

42 書寫系統轉換 -2 全羅轉漢羅漢羅轉全羅台語信望愛提供, 主要利用辭典資料做轉換 42

43 書寫系統轉換 -3 全羅漢羅轉換背後利用語料庫 ê 統計資料透過字典辭典 ka 所有可能 ê 候選字詞 chhe 出來, 利用統計 (Mutual Information) 來決定 beh 揀 tó 一個 43

44 電腦講台語台語羅馬字發音試驗系統規則變調 eg: 清清隨前變調 eg: 來看你輕聲 eg: 陳先生再變調 eg: 去台南 á[ 仔 ] 前變調 eg: 簿仔三連音變調 eg: 寒寒寒升調 eg: khăn-páng[ 看板 ] 44

45 電腦講台語 -2 台華辭典 (60K 詞目 ) 對應到華語詞中研院詞庫小組 80K 詞目 ê 詞類標記仝音詞, 選查詢詞頻上 koân ê eg : ka [ 把 ] (1211) vs 咬 (294) 詞類 ambiguity 暫時無處理詞類標記包括 :A 形容詞 C 連接詞 D 副詞 G 後置詞 I 感嘆詞 M 特別標記 N 名詞 P 介詞 R 代名詞 V 動詞 S 時間詞 T 語助詞疊詞當做形容詞, 其它未知詞當做名詞 45

46 電腦講台語 -3 變調規則 :20 條音節層次 eg: beh[ 欲 ]m 管是 m 是語詞 ê 一部份 ( 可比 kiông-beh 強 [ 欲 ] ), lóng 標記做再變調語詞層次 eg: che[ 這 ] he[ 那 ], 標記做本調 46

47 電腦講台語 -4 詞類層次 eg: 詞類 N( 名詞 ), 後壁 ê 詞類若是 A( 形容詞 ) D( 副詞 ) P( 介詞 ) R( 代名詞 ) 抑是 V( 動詞 ), 這個名詞詞尾音節標記做本調句型層次 eg: e...be 會... 袂 ê 句型出現時 (be 出現 ti 句尾, 句中出現 e ), 將 be 標記做輕聲 47

48 語料資源 ( 國科會數位典藏 ) 台灣白話字文獻館 ( 台文館 ) 台語文數位典藏資料庫台語信望愛台語文記憶 ( 台文館 ) 白話字數位典藏博物館 48

49 語料資源 -2 台語線頂聖經 Wikipedia 台語版台語百科 ( 文建會 ) 台灣民間文學館台語網 49

50 Kèng-chhiáⁿ Chí-kàu 敬請指教 ungian at gmail 50

Microsoft Word - TGI-sutianguliaukhou.doc

Microsoft Word - TGI-sutianguliaukhou.doc Tâi-gú-bûn Sòaⁿ-téng Sû-tián kah Gú-liāu-khò Kán-kài 楊允言 Iûⁿ Ún-giân 大漢技術學院劉杰岳 Lâu Kia t-ga k 拋荒台文工作室辭典 kah 語料庫會 sái 講是一個語言 tī 計算語言學發展 ê 時所需要 ê 重要基礎建設, 台語 tī 資源真缺欠 ê 情形下, 開始 tih 建立 chia ê 基礎本文 beh 簡單紹介台語文辭典