2017 4th International Conference on Education Reform and Modern Management (ERMM 2017) ISBN: A Feasibility Study of New Language wi

Size: px

Start display at page:

Download "2017 4th International Conference on Education Reform and Modern Management (ERMM 2017) ISBN: A Feasibility Study of New Language wi"

生鲤樊
5 years ago
Views:

1 2017 4th International Conference on Education Reform and Modern Management (ERMM 2017) ISBN: A Feasibility Study of New Language with Chinese Grammar and English Words for the Purpose of Education Kuo-Kun TSENG, Xiao-bo WANG, Guo-wei WANG and Fang-ying LIN * Harbin Institute of Technology, Shenzhen, China *Corresponding author Keywords: New world language, Translation model, Grammar, Chinese polysemy. Abstract. At present, English occupies the role of world language overlord, but the possession of the world's most populous Chinese people use the Chinese has not been in the world occupy the most important role. Therefore, we propose a new language of the world using Chinese grammar and English words, it can be applied for the purpose of education and uses the computer translation means to study the feasibility and possible problems of this new language. If this language is feasible, the Chinese will be more convenient and less use of the English language, but also allows English users to read such a language, to facilitate the Chinese and English language population of equal communication. According to the results of our preliminary study, if we can solve the problem of Chinese polysemy, we propose a new language of the world will be very feasible. 教育目的的中文文法与英语单词语言翻译可行性研究关键词 : 世界新语言 ; 翻译模型 ; 文法 ; 多词义 * 曾国坤, 王晓坡, 梁国伟, 林芳莹哈尔滨工业大学 ( 深圳 ), 深圳, 中国 * 通讯作者摘要 : 目前英文占有世界语言霸主的角色, 但占有世界最多人口中国人所使用的汉语却未能在世界上占有最重要的角色因此我们提出一种使用中文文法与英文单词的世界新语言, 可以在教育領域先行應用并使用计算机的翻译手段来研究这样新语言的可行性与可能遭遇的问题这样的语言若可行将可让中国人更方便与较少错误的使用类英文语言, 也可以让英文使用者差不多读懂这样的语言, 方便中文与英文语系人口的平等的沟通交流根据我们的初步研究的结果, 若能解决中文多义词的问题, 我们所提出的世界新语言将有很大的可行性 1. 引言英文是目前所公认的世界语言, 因英文文法复杂与单词句子的多变性, 和英文非国内主要的官方语言等因素以至于我们从小花很多时间与精力学习英文, 但是国人学习的效果经常事倍功半, 一般人很难把英文学好所以本文提出一种结合中文文法与英语单词的世界新语言, 并透过计算机翻译的方法探索语言未来发展的可行性基于中文文法的英语翻译方法, 根据中文的文法, 结合多义词识别功能, 实现语言的直接翻译这里的直接翻译表示翻译后的英语译文将以中文词汇出现的顺序输出, 为此该译文将不具备英语的文法规则, 但通过合适的词义消歧方法, 将能完整地表达中文原文的意思机器翻译经过几十年的发展, 出现了各种各样的翻译方法目前, 我们可以根据各类方法的特点大致总结为三类 : 基于转换基于统计和基于实例的三种方法 [1] 基于转换的方法 282

2 主要分为分析转换和生成三个阶段通过提取源语言的深层结构, 再转换成目标语言的深层结构, 并根据该结构生成目标语言这种翻译方法的缺点是对于不具备明显规则的句子难以给出满意的效果基于统计的方法不依赖于人工定制规则, 通过对大量语料库的训练, 从实际预料中获取更加客观的语法知识这样的方法由于过于依赖选定的预料库, 当使用给定的某一领域的预料进行训练得到的翻译模型, 应用到另一个领域的效果往往不尽如人意 ; 而对多领域的语料进行训练又往往会造成互相影响以及互相制约, 导致在各个领域的效果都达不到最佳基于实例的方法中, 系统通过对已经建立起来的语料库, 查找与源语言句子相似度最高的句子, 并模拟该句子对应的译文这样的方法对于语料库的要求十分高, 且难以保证每个句子的翻译质量 2. 相关研究本文的翻译思路建立起来十分简单, 其中的一点在于词库的建立, 而另一个关键便在于词义消歧 (WSD) 机器翻译是本世纪急需解决的计算机领域难关之一, 每年都有数不清的相关研究论文在发表而阻挡住现有翻译模型使之难以提高的最主要问题, 就是人类语言在不同层面上的歧义性 [2,3] 对本文而言, 词库的建立需要时间以及人力的投入, 暂且不深究, 因而需要面对的是词义消歧这项重任词义消歧对于自动化的系统来说, 是十分困难的 [4] 在目前的方法中, Taghipour 和 Ng 提出的 [5] 从标注好的语料库学习到的词义消岐模型, 就具备了十分高的精度但是对庞大的语料库进行手工的词义标注工作, 这将是件困难的工程 [6] 如完成此类有监督训练, 对于大部分人而言是件奢侈的事情在早些时候, 有些研究指出可以使用嵌入的方法解决词义问题 [7] 而最近几年, 越来越多的人意识到了需要用不同的词向量来表示不同词义 [8,9,10] 为了避免对语料进行标注, 还可以利用知识库里的信息, 如英文的 WordNet[11,12], 这类知识库将词汇和语义等信息连接成了图的形式现如今, 已有众多研究就是基于 WordNet 进行多义词的词向量表示 [13,14] 而由于 WordNet 针对的是英文词汇, 本文的目标是进行中文翻译, 故使用对应的中文知识库知网 ( 进行词义消歧 3. 工作流程图综上可知, 对目前的翻译模型而言, 并不存在完全没有缺点的模型, 所能做的不过于各自所擅长的领域内, 保证己方的效果更佳事实上, 要求翻译模型能达到人工翻译的水准, 甚至具备信达雅的特点, 以目前的研究来说还有很长一段路要走我们对于现阶段机器翻译的要求, 其实可以只定位在实现源语言和目标语言之间意思的准确传达为此, 本文从另一个角度出发, 提出一种基于中文文法的英语翻译方法, 将中文源语言的词汇直接置换成英语译文, 在置换的时候进行多义词的识别, 根据不同的词义置换成不同的英文译文, 最终得到一个具备中文文法的英语句子这方法可应用于有中文阅读需要的英文人群, 对此类人来说, 目前的翻译方法得出的效果差强人意甚至会在翻译过程中与原文意思产生偏离与其达不到意思的精准表达, 不如从另一方面, 牺牲句子的语法顺序, 力求通过优秀的词义消歧手段以及强大的中英词库, 得到具有更高准确率的中文语法模样的英文直接翻译是机器翻译最早开始的手段该模型只是建立简单的源语言词汇到目标语言词汇一对一的映射, 在翻译的时候直接把源语言词汇替换成目标语言直接翻译存在的问题在于一对一的词汇并不能解决具有多种词义的实际应用, 因而得到的结果难以阅读本文将在直接翻译的基础上, 添加多义词识别的功能, 根据句子的上下文信息以及额外知识库判断词汇的词义, 并根据该词义指定的英语单词替换该词, 得到具有中文文法的英语句子当对一段文字只需进行粗略浏览, 这样的任务就适合应用到这个新型翻译思路如在 283

3 阅读报纸的时候, 由于并非专业文章, 我们不需要对每个词汇都仔细地理解, 只要大致地浏览一遍句子并捕捉关键字, 就能结束一篇报道的阅读一篇中文新闻报道, 利用本文翻译模型翻译出来的英文, 除了语法上的缺失, 报道中所具有的关键词并不会有所改动, 因而英语人群阅读之后, 对于原文内容的了解不会有太大的偏差本文的工作流程图如图 1 所示图 1 工作流程图 4. 实验分析在实验过程中, 添加了直接翻译的方法, 作为翻译精确度的对比实验此外, 模型结合词义消岐的方法无法保证翻译词汇的正确性故引入词对齐工具 GIZA++, 以人工翻译的英语译文和中文原文之间的词汇进行匹配, 按照中文词汇顺序进行排序, 输出采用本文思路翻译出来的英语译文, 以便观察效果直接翻译采用最原始的直接翻译 ( 简称 DT) 模型, 使用已经建好的简单词库, 词库内容为一个汉语词汇对应一个英语词汇的简单模式, 即忽略多义词, 用一个常用的英文词汇代表该词所有的词义按照中文词汇的顺序通过词库直接替换, 从而使汉语句子翻译成英语句子词对齐转换按照本文的翻译思路, 亦可将已经翻译好的英语译文排序成中文语法的样子, 便于观察效果在此, 使用词对齐技术, 将人工翻译后的中英双语语料进行中文和英文的对齐, 并按照中文的词语顺序排序英文单词, 从而实现本文的模型词对齐用于处理中英文双语平行的预料库, 建立源语言句子和目标语言句子的词与词之间的对应关系和句子结构之间的对应关系上世纪末,IBM 在基于统计的机器翻译模型上提出了 1~5[15] 五种词到词的模型在这五种模型的基础上出现了各类的词对齐模型,IBM1 到 4 的模型 IBM 的 2 模型的算法 LLR[16 以及它的优化算法 [17] 等都是对词对齐的应用 GIZA 是 Hopkins 大学的统计机器翻译小组在 1999 年的暑期研习会上基于 IBM 五个模型开发出来的项目, GIZA++[18] 则是 Och FJ 等人在此项目更近一步的改进 GIZA++ 的主要实现过程为借助 EM 算法, 处理平行的双语语料库以建立词和词的对映 GIZA++ 的训练通常开始于 IBM 的 1 模型, 利用得到的输出来初始化 IBM 的 2 模型的训练再把 IBM 的 2 模型转变成 3 模型, 对模型 3 进行威特训练, 输出得到的对齐概率表 GIZA++ 通过实现 IBM1~5 模型得到源语言与目标语言翻译的概率, 在这个过程中也产生了它的副产品词对齐本文 WT 方法实验的训练语料来自于搜狗实验室的新闻数据语料库 ( 根据搜狐新闻在 2012 年 6 月到 7 月期间财经, 汽车, 体育, 健康, 时尚等 18 个频道的历史数据筛选过滤生成, 分词处理后的大小为 1.59G 测试语料从网上抽取十条新闻共 2346 个汉字进行测试本文 GIZA++ 实验训练的语料来自北外语料库语言学网站 ( 的 TED 英汉平行语料库, 其中存有三十万条的平行语料该语料文本源自 TED.com 网站演讲视频英文的转写及相应中文翻译实验过程和结果分析, 本文用 A~J 十篇新闻文档, 为提出的新模型实现方法 WT 和直接翻译方法 DT 做了正确率的对比如表 1 所示为正确率的对比实验 284

4 表 1 WT 和 DT 对比实验 A B C D E F G H I J TOTAL WT DT 实验发现, 加上词义消岐的模型 WT 比直接翻译的模型 DT 精确度多了两个百分点可知, 本文所用方法简单快速, 同比监督学习节省了大量的时间和人工成本, 而且能取得一定成效精确度提高不明显的原因在于,WT 模型和 DT 模型的词库建立是以一个词汇多义词出现频率最高的词义作为代表, 建立英文目标词汇, 所以大部分出现的词汇都能正确表示并且对于多义词的识别,WT 模型也有多处不足, 语料的训练使模型对其他语料并不能完美匹配, 且受限于知网义原的划分在表 2 中, 选取了部分利用 GIZA++ 译文和原文对齐后的结果与模型的翻译作为对比表 2 WT 和 GIZA++ 对比实验句子原文 WT 译文 GIZA++ 译文记者昨日从新浪获悉, 汪延已经正式辞去 CEO 一 A 职, 曹国伟将接替汪延升任 CEO, 正式掌舵新浪 B C D 这项大奖赛要求参赛者设计出能在月球上飞行着陆的飞行器原型 X 大奖基金会说, 它将比赛分成两个级别, 在地球上模拟月球飞行舜天俱乐部正式宣布, 由球队原助理教练李红兵接任主教练一职, 带队完成本赛季剩余的比赛虽然主教练变了, 但舜天俱乐部强调, 本赛季的目标不会改变德国密码与您相约世界杯四年, 一份怀旧的心情, 亚细亚漂泊到欧罗巴四年, 一次如约的期待, 每个人都等待一份朝圣的神奇四年, 一个普通的量词, 球迷们却总喜欢赋予它轮回的意义 reporter yesterday act in a manner of sina learn, family already formal resign ceo post, charles chao be about to replace family he was promoted to ceo, formal steer sina. this grand prix ask contestant design can in moon on flight, landing the aerocraft prototype. " x a grand prix " foundation refer to, it be about to compete divide into two level, in earth on simulation moon flight. sainty club formal announce, cause team former assistant coach ligongbing take over head coach post, lead a group of people complete this season excess the competition. although head coach alter, but sainty club emphasize, this season the aim be unable to alter. " germany password " - - and you meet world cup four years, a nostalgia the mood, asia wandering to europa. four years, once about the expect, each human being all wait for a pilgrimage the magical. four years, a ordinary the classifier, fan who drive back always be fond of give it samsara the significance reporter learned yesterday from sina wang yan has officially yan from post yan officially resigned ceo yan, cao guowei will succeed wang yansheng as yansheng ceo official steer sina. this prix grand prix requires contestants design aircraft can fly on moon on and land. " x award " foundation says it divide will divide game into two levels earth moon on simulating moon sainty club officially announced by team assistant former assistant coach li hongbing took over head coach coach coach, led team complete season rest season. although coach has changed, but sainty club stressed goal not change " german password " password - password your password meet world cup four years, a nostalgic mood, asia drifted to europa. four years, an timely, everyone waiting for a pilgrimage magic. four years, an ordinary quantifier, quantifier fans quantifier always quantifier like quantifier give it..... 实验显示,GIZA++ 存在部分地方出现多余单词以及缺失单词, 此外能够实现大部分词汇的对齐呈现出的翻译语句不如 WT 方法翻译之后的语句易于阅读 WT 方法翻译出来的结果, 无法达到百分百的精度, 但依然能较好地传达原文意思不过因为词库建立不够好, 很多中文词汇的英语译词选择得并不合适, 造成阅读吃力问题从效果上来看, 本文提出的翻译思路是可行的, 并且在很多地方仍有大的改进空间 285

5 5. 结语本文提出了一种基于中文文法与英文单词的世界新语言, 我们建立计算机的翻译模型来研究与言的可行性, 翻译模型通过在训练词向量的同时融入知网的义原信息, 得到了能够识别多义词的词向量表示, 并借此多义词的消岐方法对中文源语句进行多义词识别, 最后结合词库使用直接翻译输出目标语句这样的模型对比已有的翻译模型, 抛弃了英语的文法, 只需解决歧义词问题, 翻译难度变得简单许多, 并且随着多义词识别的发展将会具备越来高的精确度实验结果表明, 中文文法的翻译模型在大部分情况下都具有可读性, 但是受词义消歧算法的性能影响过于大, 如果句子中出现词义识别错误的词汇过多或者该词汇为关键词, 则翻译出的句意将会偏离原句故多义词识别的改进将是进一步研究的关键若能研究成功, 我们所提出的世界语言将更为可行 References [1] Tiejun Z. Machine Translation principle, [M], Harbin Institute of Technology Press, [2] Och F J, Ney H. The Alignment Template Approach to Statistical Machine Translation[M]. MIT Press, [3] Karov Y, Edelman S. Similarity-based word sense disambiguation[m]. MIT Press, [4] Navigli R. Word sense disambiguation: a survey[c]// ACM Computing Surveys. 2009: [5] Kaveh Taghipour and Hwee Tou Ng One Million Sense-Tagged Instances for Word Sense Disambiguation and Induction. In Proceedings of the Nineteenth Conference on Computational Natural Language Learning, pages , Beijing, China, July. Association for Computatinoal Linguistics. [6] Ron Artstein and Massimo Poesio Inter-Coder Agreement for Computational Linguistics. Computational Linguistics, 34(4): [7] Kintsch W. Predication[J]. Cognitive Science, 2001, 25(2): [8] Luis Nieto Pi?a, Johansson R. A Simple and Efficient Method To Generate Word Sense Representations[J]. Eprint Arxiv, [9] Wu Z, Giles C L. Sense-aware semantic analysis: a multi-prototype word representation model using Wikipedia[C]// Twenty-Ninth AAAI Conference on Artificial Intelligence. AAAI Press, 2015: [10] Liu Y, Liu Z, Chua T S, et al. Topical Word Embeddings[J] [11] Miller G A. WordNet: a lexical database for English[J]. Communications of the Acm, 1995, 38(11): [12] Christiane Fellbaum (editor, Lin D. Review of: WordNet: An Electronic Lexical Database[J]. Computational Linguistics, 1999, 25(2): [13] Dhungana U R, Shakya S, Baral K, et al. Word Sense Disambiguation using WSD specific WordNet of polysemy words[j]. 2014, 3(4): [14] Chen T, Xu R, He Y, et al. Improving distributed representation of word sense via WordNet Gloss composition and context clustering[j]. Atmospheric Measurement Techniques, 2015, 4(3): [15] Brown P F, Pietra V J D, Pietra S A D, et al. The mathematics of statistical machine translation: parameter estimation[j]. Computational Linguistics, 1993, 19(2): [16] Dunning T. Accurate methods for the statistics of surprise and coincidence[m]. MIT Press,

6 [17] Dyer C, Chahuneau V, Smith N A. A simple, fast, and effective reparameterization of IBM model 2[J]. Proc Naacl, [18] Och F J. Giza++: Training of Statistical Translation Models[J]

~ 10 2 P Y i t = my i t W Y i t 1000 PY i t Y t i W Y i t t i m Y i t t i 15 ~ 49 1 Y Y Y 15 ~ j j t j t = j P i t i = 15 P n i t n Y

~ 10 2 P Y i t = my i t W Y i t 1000 PY i t Y t i W Y i t t i m Y i t t i 15 ~ 49 1 Y Y Y 15 ~ j j t j t = j P i t i = 15 P n i t n Y * 35 4 2011 7 Vol. 35 No. 4 July 2011 3 Population Research 1950 ~ 1981 The Estimation Method and Its Application of Cohort Age - specific Fertility Rates Wang Gongzhou Hu Yaoling Abstract Based on the