标准名称

Size: px

Start display at page:

Download "标准名称"

峨靳
5 years ago
Views:

1 ICS L70 在提交反馈意见时, 请将您知道的相关专利连同支持性文件一并附上团体标准 T/CESA XXXX XXXX 信息技术人工智能机器翻译智能能力等级评估 Information technology-artificial intelligence-intelligent ability assessment for machine translation ( 征求意见稿 ) XXXX - XX - XX 发布 XXXX - XX - XX 实施中国电子工业标准化技术协会发布

2 T/XXX XXXXX XXXX 目次前言... III 1 范围规范性引用文件术语和定义缩略语机器翻译概念模型机器翻译系统模型机器翻译智能能力指标及计算方法能力指标体系指标评估方法能力计算方法机器翻译智能能力等级划分机器翻译智能能力等级评估要求确定评估方案机器翻译系统界定计算评估指标得分评估对象等级划分评估报告... 7 附录 A ( 资料性附录 ) 机器翻译忠实度和流利度评价... 8 附录 B ( 规范性附录 ) 机器翻译综合差错率计算...9 II

3 T/XXX XXXXX XXXX 前言本部分按照 GB/T 给出的规则起草请注意本文件的某些内容可能涉及专利本文件的发布机构不承担识别这些专利的责任本标准由中国电子技术标准化研究院提出并归口本标准起草单位 : 本标准主要起草人 : III

4 信息技术人工智能机器翻译智能能力等级评估 1 范围本标准规定了机器翻译智能能力等级评估中机器翻译概念模型机器翻译系统模型机器翻译智能能力指标及计算方法机器翻译智能能力等级划分和机器翻译智能能力等级评估要求本标准适用于机器翻译系统的产品和服务的智能能力等级划分与评估 2 规范性引用文件下列文件对于本文件的应用是必不可少的凡是注日期的引用文件, 仅注日期的版本适用于本文件凡是不注日期的引用文件, 其最新版本 ( 包括所有的修改单 ) 适用于本文件 GB/T 翻译服务译文质量要求 ISO 18587:2017 翻译服务 - 机器翻译输出的后编辑 - 要求 ( Translation services Post-editing of machine translation output Requirements) 3 术语和定义 3.1 机器翻译 machine translation, MT 使用计算机应用将文本从一种自然语言自动翻译成另一种自然语言 [ISO 18587:2017, 定义 3.1.1] 3.2 机器翻译系统 machine translation system 用于实现机器翻译的技术 [ISO 18587:2017, 定义 3.1.3] 3.3 内容 content 任意形式的信息示例 : 文本, 音频, 图像, 视频等注 : 改写 ISO 18587:2017, 定义源语言 source language 将要被翻译的包含内容的语言 1

5 [ISO 18587:2017, 定义 3.2.2] 3.5 源语言内容 source language content 将要被翻译的语言内容 [ISO 18587:2017, 定义 3.2.3] 3.6 目标语言 target language 源语言内容被翻译成的语言 [ISO 18587:2017, 定义 3.2.4] 3.7 目标语言内容 target language content 从源语言内容翻译而来的语言内容 [ISO 18587:2017, 定义 3.2.5] 3.8 自然语言 natural language, NL 起源不明, 但作为人类交流习惯的方式, 不断发展并不时出现特殊用法的语言 [ISO 18587:2017, 定义 3.2.7] 3.9 翻译 translation 使源语言内容变成目标语言内容的一系列过程集合 [ISO 18587:2017, 定义 3.4.2] 4 缩略语下列缩略语适用于本文件 MTIAS: 机器翻译智能能力得分 (Machine Translation Intelligent Ability Score) NLP: 自然语言处理 (Natural Language Processing) 5 机器翻译概念模型机器翻译能够让使用不同语言的用户通过计算机应用生成的翻译结果进行语言交流一个机器翻译模型应包含语言输入语言翻译和语言输出三个部分机器翻译的概念模型见图 1 2

图 1 机器翻译概念模型各部分功能如下 : a) 用户输入自然语言 ; b) 语言输入模块采集自然语言并将其转换为计算机可读的语言数据 ; c) 语言翻译模块将采集到的语言数据翻译成目标语言数据, 并且不丢失语言原意 ; d) 语言输出模块将翻译后的计算机可读的语言数据转换为目标语言进行输出 ; e) 用户接收系统输出的目标语言 6 机器翻译系统模型

将一种语言翻译成另一种语言, 准确表达原有语言所涵盖的信息机器翻译智能能力可以通过抽象机器翻译系统模型来表示见图 2 图 2 机器翻译系统模型机器翻译系统模型包括语言获取自然语言理解及翻译语言反馈等能力项 a) 语言获取能力 : 能够采集和识别文本 ( 例如 : 编码输入或字型辨识输入 ) 语音 ( 例如 : 单句语音或连续语音输入 )

6 图 1 机器翻译概念模型各部分功能如下 : a) 用户输入自然语言 ; b) 语言输入模块采集自然语言并将其转换为计算机可读的语言数据 ; c) 语言翻译模块将采集到的语言数据翻译成目标语言数据, 并且不丢失语言原意 ; d) 语言输出模块将翻译后的计算机可读的语言数据转换为目标语言进行输出 ; e) 用户接收系统输出的目标语言 6 机器翻译系统模型从概念模型角度进行分析, 一个智能的机器翻译系统应同时具备以下能力 : a) 具有语言输入及语言输出的能力, 语言表达方式包括但不限于文本语音图像视频等 b) 具有存储语言数据信息知识的能力, 能够将外部语言数据信息和知识转化为自身资源 c) 具有生成语言数据信息知识的能力, 能够基于自身拥有的语言等知识, 对输入语言进行语义理解后, 将一种语言翻译成另一种语言, 准确表达原有语言所涵盖的信息机器翻译智能能力可以通过抽象机器翻译系统模型来表示见图 2 图 2 机器翻译系统模型机器翻译系统模型包括语言获取自然语言理解及翻译语言反馈等能力项 a) 语言获取能力 : 能够采集和识别文本 ( 例如 : 编码输入或字型辨识输入 ) 语音 ( 例如 : 单句语音或连续语音输入 ) 图像和视频等多种载体形式的语言, 作为系统输入的源语言内容 ; b) 自然语言理解及翻译能力 : 能够根据词汇语法 ( 例如 : 词法句法 ) 符号逻辑语义修辞专业领域知识, 以及语用知识和文化情感知识等, 对源语言内容进行理解和处理 ; 具备应用翻译引擎和 NLP 算法将源语言内容转换为目标语言内容的能力, 确保语言内容和含义没有发生改变, 能够满足不同语种交流过程中的各种需求 ; 3

7 c) 语言反馈能力 : 能够将目标语言内容使用文本语音图像和视频等方式, 作为系统输出反馈到外界 7 机器翻译智能能力指标及计算方法 7.1 能力指标体系机器翻译智能能力测评指标体系结构见图 3 图 3 机器翻译智能能力测评指标体系机器翻译智能能力测评指标项及说明见表 1 表 1 机器翻译智能能力测评指标项及说明一级指标二级指标指标项说明打分方法权重备注完全没有译出来,0 分该指标译文中只有个别词被孤立地翻译,1 分定义描翻译结果是否译文中有少数短语或比词大的语法成分被翻译,2 分述见忠实度忠实地表达了源语言中 60% 的概念及其之间的关系被正确翻译, 或原 0.27 GB/T 源语言的内容文中的主谓宾及其关系被正确的翻译,3 分源语言中 80% 的概念及其之间的关系被正确翻译,4 分 2005, 源语言中 100% 的概念及其之间的关系被正确翻译,5 分 4.1 机器翻译完全不可理解,0 分结果质量译文晦涩难懂 ( 只有个别短语或比词大的语法成分可以该指标理解 ),1 分定义描流利度翻译结果是否流畅和地道译文 40% 的部分基本流畅 ( 少数的短语或比词大的语法成分可以理解 ),2 分译文 60% 的部分基本流畅,3 分 0.27 述见 GB/T 译文 80% 的部分基本流畅, 或译文中的主谓宾部分基本 2005, 流畅, 只是个别词语或搭配不地道,4 分 4.3 译文流畅而且地道,5 分 4

8 表 1 机器翻译智能能力测评指标项及说明 ( 续 ) 一级指标二级指标指标项说明打分方法权重备注译文综合差错率 90%,0 分综合差错率翻译结果与源语言内容的综合差错率 70% 译文综合差错率 <90%,1 分 50% 译文综合差错率 <70%,2 分 30% 译文综合差错率 <50%,3 分 10% 译文综合差错率 <30%,4 分 0.18 译文综合差错率 10%,5 分语用符合度翻译结果是否符合目标语言的语用规则译文结果不符合,0 分译文结果符合,5 分 0.06 翻译结果是否文化符合度符合目标语言的文化背景和译文结果不符合,0 分译文结果符合,5 分 0.06 观念情感符合度翻译结果是否符合源语言表达的情感译文结果不符合,0 分译文结果符合,5 分 0.06 支持除文字以外的交互翻译, 包括但不限于语音图像交互能力是否支持文字以外的其他交互功能视频交互等, 即翻译的源语言和目标语言可以通过语音图像等形式输入和输出, 其交互性能应满足评估对象所标称的性能值, 每支持一种类型得 1 分, 最高不超过 5 分仅支持文字交互翻译, 即翻译的源语言和目标语言仅能 0.02 以文字的形式输入和输出,0 分支持文档翻译, 包括但不限于网页 PDF DOCX 等文档机器翻译能力要素文档翻译能力多语种翻译能力是否支持文档翻译是否支持多语种翻译类型, 其翻译性能应满足评估对象所标称的性能值, 每支持一种类型得 1 分, 最高不超过 5 分不支持文档翻译,0 分支持多语种翻译, 其翻译性能应满足评估对象所标称的性能值,5 分不支持多语种翻译,0 分是否支持无网支持无网络连接状态下的翻译能力, 其翻译性能应满足网络连接络连接状态下评估对象所标称的性能值,5 分 0.02 的翻译能力不支持无网络连接状态下的翻译能力,0 分翻译模式是否支持同声传译支持评估对象所标称的同声传译能力, 其翻译性能应满足评估对象所标称的性能值,5 分不支持同声传译,0 分

9 7.2 指标评估方法指标评估可采用专家评价材料检查技术测试等方式进行, 其中, a) 采用技术测试的指标项包括 : 忠实度流利度综合差错率 ; b) 采用技术测试和材料检查相结合的指标项包括 : 交互能力文档翻译能力多语种翻译能力网络连接翻译模式 ; c) 采用专家评价的指标项包括 : 语用符合性文化符合性情感符合性机器翻译忠实度和流利度评价的评估, 见附录 A, 机器翻译综合差错率计算方法见附录 B 7.3 能力计算方法根据评估指标体系和指标项, 运用综合评分法对机器翻译智能能力得分 (MTIAS) 进行计算, 计算公式见式 (1) 式中 : P i 第 i 项指标的权重值 ; 机器翻译智能能力得分 P i S... i (1) S i 第 i 项指标的得分值 8 机器翻译智能能力等级划分根据机器翻译智能能力指标和计算方法, 机器翻译智能能力等级划分为 5 级, 其中最高等级为 5 级 : a) 1 级 : 机器翻译智能能力得分,MTIAS<2 分 ; b) 2 级 : 机器翻译智能能力得分,2 分 MTIAS<3 分 ; c) 3 级 : 机器翻译智能能力得分,3 分 MTIAS<4 分 ; d) 4 级 : 机器翻译智能能力得分,4 分 MTIAS<5 分 ; e) 5 级 : 机器翻译智能能力得分,MTIAS=5 分 9 机器翻译智能能力等级评估要求 9.1 确定评估方案根据评估目的需要, 综合考虑机器翻译智能等级的影响因素, 制定与其需求相符合的评估方案可选择自行制定方案来实施评估, 也可以委托第三方制定评估方案评估方案包括且不限于机器翻译系统界定评估指标及指标值计算评估对象等级划分形成评估报告 9.2 机器翻译系统界定评估前应识别界定和描述被评估的机器翻译系统产品及其特性, 包括系统来源用途和使用方式等 9.3 计算评估指标得分评估前应确定评估目的和范围, 并根据本标准所给出的评估指标体系和指标项来确定评估指标, 按照 7.3 节所示的方法计算指标得分 6

10 9.4 评估对象等级划分根据评估目的, 按照第 8 章所示等级划分方法, 将计算评估指标得分结果对应到不同的等级, 形成评估结论 9.5 评估报告评估方应进行评估结果分析, 并出具评估报告评估报告内容宜包括但不限于以下内容 : a) 机器翻译系统产品的基本概况 ; b) 评估目的 ; c) 评估对象和范围 ; d) 机器翻译智能能力等级划分和定义 ; e) 评估假设和限定条件 ; f) 评估依据 ; g) 评估方法 ; h) 评估程序实施过程和情况 ; i) 评估结论 ; j) 特别事项说明 ; k) 评估报告的使用限制说明评估方应对评估报告建档存留, 并定期复审 7

11 附录 A ( 资料性附录 ) 机器翻译忠实度和流利度评价 A.1 评价要求对翻译译文的忠实度流利度进行评价时, 宜采用多人评价取均值的策略评估方应精通参评任务所涉及的源语言和目标语言, 并具有如下资格之一 : a) 源语言为母语, 目标语言上具有高水平的语言资格认证 ; b) 源语言具有高水平的语言资格认证, 目标语言为母语 A.2 评价方法评价实施过程中, 参评人员应不少于 5 人对于每个评价句子对, 取所有参评人员的忠实度和流利度的评分的均值作为该句子的忠实度和流利度评分 8

12 附录 B ( 规范性附录 ) 机器翻译综合差错率计算 B.1 机器翻译综合差错率计算方法机器翻译综合差错率计算公式, 见式 (B.1) cidi ciidii ciiidiii c 综合差错率 w 式中 : w 源语言内容计算总字词数 ; I IV D IV 100%...(B.1) D, D, D, D IV 分别为 I II III IV 类差错出现的次数, 重复性错误按一次计算 ; II III c I, c II, c III c IV 分别为 I II III IV 类差错的系数, 取值如下 : 其中, c I 3 ; c II 1 ; c 0. III 5 ; c 0. IV 25 I-IV 分别表示机器翻译差错类别 : a) I 类差错 : 译文表述存在核心语义差错或关键字词 ( 数字 ) 句段的漏译错译 ; b) II 类差错 : 一般语义差错, 非关键字词 ( 数字 ) 句段的漏译错译, 译文表述存在用词语法错误或表述含混 ; c) III 类差错 : 专业术语不准确不统一不符合标准或惯例, 或专用名词错译 ; d) IV 类差错 : 计量单位符号缩略语等未按规 ( 约 ) 定译法其中, 源语言内容计算总字词数时, 中文日文韩文等以字为单位进行计算 ; 英文法文德文等以词为单位进行计算 9

13 参考文献 [1] ASTM F2575 Standard guide for quality assurance in translation [2] ISO/IEC Information technology - User interfaces - Face-to-face speech translation - Part 1: User interface [3] ISO/IEC Information technology - User interface - Face-to-face speech translation - Part 2: System architecture and functional components [4] ITU-T F.745 Functional requirements for network-based speech-to-speech translation services [5] ITU-T H.625 Architecture for network-based speech-to-speech translation services [6] ITU-T E.FAST User interface for face-to-face speech translation considering human factors [7] GB/T 翻译服务规范第 1 部分 : 笔译 [8] GB/T 翻译服务规范第 2 部分 : 口译 10

14 中国电子工业标准化技术协会 (CESA) 是全国电子信息产业标准化组织和标准化工作者自愿组成的社会团体广泛联系全国电子信息产业标准化机构和标准化工作者, 协助政府部门搞好电子信息产业标准化工作, 开拓信息技术领域的标准化工作是中国电子工业标准化技术协会的主要工作内容之一中国境内从事科研开发制造营销和服务的企事业单位高等院校社会组织和个人均可随时向中国电子工业标准化技术协会团体标准工作部提出团体标准项目建议中国电子工业标准化技术协会标准按照电子工业标准化技术协会协会团体标准管理办法进行制定和管理在本标准实施过程中, 如发现需要修改或补充之处, 请将意见和有关资料寄至中国电子工业标准化技术协会, 以便修订时参考本标准版权归中国电子工业标准化技术协会所有中国电子工业标准化技术协会地址 : 北京市海淀区万寿路 27 号电话 : 电子邮箱 : standards@cesa.cn 网址 : 11

中国电子工业标准化技术协会团体标准信息技术人工智能机器翻译智能能力等级评估编制说明信息技术人工智能机器翻译智能能力等级评估标准工作组 2018 年 11 月

中国电子工业标准化技术协会团体标准信息技术人工智能机器翻译智能能力等级评估编制说明信息技术人工智能机器翻译智能能力等级评估标准工作组 2018 年 11 月中国电子工业标准化技术协会团体标准信息技术人工智能机器翻译智能能力等级评估编制说明信息技术人工智能机器翻译智能能力等级评估标准工作组 2018 年 11 月一工作概况 ( 一 ) 产品和行业发展情况随着自然语言处理技术不断进步, 机器翻译系统和相关技术也得到飞速发展特别是近年来, 人工智能理念和技术的应用直接促进了机器翻译系统及相关产品发生了翻天覆地的变化总体上, 机器翻译的变化源于三方面