中国电子工业标准化技术协会团体标准 信息技术人工智能机器翻译智能能力等级评估 编制说明 信息技术人工智能机器翻译智能能力等级评估 标准工作组 2018 年 11 月
一 工作概况 ( 一 ) 产品和行业发展情况 随着自然语言处理技术不断进步, 机器翻译系统和相关技术也得到飞速发展 特别是近年来, 人工智能理念和技术的应用直接促进了机器翻译系统及相关产品发生了翻天覆地的变化 总体上, 机器翻译的变化源于三方面 : 从基于规则 到基于统计模型 到基于神经网络, 从基于词 到基于短语 到基于整句, 从必须使用大规模平行语料库 到可以使用单语语料库 到实现零数据翻译 由此而诞生的智能机器翻译系统也加速了人工智能理念和技术的落地 从单纯的文本输入 到语音输入 到 OCR 识别, 从 PC 端的个人用电子辞典 到移动终端的面对面交流用翻译 APP 到大型会议上 云 + 端 模式的实时翻译系统, 从字词翻译 到自然语言意译 到满足文化 情感和专业领域需求的交流翻译 可以说, 机器翻译的智能化是当前人工智能各项技术最具代表性的应用之一 当前, 全球贸易自由化已成为世界大多数国家的共识 随着中国 一带一路 战略的建设和习近平总书记关于 构建人类命运共同体 的倡议, 不同语言之间交流的成为实现国际交流的前提 基础和重要内容, 市场需求巨大 目前, 市场上出现了各种各样的智能机器翻译系统, 然而, 种类繁多的产品和服务究竟有多少能真正达到智能化水平, 仍然缺少统一的评判标准依据, 难以保证机器翻译智能化产品和服务的高质量要求, 极易导致基于人工智能的机器翻译市场鱼目混杂 劣币驱逐良币, 阻碍人工智能产业的正常发展 综上所述, 目前亟需制定人工智能机器翻译智能能力等级评估的国家和行业内统一标准, 为规范市场准入 保障用户权益 提高市场整体质量, 提供标准依据 ; 为整合产学研力量 促进人工智能产业发展, 提供标准引领 ( 二 ) 标准情况 国际方面, 根据在 ISO IEC 和 ITU-T 三大国际标准化机构上的检索, 在机器翻译方面, 国际上标准化工作集中于翻译技术和服务本身, 涉及的标准化技术组织包括 : ISO/TC 37/SC 5 Translation, interpreting and related technology, ISO/IEC JTC 1/SC 35 User interfaces,itu-t/sg16 Multimedia; 在人工智能方 2
面, 国际标准化组织 ISO/IEC JTC 1/SC 42 Artificial intelligence 正在进行人工智 能基础 算法 系统和可信赖方面标准化研究 目前, 本标准项目尚未有对应的国际标准或国外先进标准, 可争取国际标准化研究和立项 ; 国内方面, 根据在国家标准委全国标准信息公共服务平台的检索, 在翻译方面, 国家标准化工作集中于翻译服务和质量要求, 已发布实施了 GB/T 19363.1-2008 翻译服务规范第 1 部分 : 笔译,GB/T 19363.2-2006 翻译服务 规范第 2 部分 : 口译,GB/T 19682-2005 翻译服务译文质量要求 这些标准年 代较为久远, 并且以人工翻译为对象, 尚未有机器翻译评价的国家标准 ( 三 ) 任务来源 2018 年 9 月 14 日, 中国电子工业标准化技术协会下达 2018 年第四季度第一批团体标准, 拟研制 信息技术人工智能机器翻译智能能力等级评估 相关标准 本标准为自主制定标准, 计划编号为 CESA-2018-4-006, 归口单位为中国电子技术标准化研究院, 由中国电子标准化技术研究院联合科大讯飞股份有限公司牵头组织编制 ( 四 ) 主要工作过程 1. 准备阶段 2018 年 6 月, 项目立项并筹备组织开展标准的制定工作 ; 2018 年 7 月, 召开工作组启动会议, 标准工作组提交工作计划及人员组成等方案 ; 2018 年 8 月, 进入调研阶段, 标准编制组前期以资料调研方式, 收集相关标准 项目文档进行大纲设计 ; 2. 立项阶段 2018 年 9 月, 标准编制组以标准大纲草案为基础, 进行立项论证, 通过立项 ; 3. 起草阶段 2018 年 10 月, 标准编制组经过多次研究和讨论, 充分听取各单位的意见并研究相关资料 ; 形成标准草案稿 ; 召开两次工作组内部标准草案稿的工作组研讨会, 标准编制组针对研讨会上的相关问题 ; 2018 年 11 月上旬, 明确标准的各模块内容, 对草案完善并形成征求意 3
见稿 ; 4. 征求意见阶段 2018 年 11 月中旬, 标准编制组完成标准征求意见稿 编制说明 ; 拟于 2018 年 11 月下旬, 进行标准征求意见, 并征求知名企业函审意见, 后续根据专家意见对标准进行进一步完善 二 标准的制定原则 1. 严谨性 本标准严格按照 GB/T 1.1 的规定编写, 且确保与国家标准 行业标准中的 术语和词汇保持一致, 采用国际或国家标准中规定的术语和广大用户熟悉的词汇 2. 合理性本标准选取行业内公认的指标, 对不同指标按照行业内专家的意见综合确定其权重, 并对计算方法等进行了规定 3. 可操作性本标准遵循可操作性原则, 计算方法和评价过程均尽量满足可操作可具体实践的要求 三 主要技术内容说明 ( 一 ) 标准主要内容和适用范围本标准规定了机器翻译智能能力等级评估中机器翻译概念模型, 机器翻译系统模型, 机器翻译智能能力指标及计算方法, 机器翻译智能能力等级划分和机器翻译智能能力等级评估要求 本标准适用于机器翻译系统的产品和服务的智能能力等级划分与评估 主要内容 : 指标评估可采用专家评价 材料检查 技术测试等方式进行, 其中, 采用技术测试的指标项包括 : 忠实度 流利度 综合差错率 ; 采用技术测试和材料检查相结合的指标项包括 : 交互能力 文档翻译能力 多语种翻译能力 网络连接 翻译模式 ; 采用专家评价的指标项包括 : 语用符合性 文化符合性 情感符合性 根据评估指标体系和指标项, 运用综合评分法对机器翻译智能能力得分 (MTS) 进行计算, 计算公式见式 (1) 4
机器翻译智能能力得分 = P i S i (1) 其中,Pi 为第 i 项指标的权重值 Si 为第 i 项指标的得分值 根据机器翻译智能能力指标和计算方法, 机器翻译智能能力等级可划分为 5 级, 其中最高等级为 LV.5: LV.1 级 : 机器翻译智能能力得分,MTS<2 分 LV.2 级 : 机器翻译智能能力得分,2 分 MTS<3 分 LV.3 级 : 机器翻译智能能力得分,3 分 MTS<4 分 LV.4 级 : 机器翻译智能能力得分,4 分 MTS<5 分 LV.5 级 : 机器翻译智能能力得分,MTS=5 分 ( 二 ) 参考文献和资料 [1] ASTM F2575 Standard guide for quality assurance in translation [2] ISO/IEC 20382-1 Information technology - User interfaces - Face-to-face speech translation - Part 1: User interface [3] ISO/IEC 20382-2 Information technology - User interface - Face-to-face speech translation - Part 2: System architecture and functional components [4] ITU-T F.745 Functional requirements for network-based speech-to-speech translation services [5] ITU-T H.625 Architecture for network-based speech-to-speech translation services [6] ITU-T E.FAST User interface for face-to-face speech translation considering human factors [7] GB/T 19363.1-2008 翻译服务规范第 1 部分 : 笔译 [8] GB/T 19363.2-2006 翻译服务规范第 2 部分 : 口译 ( 三 ) 要求 1. 确定评估方案根据评估目的需要, 综合考虑机器翻译智能等级的影响因素, 制定与其需求 5
相符合的评估方案 可选择自行制定方案来实施评估, 也可以委托专业机构或第三方制定评估方案, 以期获得社会认可的结果 2. 机器翻译系统描述评估前应识别 界定和描述被评估的机器翻译系统产品及其特性, 包括系统来源 用途和使用方式等 3. 计算评估指标得分评估前应确定评估目的和范围, 并根据本标准所给出的评估指标体系和指标项来确定评估指标, 按照本标准 6.3 所示的方法计算指标得分 4. 评估对象等级划分根据评估目的, 按照本标准 7 所示等级划分方法, 将计算评估指标得分结果对应到不同的等级, 形成合理评估结论 5. 评估报告评估组织者应进行评估结果分析, 并出具评估报告 评估报告内容宜包括但不限于以下内容 : 机器翻译系统产品的基本概况 评估目的 评估对象和范围 机器翻译智能能力等级划分和定义 评估假设和限定条件 评估依据 评估方法 评估程序实施过程和情况 评估结论 特别事项说明 评估报告的使用限制说明 评估报告日评估组织者应对评估报告建档存留 ( 四 ) 指标制定说明 机器翻译智能能力指标从用户和系统两个角度出发, 指标体系分为两个层级 6
一级指标 : 机器翻译结果质量, 机器翻译能力要素 ; 二级指标 : 忠实度 流利度 综合差错率 语用符合性 文化符合性 情感符合性 交互能力 文档翻译能力 多语种翻译能力 网络连接和翻译模式 机器翻译智能能力评估指标体系结构如图所示 四 预期达到的社会效益 对产业发展的作用等情况 当前, 国内外基于人工智能的机器翻译技术已达到规模化产业应用的水平, 中国 美国 韩国 日本等国家均有较为成熟的产品和服务, 为用户实现跨语言交流提供了可用的工具 随着人工智能技术的不断发展, 机器翻译的智能化水平将不断提升 而在智能化能力等级评估的理论和方法论, 特别是面向产品和服务的具体方法尚处于研究中 本标准项目不仅可以为基于人工智能的机器翻译技术 产品和服务提供基础和评价依据, 也将为机器翻译智能化能力等级评估技术发展提供基础和方法 为规范市场准入 保障用户权益 提高市场整体质量, 提供标准依据 ; 为整合产学研力量 促进人工智能产业发展, 提供标准引领 五 在标准体系中的位置, 与现行相关法律 法规 规章及标准, 特别是强制性标准的协调性 依据国家人工智能标准总体组 国家人工智能标准体系建设指南 ( 征求意见稿 ), 本标准项目属于测试评估类标准 在翻译方面, 国家标准化工作集中于翻译服务和质量要求, 已发布实施了 GB/T 19363.1-2008 翻译服务规范第 1 部分 : 笔译,GB/T 19363.2-2006 翻译 7
服务规范第 2 部分 : 口译,GB/T 19682-2005 翻译服务译文质量要求 这些标 准为本标准项目提供了基础和参考依据 本标准符合与之相关的国家强制性标准的要求 六 重大分歧意见的处理经过和依据 本标准制定过程中未出现重大分歧意见 七 标准性质的建议说明 本标准为评价方法类标准, 建议在通过审定后, 作为推荐性标准发布 八 贯彻标准的要求和措施建议 本标准的标准化对象明确, 在制定过程中始终贯彻可操作性原则, 建议以此标准在行业内开展相关产品和服务的评测工作, 并在评测实施过程中不断完善 九 废止或代替现行相关标准的建议 无 十 其他应予说明的事项 无 信息技术人工智能机器翻译智能能力等级评估 团体标准编制工作组 2018 年 11 月 16 日 8