会议文件之三

Size: px

Start display at page:

Download "会议文件之三"

驻丞侯
5 years ago
Views:

1 CNAS-CL45 检测和校准实验室能力认可准则在软件检测领域的应用说明 Guidance on the Application of Testing and Calibration Laboratories Competence Accreditation Criteria in the Field of Software Testing 中国合格评定国家认可委员会

2 第 1 页共 10 页前言本文件由中国合格评定国家认可委员会 (CNAS) 制定, 是结合软件测试的特点对 CNAS-CL01:2006 检测和校准实验室能力认可准则的部分条款要求作进一步的说明, 并不增加或减少该准则的要求本文件与 CNAS-CL01:2006 检测和校准实验室能力认可准则同时使用在结构编排上, 本文件章节的条款号和条款名称均采用 CNAS-CL01:2006 中章节条款号和名称, 对 CNAS-CL01:2006 应用说明的具体内容在对应条款后给出本文件第 3 章术语和定义中, 增加了 CNAS-CL01:2006 之外的术语, 故术语和定义的排列序号与 CNAS-CL01:2006 不对应本文件代替 :CNAS-CL20:2006 相对于 CNAS-CL20:2006, 本文件除编辑性修订外, 主要技术变化为 : 增加 1 范围 ; 增加 2 引用文件 ; 增加 3 术语和定义 ; 增加 4.1.4, 对公正性要求 ; 修改 4.1.5, 增加部分要求 ; 修改 4.2.1, 增加测试过程和测试项目管理的要求 ; 增加 4.3.1, 对文件控制要求 ; 增加 , 对文件控制一致性要求 ; 增加 4.4.1, 对要求标书和合同的评审要求 ; 增加 4.5.3, 对分包方测试过程监督的要求 ; 增加 4.5.4, 对保存分包方测试技术文档的要求 ; 增加 4.7.1, 对服务客户的要求 ; 修改 , 增加部分要求 ; 删除 ; 删除 ; 修改 , 增加部分要求 ; 增加 , 对记录一致性要求 ; 增加 5.1.1, 对软件测试领域有针对性的要求 ; 增加 5.1.2, 对实验室软件测试过程和测试项目管理活动的要求 ; 修改 5.2.1, 增加部分要求 ;

3 第 2 页共 10 页修改 5.2.2, 增加部分要求 ; 修改 5.3.1, 增加部分要求 ; 增加 5.4.2, 对方法选择的要求 ; 修改 5.4.4, 增加部分要求 ; 修改 5.4.5, 增加部分要求 ; 修改 5.4.6, 增加部分要求 ; 增加 5.4.7, 对数据控制的要求 ; 修改 c), 增加部分要求 ; 增加 5.5.1, 对软件测试设备的要求 ; 修改 5.5.2, 增加部分要求 ; 删除 5.5.3; 增加 5.5.4, 对唯一性标识的要求 ; 修改 5.5.5, 增加部分要求 ; 增加 , 对测试工具软件版本管理控制的要求 ; 修改 , 增加部分要求 ; 修改 5.8.1, 增加部分要求 ; 增加 5.8.2, 对记录的要求 ; 增加 5.9.1, 对结果质量保证的要求 ;

4 第 3 页共 10 页检测和校准实验室能力认可准则在软件检测领域的应用说明 1 范围 1.2 本文件适用于所有从事软件测试的实验室 2 引用文件检测和校准实验室认可准则 (CNAS-CL01:2006)( 简称准则 ) 软件工程术语 (GB/T 11457:2006) 3 术语和定义 GB/T 中确立的术语和定义适用于本文件以下术语和定义也适用 : 3.1 测试输入项 requisite things for testing 完成软件测试任务需要有关方提供的测试条件如被测试软件测试依据和标准 3.2 测试技术文档 test technique document 软件测试过程中按照某种规范文档化的测试策划测试设计等活动的技术成果如测试计划测试说明 3.3 测试环境 testing context 按照测试要求和设计的测试方法, 驱动控制被测试软件运行或解析被测试软件本体的硬件软件数据场地及其他技术设施的集成 3.4 被测试软件 software under testing 送实验室测试的软件产品, 包括程序技术文档和数据 3.5 测试需求 test requirements 为了使需方能够接受一个软件产品, 按照特定的标准或规范对被测试软件实现其研制要求或研制合同等文件规定的软件能力及其特性进行的必要测试 3.6 测试项 test items 对软件的实体元素能力要素或特性要素需要进行某一测试种类测试的测试集 3.7 测试套 test suite 由完成被测软件应用处理业务的某一个操作剖面或被测软件源程序流程图的某一个计算处理流程的那些测试用例组成一组测试 4 管理要求 4.1 组织如果实验室所在的组织从事软件测试以外的活动涉及软件开发, 应有承诺采取

5 第 4 页共 10 页措施确保不利用被测试软件相关方的知识产权牟取利益 ; 并且不应当参与所在组织承研软件的第三方测试活动, 以避免对其判断独立性和测试诚信度的任何可能损害实验室应 : a) 由熟悉项目管理软件开发技术软件测试技术及其标准规程规范的技术人员, 负责组织实施软件测试任务 c) 有政策和程序确保与被测软件相关各方的机密信息和知识产权得到保护, 确保客户产品的一切信息得到保护 e) 应至少具有 5 名 ( 含 ) 以上满足 5.2 要求的软件测试人员, 并应拥有与其测试任务相适应的场地设施设备测试工具软件等资产 g) 由熟悉软件检测过程以及软件测试的标准规范规程, 软件质量评价和软件测试质量评价的人员, 负责对软件测试人员测试工作实施质量监督, 审核软件测试过程和形成的软件测试工作产品是否符合相应的标准规范 ; h) 由熟悉软件测试需求测试结果评价和判定准则的人员, 负责对软件测试输入和测试结果进行测试执行监督 4.2 管理体系实验室应建立实施和保持与软件测试活动范围相适应的管理体系 ; 应将软件测试相关的过程和活动以及测试项目管理相关的过程和活动的政策制度计划程序和指导书制订成文件实验室管理体系中应包括 : a) 软件测试过程, 一般包括测试需求分析测试项目策划测试设计和实现测试执行和回归测试测试总结所开展的技术活动以及测试计划测试需求测试说明测试就绪测试结果等测试技术进行的评审活动 ; b) 软件测试项目管理, 主要包括测试配置管理, 将测试需求测试环境测试阶段产品及交付产品纳入配置项 ; 测试质量保证要监督项目人员的测试工作审核测试过程及形成的测试工作产品与标准规范过程文件的符合性 ; 测试项目跟踪控制测试计划的实施进度和风险 c) 在实验室固定场所以外测试环境实施软件测试的过程控制和项目管理, 应考虑在实验室固定场所以外测试环境与实验室受控环境的各种不同因素, 采取相应措施形成文件使测试活动满足管理要求和技术要求 4.3 文件控制总则实验室应将与软件测试相关的法律法规软件测试标准方法和评价方法文档测试设备和测试工具软件配套的技术文档, 以及软件测试管理软件的文档作为外部文件加以控制实验室应有规定和措施, 确保计算机系统中的文件与其它载体上的文件在内容修订版本控制发布存档等方面的一致性

6 第 5 页共 10 页 4.4 要求标书和合同的评审为签订软件测试合同而进行评审的政策和程序应确保 : a) 对测试项目的机密保护和知识产权保护要求, 在合同中 ( 或签订专门的协议 ) 应予明确充分规定 b) 对测试项目结束后如何处置测试输入项和测试工作产品如何向客户交付测试产品 ( 包括交付项交付形式和数量等 ) 应予明确充分规定 c) 对测试结束条件测试风险应予充分规定 ; d) 对开展测试准备了解测试任务的同时逐步完善合同内容的评审, 或可能延续到软件测试计划测试需求和测试说明阶段的评审, 应予充分规定 ; e) 对测试目的为达到测试目的需要提供给实验室的测试输入项测试输入项的提供方式以及提供时机应予充分规定测试输入项可包括 : 1) 符合标准规范要求的被测试软件产品, 包括程序软件文档数据文档 ; 2) 文档化的被测试软件的分配需求 ( 可含技术需求非技术需求和验收准则 ), 如研制要求软件研制任务书等 ; 3) 被测试软件安装运行环境以及其他配合被测试软件运行的设备设施软件数据等详细信息常规软件测试 ( 如某行业已有明确要求的例行软件测试 ) 项目或不涉及 a) 和 b) 的软件测试项目, 测试合同可以是任何书面的或口头的协议实验室应对口头的软件测试协议及时形成详细的文字记录, 并有记录人和审核负责人签字 4.5 检测和校准的分包实验室应对检测任务进行测试需求分析测试策划后进行分包, 分包合同或协议应包含满足客户要求的足够信息, 明确参与分包方测试评审和监督的要求, 由客户或法定管理机构指定的分包方除外实验室应保存分包方的测试技术文档测试记录和测试报告 4.6 服务和供应品的采购 4.7 服务客户对测试周期 ( 接收被测试软件至交付测试报告 ) 超过 6 个月的软件测试项目, 实验室须与客户及被测试软件相关方保持必要沟通沟通内容可包括 : a) 合同客户要求变更及其落实情况 ; b) 计划进展情况, 延误或其他主要偏离及其原因 ; c) 已发现的软件问题 ; d) 遇到的测试问题 ; e) 需要沟通的其他问题

7 第 6 页共 10 页 4.8 投诉 4.9 不符合检测和 / 或校准工作的控制 4.10 改进 4.11 纠正措施原因分析软件测试产生问题的原因还可能是 : 软件病毒测试用数据及操作顺序等 4.12 预防措施 4.13 记录的控制总则软件测试项目有关的记录, 其保存期限应至少满 1 个认可周期, 或按照客户要求保存技术记录软件测试项目技术记录可包括 : a) 测试输入项记录 : 客户提供的被测试软件清单与软件测试相关的文件清单等 ; b) 测试技术文档 : 测试 ( 回归测试 ) 方案测试 ( 项目 ) 计划测试需求规格说明测试说明软件测试报告的副本等 ; c) 测试环境记录 : 测试场地设施记录被测试软件运行平台软件硬件记录测试设备记录测试工具软件记录陪测的设备和软件记录等 ; d) 测试执行记录 : 测试记录 ( 日志 ) 文档检查记录软件问题单( 报告 ) 源程序缺陷报告测试问题单 ( 报告 ) 等 ; e) 技术评审记录 : 对软件测试合同测试输入项测试技术文档测试环境测试结果等进行技术评审的记录实验室应有措施保持同一技术记录的不同形态的内容修改版本控制的一致性注 : 纳入配置管理的电子版软件测试技术文档, 可通过文档修改表记录版本号修改内容日期修改人审核人等信息的方式保持不同介质实物资料版本的一致 ; 纳入受控管理的其他技术记录, 可通过适合不同介质的加注方式记录修改内容日期修改人审核人等信息 4.14 内部审核 4.15 管理评审 5 技术要求 5.1 总则决定实验室软件测试的正确性和可靠性的因素还包括软件测试过程和测试项目管理活动实验室在制定软件测试方法和程序培训和考核人员选择和校准所用设备时,

8 第 7 页共 10 页应考虑到软件测试过程和测试项目管理活动的因素 5.2 人员从事软件测试人员, 应具有计算机及相关专业的大专 ( 含 ) 以上学历并获得国家或行业承认的软件测试技术专业培训合格资质或计算机软件相关专业的高级工程师, 具备软件测试任务相适应的被测试软件背景知识和软件测试技术各类人员其他要求应满足 : a) 从事软件测试项目管理测试需求分析测试策划和测试设计活动的人员, 一般应有 2 年 ( 含 ) 以上软件开发工作经历或 3 年以上软件测试技术工作经历 ; b) 软件测试执行人员, 一般应有 3 个月 ( 含 ) 以上软件测试技术岗位实习工作经历, 并至少实习完成 1 个软件测试项目 ; c) 负责软件测试结果评价 ( 评估 ) 方法确认意见解释质量监督的人员, 以及软件测试报告审核人和批准人, 一般应有 3 年 ( 含 ) 以上软件测试技术工作经历实验室对软件测试人员进行的培训, 应包括安全保密和知识产权保护知识以及与被测软件测试有关的法规标准培训应评价这些培训活动的有效性 5.3 设施和环境条件实验室的设施和环境条件, 应确保测试数据和测试设备的完好安全稳定, 测试场地一般应具备防静电电源故障保护措施如果软件测试在实验室固定场所以外进行, 应有措施控制测试设施和环境条件满足测试任务要求, 确保其测试记录及数据的完整和安全, 防止非授权实体的进入注 : 实验室的环境条件与检测项目的测试环境有区别, 见准则 5.3 及本文件对结果有影响的因素, 实验室进行监控和记录环境条件, 应有防止计算机病毒木马程序等不良程序交叉感染测试环境, 如防病毒软件的升级及记录应有措施保证软件测试项目使用的计算机及其网络与该项目以外的计算机及其网络有效隔离, 防止外部环境不可控因素对被测试软件和测试结果造成不良影响注 : 当通过实验室以外的网络实施远程测试时, 应注意影响网络正常运行的环境条件 5.4 检测和校准方法及方法的确认总则实验室所采用的软件测试方法, 一般包括测试用例集测试工具 ( 硬件和软件 ) 及其使用方法以及依托测试工具运行测试用例获得测试结果的相关程序三要素为了保证不影响软件测试方法的运用和测试结果, 实验室应具有适当的软件测试方法使用指导书, 有措施确保测试用例测试脚本测试数据和测试工具的一致有效方法的选择由于信息技术和产品生产日趋全球化, 软件测试的依据更多采用国际地区或专业组织机构的测试方法, 而不是 ISO 等标准机构制定的软件测试标准 / 方法

9 第 8 页共 10 页实验室应制定测试计划测试需求和测试说明 ( 测试用例及其执行方案 ) 编制规范, 通过文档化方式明确选定的测试方法实验室应通过培训技术咨询或技术指导方式确保能够正确运用选择的测试方法如果标准方法发生了变化, 实验室应邀请同行专家和被测试软件利益相关方评审测试需求和测试说明 ( 测试用例及其执行方案 ), 证实采用的方法满足客户需求适合于要进行的测试非标准方法注 : c) 被测试软件类型的描述应包括名称版本信息开发语言等 ; d) 能够测试的软件质量特性或测试类别测试目的和测试能力范围 ; e) 陪测设备设施软件及其性能要求 ; g) 方法应用需要的软件硬件环境测试数据及其他约束条件 ; 方法的确认软件测试方法确认应尽可能全面, 包括对被测试软件的各种质量子特性的测试顺序测试约束及测试输入的组合并进行测试方法的验证注 2: 组织本领域同行权威专家进行技术评审 ; 测量不确定度的评定实验室应根据实际情况决定是否进行软件测试测量不确定度的评定如, 当软件检测结果涉及测量值并有量值精确度要求的, 应具有并应用评定测量不确定度的程序, 分析不确定度的因素及其对软件测试结果的可能影响数据控制应对测试环境中测试工具软件的计算和数据转移进行系统和适当的检查实验室应规定程序保证测试环境中的所有测试软件应为正式软件且版本正确注 1: 正式软件指按照程序得到验证通过批准的货架软件和经同行权威专家技术鉴定的非货架软件注 2: 可运行一小组测试, 验证测试工具软件 ( 包括嵌入式测试工具软件配套的硬件设备 ) 已正确安装, 对计算和数据转移进行必要的正确性检查当利用计算机或自动设备对软件测试数据进行采集处理记录报告存储或检索时, 实验室应对这些与测试数据处理有关的所有软件规定并进行合适的配置管理 5.5 设备软件测试设备可包括测试工具软件以及计算机系统网络系统适配器测试输入和结果输出等硬件设备有指标要求的测试工具在投入使用前应对其使用范围进行检查例如, 允许 500

10 第 9 页共 10 页个用户的测试工具, 在初次使用前, 应采用适当的方法对其是否符合要求予以核查确认测试工具软件的不同版本, 均应加以唯一性标识设备记录还应包括测试所用设备的配置及支撑软件等信息 ( 包括 : 工具类型名称生产厂商版本号用途与性能启用时间许可证数主要选件技术文件及运行平台等信息 ) 实验室应对测试工具软件进行版本管理以及版本升级和配置控制, 防止误用正在进行测试的设备应张贴测试中的标识, 并要在屏保屏幕中设置标识, 以避免错误调整测试环境影响测试工作的进行 5.6 测量溯源性测试对于从事软件测试的实验室, 准则的中给出的测量溯源性要求仅适用于测量设备和具有测量功能的检测设备当无法溯源的测试方法和测试工具是新的或进行了重大更新, 实验室应采取措施检查测试方法和测试工具的有效性, 确保软件测试的溯源性效果, 提供测试结果可信度检查措施可包括 : a) 适用时, 对特定测试样例软件进行测试, 审查测试样例软件预埋问题的复现情况, 确认其偏差 b) 适用时, 确认报告应指明可溯源到权威的测试集规范或其它有关的权威标准或规范, 还应提供所得结果与预期结果的比较, 并列出已知的缺陷 c) 适用时, 测试报告应标明测试结果溯源到可获得的国际标准测试集或相关的权威测试集 d) 如果规范与测试用例实现之间存在着重大差异, 应说明每个测试用例的实现是如何真实地来源于规范, 并保留判断或测量信息 e) 实验室应规定用于确认每个新版本测试方法或测试工具的程序和方法可行时, 包括对测试环境中使用的工具软件对正确母版本的溯源性 5.7 抽样 5.8 检测和校准物品 ( 样品 ) 的处置实验室应确保被测试软件只用于测试, 不得用于其他目的, 特别是商业目的实验室在接收被测试软件时应详细记录被测试软件的程序软件工程文档数据及版本号, 并进行唯一性标识在接受测试样品时, 应对样品进行病毒检查并记录实验室应向客户提供充分的保证, 保证测试工具或测试套不会将病毒或其他损坏因素引入到属于客户的硬件或软件中软件测试工作完成后, 实验室应按客户要求处置被测试软件, 并保留记录

11 第 10 页共 10 页 5.9 检测和校准结果质量的保证实验室应有软件测试质量控制程序以监控软件测试的有效性 a) 使用样例软件或标准方法开展内部测试, 标识技术偏差 ; b) 参加实验室间的比对或能力验证, 标识离群现象 ; c) 组织其他测试人员对被测试软件的重大问题进行复现 ; f) 审核软件测试过程和软件测试工作产品与相应软件测试标准规范程序的符合性, 标识不符合项 5.10 结果报告

会议文件之三

会议文件之三 CNAS-CL01-A019 检测和校准实验室能力认可准则在软件检测领域的应用说明 Guidance on the Application of Testing and Calibration Laboratories Competence Accreditation Criteria in the Field of Software Testing 中国合格评定国家认可委员会 2018 年 03