会议文件之三

Size: px

Start display at page:

Download "会议文件之三"

受佐倪
5 years ago
Views:

1 CNAS-CL01-A019 检测和校准实验室能力认可准则在软件检测领域的应用说明 Guidance on the Application of Testing and Calibration Laboratories Competence Accreditation Criteria in the Field of Software Testing 中国合格评定国家认可委员会 2018 年 03 月 01 日发布 2018 年 09 月 01 日实施

2 第 1 页共 10 页前言本文件由中国合格评定国家认可委员会 (CNAS) 制定, 是结合软件测试的特点对 CNAS-CL01 检测和校准实验室能力认可准则的部分条款要求作进一步的说明, 并不增加或减少该准则的要求本文件与 CNAS-CL01 检测和校准实验室能力认可准则同时使用在结构编排上, 本文件章节的条款号和条款名称均采用 CNAS-CL01 中章节条款号和名称, 对 CNAS-CL01 应用说明的具体内容在对应条款后给出本文件第 3 章术语和定义中, 增加了 CNAS-CL01 之外的术语, 故术语和定义的排列序号与 CNAS-CL01 不对应本文件代替 CNAS-CL45:2013 检测和校准实验室能力认可准则在软件检测领域的应用说明本次修订主要根据 CNAS-CL01:2018 检测和校准实验室能力认可准则对章节号重新进行了编排, 并按照 CNAS 的统一要求调整文件编号 2018 年 03 月 01 日发布 2018 年 09 月 01 日实施

3 第 2 页共 8 页检测和校准实验室能力认可准则在软件检测领域的应用说明 1 范围本文件适用于所有从事软件测试的实验室 2 引用文件 CNAS-CL01:2018 检测和校准实验室认可准则 GB/T 11457:2006 软件工程术语 3 术语和定义 GB/T 中确立的术语和定义适用于本文件以下术语和定义也适用 3.1 测试输入项 requisite things for testing 完成软件测试任务需要有关方提供的测试条件如被测试软件测试依据和标准 3.2 测试技术文档 test technique document 软件测试过程中按照某种规范文档化的测试策划测试设计等活动的技术成果如测试计划测试说明 3.3 测试环境 testing context 按照测试要求和设计的测试方法, 驱动控制被测试软件运行或解析被测试软件本体的硬件软件数据场地及其他技术设施的集成 3.4 被测试软件 software under testing 送实验室测试的软件产品, 包括程序技术文档和数据 3.5 测试需求 test requirements 按照特定的标准或规范对被测试软件实现其研制要求或研制合同等文件规定的软件能力及其特性进行的必要测试 3.6 测试项 test items 对软件的实体元素能力要素或特性要素需要进行某一测试种类测试的测试集 3.7 测试套 test suite 由完成被测软件应用处理业务的某一个操作剖面或被测软件源程序流程图的某一个计算处理流程的那些测试用例组成一组测试 4 通用要求 4.1 公正性

4 第 3 页共 8 页如果实验室所在的组织从事软件测试以外的活动涉及软件开发, 应有承诺采取措施确保不利用被检测软件相关方的知识产权牟取利益 5 结构要求 6 资源要求 6.1 总则实验室在制定软件测试方法和程序培训和考核人员选择和校准所用设备时, 应考虑到软件测试过程和测试项目管理活动的因素 6.2 人员软件测试实验室的人员应满足以下要求 : a) 从事软件测试人员, 应具有计算机及相关专业的大专 ( 含 ) 以上学历并获得国家或行业承认的软件测试技术专业培训合格资质或计算机软件相关专业的高级工程师, 具备与软件测试任务相适应的被测试软件背景知识和软件测试技术 b) 各类人员其他应满足的要求包括 : 1) 从事软件测试项目管理测试需求分析测试策划和测试设计活动的人员, 一般应有 2 年 ( 含 ) 以上软件开发工作经历或 3 年以上软件测试技术工作经历 ; 2) 软件测试执行人员, 一般应有 3 个月 ( 含 ) 以上软件测试技术岗位实习工作经历, 并至少实习完成 1 个软件测试项目 ; 3) 负责软件测试结果评价 ( 评估 ) 方法确认质量核查的人员, 以及软件测试报告审核人和批准人, 一般应有 3 年 ( 含 ) 以上软件测试技术工作经历 c) 实验室对软件检测人员进行的培训, 应包括安全保密知识产权保护以及软件测试有关的法规标准 d) 实验室应 : 1) 至少具有 5 名软件检测人员 ; 2) 由熟悉软件项目管理开发测试及标准规程规范的技术人员负责组织实施软件检测任务 3) 由熟悉软件检测过程以及软件测试标准规范规程, 软件质量评价和软件测试质量评价的人员, 负责对软件检测人员实施质量核查, 审核软件测试过程和形成的软件测试工作产品是否符合相应的标准规范 ; 4) 由熟悉软件测试需求测试结果评价和判定准则的人员负责对软件测试输入和测试结果进行核查 6.3 设施和环境条件实验室的设施和环境条件应确保测试数据和测试设备的完好安全稳定, 测试场地一般应具备防静电电源故障保护措施如果软件测试在实验室固定场

5 第 4 页共 8 页所以外进行, 应有措施控制测试设施和环境条件满足测试任务要求, 确保其测试记录及数据的完整和安全, 防止非授权实体的进入在实验室固定场所以外测试环境实施软件测试的过程控制和项目管理, 应考虑在实验室固定场所以外测试环境与实验室受控环境的各种不同因素, 采取相应措施形成文件使测试活动满足管理要求和技术要求对结果有影响的因素, 实验室进行监控和记录环境条件, 应有防止计算机病毒木马程序等事项不良程序交叉感染测试环境, 如防病毒软件的升级及记录 b) 应有措施保证软件测试项目使用的计算机及网络与该项目以外的计算机及其网络有效隔离, 防止外部环境不可控因素对被测软件和测试结果造成不良影响当通过实验室以外的网络实施远程测试时, 应注意影响网络正常运行的环境条件 6.4 设备软件测试设备可包括测试工具软件以及计算机系统网络系统适配器测试输入和结果输出等硬件设备当利用计算机或自动设备对软件测试数据进行采集处理记录报告存储或检索时, 实验室应对这些测试数据处理有关的软件进行核实, 并对测试环境中测试工具软件的计算和数据转移进行系统和适当的检查实验室应规定程序保证测试环境中的所有测试软件应为正式软件或与客户约定的软件, 且版本正确注 1: 正式软件指按照程序得到验证通过批准的货架软件和经同行专家技术鉴定的非货架软件注 2: 可运行一小组测试, 验证测试工具软件 ( 包括嵌入式测试工具软件配套的硬件设备 ) 已正确安装实验室应对测试工具软件进行版本升级和配置控制, 防止误用有指标要求的测试工具在投入使用前应对其使用范围进行检查例如, 允许 500 个用户的测试工具, 在初次使用前, 应采用适当的方法对其是否符合要求予以核查确认正在进行测试的设备应张贴测试中的标识, 并在屏保中设置标识, 以避免错误调整测试环境影响测试工作的进行设备记录应包括测试所用设备的配置及支撑软件等信息 ( 包括 : 工具类型名称生产厂商版本号用途与性能启用时间许可证书主要选件技术文件及运行平台等信息 ) 测试工具软件的不同版本, 均应加以唯一性标识 6.5 计量溯源性当无法溯源的测量方法和测试工具是新的或进行了重大更新, 实验室应采取措施检测测试方法和测试工具的有效性, 确保软件测试的溯源性效果, 提供测试结果可信度检查措施可包括 : a) 适用时, 对特定测试样例软件进行测试, 审查测试样例软件预埋问题的

6 第 5 页共 8 页复现情况, 确认其偏差 b) 适用时, 应溯源到权威的测试集规范或其它有关的权威标准或规范, 还应提供所得结果与预期结果的比较, 并列出已知的缺陷 c) 适用时, 测试报告应标明测试结果溯源到可获得的国际标准测试集或相关的权威测试集 d) 如果规范与测试用例实现之间存在着重大差异, 应说明每个测试用例的实现是如何真实地来源于规范, 并保留判定或测量信息 e) 实验室应规定用于确认每个新版本测试方法或测试工具的程序和方法可行时, 包括对测试环境中使用的工具软件对正确母版本的溯源性 7 过程要求 7.1 要求标书和合同的评审 a) 实验室应制订合同评审程序, 以确保 : 1) 对测试项目结束后如何处置测试输入项和测试工作产品如何向客户交付测试产品 ( 包括交付项交付形式和数量等 ) 应予明确充分规定 2) 对测试项目结束条件测试风险应予充分规定 ; 3) 对开展测试准备了解测试任务的同时逐步完善合同内容的评审, 或可能延续到软件测试计划测试需求和测试说明阶段的评审, 应予充分规定 ; 4) 对测试目的为达到测试目的需要提供给实验室的测试输入项测试输入项的提供方式以及提供时机应予充分规定测试输入项可包括 : 符合标准规范要求的被测试软件产品, 包括程序软件文档数据文档 ; 文档化的被测试软件的分配需求 ( 可含技术需求非技术需求和验收准则 ), 如研制要求软件研制任务书等 ; 被测试软件安装运行环境以及其他配合被测试软件运行的设备设施软件数据等详细信息 c) 实验室应对检测任务进行测试需求分析, 测试策划应由实验室完成, 外部提供测试服务的合同或协议应满足客户要求, 明确外部提供测试服务的评审和监督要求, 由客户或法定管理机构指定的外部提供者除外对测试周期 ( 接受被测试软件至交付测试报告 ) 超过 6 个月的软件测试项目, 实验室应与客户及被测试软件相关方保持必要沟通沟通内容可包括 : 1) 合同客户要求变更及其落实情况 ; 2) 计划进展情况, 延误或其他主要偏离及其原因 ; 3) 已发现的软件问题 ; 4) 遇到的测试问题 ; 5) 需要沟通的其他问题对常规软件测试 ( 如某行业已有明确要求的例行软件测试 ) 项目, 测试合

7 第 6 页共 8 页同可以是任何书面的协议实验室应对软件测试协议及时形成详细的文字记录, 并有审核确认 7.2 方法的选择验证和确认方法选择和验证实验室所采用的软件测试方法, 一般包括测试用例集测试工具 ( 硬件和软件 ) 及其使用方法以及依托测试工具运行测试用例获得测试结果的相关程序三要素为了保证不影响软件测试方法的运用和测试结果, 实验室应具有适当的软件测试方法使用指导书, 有措施确保测试用例测试脚本测试数据和测试工具的一致有效实验室应制定测试计划测试需求和测试用例及其执行方案, 通过文档化方式明确选定的测试方法实验室应通过培训技术咨询或技术指导方式确保能够正确运用选择的测试方法方法确认实验室应组织本领域专家对非标方法进行技术评审注 : 技术评审可包含但不限于以下内容 : a) 被测试软件类型的描述应包括名称版本信息开发语言等 ; b) 能够测试的软件质量特性或测试类别测试目的和测试能力范围 ; c) 陪测设备设施软件及其性能要求 ; d) 方法应有需要的软件硬件环境测试数据及其他约束条件软件测试方法确认应尽可能全面, 包括对被测试软件的各种质量子特性的测试顺序测试约束及测试输入的组合并进行测试方法的验证 7.4 检测或校准物品的处置实验室应向客户提供充分的保证, 确保测试工具或测试集不会将病毒或其他损坏因素引入到属于客户的硬件或软件中测试完成后, 实验室应按客户要求处置被测试软件, 并保留记录实验室在接收被测软件时应详细记录被测试软件的程序软件工程文档数据及版本号, 并进行唯一性标识在接收测试样品时, 应对样品进行病毒检查并记录 7.5 技术记录实验室应保存外部提供测试服务的技术文档测试记录和测试报告适用时软件测试项记录应包括 : a) 测试输入项记录 : 客户提供的被测试软件清单与软件测试相关的文件清单等 ; b) 测试技术文档 : 测试 ( 回归测试 ) 方案测试 ( 项目 ) 计划测试需求规格说明测试说明软件测试报告的副本等 ; c) 测试环境记录 : 测试场地设施记录被测试软件运行平台软件硬件记录

8 第 7 页共 8 页测试设备记录测试工具软件记录陪测的设备和软件记录等 ; d) 测试执行记录 : 测试记录 ( 日志 ) 文档检查记录软件问题单( 报告 ) 源程序缺陷报告测试问题单 ( 报告 ) 等 ; e) 技术评审记录 : 对软件测试合同测试输入项测试技术文档测试环境测试结果等进行技术评审的记录实验室应有措施保持同一技术记录的不同形态的内容修改版本控制的一致性注 : 纳入配置管理的电子版软件测试技术文档, 可通过文档修改表记录版本号修改内容日期修改人审核人等信息的方式保持不同介质实物资料版本的一致 ; 纳入受控管理的其他技术记录, 可通过适合不同介质的加注方式记录修改内容日期修改人审核人等信息 7.6 测量不确定度的评定实验室检测项目有数值时应评定测量不确定度但无法评估时, 应分析影响测量结果的重要因素 7.7 确保结果的有效性决定实验室软件测试的正确性和可靠性的因素还包括软件测试过程和测试项目管理活动实验室应有软件有效性的质量监控方案, 可以采用以下方式 : a) 使用样例软件或标准方法开展内部测试, 标识技术偏差 ; b) 参加实验室间的比对或能力验证, 标识离群现象 ; c) 组织其他测试人员对被测试软件的重大问题进行复现审核软件测试过程和软件测试工作产品与相应软件测试标准规范程序的符合性, 标识不符合项 8 管理体系要求 8.1 方式总则实验室应建立实施和保持与软件测试活动范围相适应的管理体系 ; 应将软件测试相关的过程和活动以及测试项目管理相关的过程和活动的政策计划程序和指导书制订成文件 8.3 管理体系文件的控制 ( 方式 A) 实验室应将软件测试相关的法律法规软件测试标准方法和评价方法文档测试设备和测试工具软件配套的技术文档, 以及软件测试管理软件的文档作为外部文件加以控制实验室应有规定和措施, 确保计算机系统中的文件与其他载体上的文件在内容修订版本控制发布存档等方面的一致性

9 第 8 页共 8 页 8.7 纠正措施 ( 方式 A) b) 软件测试产生问题的原因还可能是 : 软件病毒测试用数据及操作顺序等

会议文件之三

会议文件之三 CNAS-CL45 检测和校准实验室能力认可准则在软件检测领域的应用说明 Guidance on the Application of Testing and Calibration Laboratories Competence Accreditation Criteria in the Field of Software Testing 中国合格评定国家认可委员会第 1 页共 10 页前言