CNAS官方认可文件中对软件测试实验室需要配备的软件测试设备有如下要求:
1、软件测试设备可包括测试工具软件以及计算机系统、网络系统、适配器、测试输入和结果输出等硬件设备。当利用计算机或自动设备对软件测试数据进行采集、处理、记录、报告、存储或检索时,实验室应对这些测试数据处理有关的软件进行核实,并对测试环境中测试工具软件的计算和数据转移进行系统和适当的检查。实验室应规定程序保证测试环境中的所有测试软件应为正式软件或与客户约定的软件,且版本正确。
2、正式软件指按照程序得到验证、通过批准的货架软件和经同行专家技术鉴定的非货架软件。 可运行一小组测试,验证测试工具软件(包括嵌入式测试工具软件配套的硬件设备)已正确安装。
3、实验室应对测试工具软件进行版本升级和配置控制,防止误用。
4、有指标要求的测试工具在投入使用前应对其使用范围进行检查。例如,允许 500 个用户的测试工具,在初次使用前,应采用适当的方法对其是否符合要求予以核查确认。
5、正在进行测试的设备应张贴“测试中”的标识,并在屏保中设置标识,以避免错误调整测试环境影响测试工作的进行。
6、设备记录应包括测试所用设备的配置及支撑软件等信息(包括:工具类型、名称、生产厂商、版本号、用途与性能、启用时间、许可证书、主要选件、技术文件及运行平台等信息)。测试工具软件的不同版本,均应加以唯一性标识。
本文我们主要介绍软件测试实验室在申请CNAS资质时,可能会用到的软件测试工具。一般而言,软件测试实验室在申请CNAS资质时需要采购的软件测试工具与申请的范围有关。申请性能测试项需要购买的软件测试工具是比较明确的,大家都知道一般需要购买LoadRunner。那么申请代码测试或信息安全测试时,需要购买的软件测试工具的选择范围就相对大一些了。可以选择开源工具吗?一般不建议使用开源工具,原因有以下几点:
1、按照惯例CNAS资质申请一般使用商业测试工具产品
CNAS资质申请过程中,对于软件测试工具产品要求使用“按照程序得到验证、通过批准的货架软件和经同行专家技术鉴定的非货架软件”。因此,如果使用非商业测试工具产品,如开源产品,为了避免测试机构对开源软件的修改导致的测试结果问题,需要测试机构提供开源测试工具产品与商业测试工具产品的比对证明,证明两者测试结果相一致。从而增加了资质申请的工作量和难度,后续资质复审也可能需要面临专家的质疑。
2、商业测试工具产品测试内容更完善
开源测试工具产品支持的通信协议、开发技术往往有限,如开源代码测试工具产品一般只支持单个语言,且往往偏重于代码质量,能够检测的代码安全问题较少,开源Web应用安全测试工具产品对一些较新的Web前端技术支持不充分,测试无法充分覆盖。
3、商业测试工具产品使用成本更低。
开源测试工具产品使用较为繁琐,同样的测试项目,至少比商业产品需要增加50%以上的工作量和人力成本,用于通过多个不同开源测试工具完成一个完整的测试等,对于周期较短的项目,可能导致项目无法及时完成。
4、商业测试工具产品可靠性更高
开源测试工具产品由于自身质量相对较差,在测试过程中,特别是大量代码或大量Web页面场景下,可能会出现运行不稳定等问题,导致测试被异常中断,对测试项目进度造成影响。
5、商业测试工具产品发现问题更全面
开源测试工具产品在受制于自身技术,往往发现的问题不够全面,导致测试问题出现大量漏保,商业测试工具产品由于经过严格的测试,对于代码测试、信息安全测试问题漏报率较低。
我们针对行业内常用的代码测试工具和应用安全测试工具做了分析和比对,从价格、应用范围、优缺点等方面进行对比,帮助软件测试实验室在自己的预算范围内,挑选更加适合自己的测试工具。如需该对比清单可私信我获取。
(谢绝转载,更多内容可查看我的主页)