什么是系统测试？
软件测试系统测试，也称为系统级测试或系统集成测试，是质量保证（QA）团队评估应用程序各个组件在完整集成系统中如何相互作用的过程。系统测试验证应用程序是否按照设计执行任务。这是一种黑盒测试，侧重于测试应用程序的功能，而不是系统的内部工作原理（白盒测试所关注的）。
例如，系统测试可能会检查每种用户输入是否在整个应用程序中产生预期的输出。系统测试是软件开发过程中的第三个测试级别，通常在验收测试之前、集成测试之后进行。
为什么要进行系统测试？系统测试的重要性
系统测试对互联系统至关重要，因为任何系统或软件缺陷都可能对消费者造成严重的后果。例如，2014年，日产因气囊传感器缺陷召回超过100万辆汽车。通过系统测试，QA团队能够确认每个测试用例是否对应于应用程序中最关键的需求和用户故事。
系统测试的主要好处包括：
- 提升产品质量：全面的系统测试过程最终提高了产品质量。由于集成系统通过多个测试集进行测试，能够有效评估产品在不同平台和环境中的表现。
- 减少错误：在复杂系统的开发过程中，一些错误是不可避免的。系统测试验证了系统的代码和功能是否符合其需求，因此在集成测试和单元测试中未被检测出的错误可以在系统测试中暴露出来。
- 节省成本：在项目生命周期的后期发现系统缺陷修复会耗时更长。及时和持续的系统测试不仅减少了意外费用和项目延误，还为项目经理提供了更好的预算控制。
- 安全性：经过良好测试的产品是可靠的。它们确保被测试的系统不包含可能会将最终用户和系统数据置于风险中的潜在漏洞。
- 客户满意度：系统测试提供了产品在每个开发阶段的稳定性可见性，从而增强客户信心，改善整体用户体验。
- 更易于代码修改：系统测试可以在软件开发过程中识别代码问题。修复已进入生产环境的旧代码要比在开发过程中修改它困难得多。
- 软件性能：基于性能的系统测试可以帮助了解系统性能和行为的变化，例如内存消耗、CPU利用率和延迟。如果系统性能显著下降，这些测试会发出警告，使开发人员能够采取主动措施。
系统测试常见的类型有哪些？
通过系统测试，QA团队评估应用程序是否满足所有技术、业务和功能需求。为此，QA团队可能会利用多种软件测试技术，以确定应用程序的整体测试覆盖率，并帮助捕捉在产品发布前妨碍应用程序核心功能的关键缺陷。
系统测试的类型——常见的系统测试技术包括：
- 性能测试：性能测试衡量系统在各种条件下的速度、平均加载时间、稳定性、可靠性和峰值响应时间。通常与压力测试结合使用，可能包括硬件和软件测试工具。
- 可用性测试：测试评估系统是否易于使用和功能是否完备。测试中使用的指标包括用户错误率、任务成功率、完成任务所需时间和用户满意度。
- 负载测试：此测试用于确定系统或软件在真实极端负载和测试场景下的性能。通过此测试测量的指标包括吞吐量、用户数量和延迟。
- 回归测试：也称为合理性测试，确保在系统测试中引入的所有更改、最近的代码更改或更新未引入新的错误或问题。回归测试负责系统或软件现有功能的正常运作。
- 迁移测试：此测试确保遗留系统平稳迁移到新系统，而不发生中断、数据丢失或停机。
- 可扩展性测试：测量应用程序或系统在满足用户需求变化时的扩展能力。
- 功能测试：此测试验证系统的功能是否符合其功能和业务需求。
- 恢复测试：这是一种非功能性测试，确保系统能够从某些系统错误、崩溃和故障中恢复。
系统测试的阶段
系统测试检查应用程序的每个组件，以确保它们作为一个完整统一的整体正常工作。QA团队通常在检查完各个模块的功能或用户故事测试后，进行系统测试。
如果软件构建在系统测试中获得预期结果，它将在进入生产（用户使用软件的地方）之前经过验收测试的最终检查。应用开发团队会记录所有缺陷，并确定可容忍的缺陷类型和数量。
系统测试通常经过以下阶段：
- 测试环境：在这一初始阶段，设置测试服务器以创建测试环境，使测试人员能够运行一组预定义的测试用例和测试脚本。
- 测试用例：生成用于测试过程的测试用例。
- 测试数据：在此阶段生成待测试的数据。
- 测试用例执行：一旦生成测试用例和测试数据，就会执行测试用例。
- 缺陷报告：在此阶段识别系统中的缺陷。
- 回归测试：这一步是为了查看先前阶段是否引入了任何问题。
- 缺陷记录：在这一阶段修复所有识别出的缺陷。
- 重测：如果测试不成功，则重复测试。
系统测试示例和用例
以下是系统测试过程中所用到的一些示例及其用例：
- 功能测试：此类测试确保系统满足其需求并按预期功能。例如，您可以通过输入无效的凭据来测试登录页面的功能，并验证用户是否被禁止登录。
- 性能测试：此类测试确保系统能够处理预期的负载和性能要求。例如，您可以通过模拟多个并发用户来测试网站的性能。
- 安全性测试：此类测试确保系统免受未经授权的访问、修改或破坏。例如，您可以尝试对网站进行黑客攻击来测试其安全性。
- 可用性测试：此类测试确保系统易于使用和导航。例如，您可以要求用户完成一个任务，观察他们如何与网站进行交互来测试其可用性。
- 可靠性测试：此类测试确保系统在预期期间内无故障运行。例如，您可以长时间运行网站并监控其性能来测试其可靠性。
- 压力测试：此类测试确保系统能够处理意外或极端负载。例如，您可以通过模拟大量并发用户和高流量来测试网站的压力。
- 恢复测试：此类测试确保系统能够从故障或错误中恢复。例如，您可以模拟系统崩溃，并验证网站能否恢复到先前的状态。
- 兼容性测试：此类测试确保系统能够与其他软件或硬件正确配合工作。例如，您可以验证网站是否可以与不同的Web浏览器和操作系统一起使用来测试其兼容性。
- 验收测试：客户或最终用户执行此测试以验证系统是否满足其需求。例如，您可以要求用户完成一份调查并提供对网站的反馈来测试其验收情况。
这些只是一些示例及其用例。具体的测试类型将根据特定的系统和用户需求而异。
系统测试工具
各种商业和开源工具可以帮助QA团队执行和审查系统测试结果。这些工具可以创建、管理和自动化测试或测试用例，还可能提供超出系统测试的功能，如需求管理能力。
商业系统测试工具包括Froglogic的Squish和Inflectra的SpiraTest，而开源工具包括Robotium和SmartBear的SoapUI。但并非每位软件测试人员都能访问所有可用的测试资源。例如，某大型企业的测试人员可能能够使用昂贵的自动化测试工具，而小型组织可能无法使用。
在进行系统测试时，以下是一些测试报告工具的列表：
- TestRail – TestRail 是一个现代的测试管理工具，用于跟踪测试计划、测试用例和测试结果。
- HP ALM (Application Lifecycle Management) – HP ALM 是惠普的测试管理工具，提供测试计划、缺陷管理和版本控制等功能。
- JIRA – JIRA 是一个流行的项目管理工具，也可以用于测试管理，包括测试计划、缺陷跟踪和报告生成。
- TestLink – TestLink 是一个开源的测试管理工具，用于管理测试用例、测试计划和测试报告。
- qTest – qTest 是一个全面的测试管理解决方案，包括测试计划、执行和报告。
