课程背景
大模型及RAG到底是什么?有什么用?
● 如何进行大模型快速环境部署?及测试数据生成?
● 自动化测试是不是只解决回归测试或功能测试,是否可全线覆盖各种测试类型(例如性能测试、压力测试、安全测试等自动化如何做)?
● 如何使用自动化测试来实施TDD(测试驱动开发)?
● 自动化测试的具体实现是怎样的?希望有实际案例、及细节实现过程
● 如何提高自动化测试的技术复用性?
● 如何进行数据驱动测试?以及自动化测试的架构最佳实践?
● AI + 自动化测试的具体实现是怎样的?
课程时长
2天(每天6小时)
课程大纲
模块 | 课题 | 注释 |
模块一:私有大模型+RAG | (1)私有大模型的定位和价值 (2)构建私有大模型的核心条件 (3)LLM fine tuning vs RAG (4)RAG数据集合 (5)RAG模型嵌入 (6)RAG分块策略 (7)私有大模型的算力要求 | 随着大模型的爆发式增长,AI技术对各行业生产力的提高开始显现巨大的影响,某些领域的工作方式和思维方式都在AI加持之下产生巨变。本章介绍在质量保证领域引入大模型和RAG技术的必要性和知识准备 |
模块二: AI大模型对QA结果的自动分析和归纳总结 | (1)基于AI大模型分析的数据统计及数据挖掘,如何自定义及实现一套Dashboard (2)通过AI大模型来快速精准定位整个系统的质量弱点,为敏捷测试及持续交付提供AI分析 (3)AI统计通过率、各种Top10及缺陷与用例的关联 (4)大规模自动化测试及数据分析的实际演示与详解 | 在实际工作中构建了两套大规模自动化实验室和私有大模型+RAG知识管理系统。这一章让我们先一起来看一下一套实际运行的自动化及持续集成系统加持AI大模型分析后的真实应用是怎样的以及效果如何。对整体的设计思路和目的性有一个系统认识,然后从下一模块开始展开细节,讲解如何进行技术实现的 |
模块三: 自动化测试的技术实现详解 | (1)功能测试的自动化实现及设计模式 (2)UI上有一些控件不能识别,这种情况如何正确设计自动化测试框架 (3)如何彻底解决UI自动化测试的稳定性及不定态带来的影响 (4)性能测试的自动化的难点及数据分析 (5)压力测试的自动化实现细节 (6)安全性测试的自动化实施 (7)全球化和本地化测试的自动化(适用于多语言或定制开发项目) (8)通过自动化测试发现Testability问题 (9)通过自动化和数学模型涵盖用有限自动化测试涵盖无限场景可能性 (10)基于自动化的集成测试 (11)交互性测试的自动化 | 这一章是自动化测试的重要实战部分,将对每一种测试方法的重点、难点和实施技巧进行讲解,用一个真实的企业级软件项目作为案例,讲解如何在一个真实项目中逐一实施这些测试方法的自动化,当所有的测试方法都部署完成,讲解何如把这些独立的测试方法和测试活动整合成自动化测试体系。从而实现缺陷预防的持续改进。以及如何进一步实现自动化测试的自动化。 |
模块四: 基于AI大模型生成测试用例 | (1)AI大模型生成用例的数据质量条件 (2)需求数据的质量如何管控?管控方法实践分享 (3)高质量输入数据对AI生成测试用例的实战经验分享 (12)架构设计需不要质量?管控方法分享 | AI大模型并非万能,对于输入数据、尤其是需求的清晰度和严谨度提出了更高的要求。本章将分享讲师在真实项目中打磨的实战方法,此方法已经在多个团队实施,有着非常好的实际结果 |
模块五: 从DevOps进化到MLOps | (1)DevOps总体建设思路 (2)自动化测试+持续集成的运行部署策略 (3)测试环境及测试数据的自动化部署 (4)Pass Rate:测试活动的重要标准 (5)AI辅助分析代码覆盖率检查 (6)AI辅助自动化测试的缺陷跟踪 (7)自动化测试的自动化 (8)AI辅助分析多机器池自动化部署及优化 (9) 如何将大规模自动化+版本控制+持续集成部署为一个复杂完备的大型质量保证体系 (10) 机器学习 + DevOps进化到MLOps | 随着自动化的规模化实现,在多维度引入AI可实现各自动化模块即可单独运转、有着自己清晰的功能,也可协同运转成为一个高阶自动化系统。从而为敏捷测试及持续交付提供强力的技术支撑。AI的引入,对于质量保证的技术、效率、思维方式都产生了巨大的改变! |