任你选择
课程介绍
本课程从AI大模型基础知识出发，系统讲解Transformer架构、大模型权重内部结构、RAG和Agent应用技术架构等核心内容，并通过从零实现大模型示例、开发RAG/Agent/SpringAI应用等实操环节，帮助学员深入理解AI大模型的技术原理和应用开发。
课程重点讲解AI大模型应用的非功能能力评估方法，包括关键参数与指标分析、应用监控、SSE协议性能测试难点，以及如何使用AI大模型推理评估工具（GuideLLM、EvalScope、LM-Evaluation-Harness）进行性能评估。
课程提供完整的实操演示，包括编写性能测试智能体/工作流，设计并实现AI大模型压力测试工具（涵盖流式响应处理、性能指标计算、多线程并发测试、实时统计汇总等核心功能），以及传统压测工具在AI大模型场景下的使用方式和局限性分析。
课程还讲解AI大模型应用架构优化方案，包括模型微调优化策略（PEFT、梯度优化、数据优化、训练配置优化等）和模型推理优化策略（量化技术、注意力机制优化、批处理与并发优化、缓存策略等），并提供不同场景下的优化方案组合推荐和实施指南。
课程优势
l 结合AI大模型相关知识
l 覆盖大模型应用常见技术栈
l 解析AI大模型应用的非功能需求指标
l 采用针对AI大模型的非功能测试工具演示
课程方式
l AI基础知识
l AI编程工具使用经验
l AI架构基础知识
l 非功能测试经验
l 性能测试经验
课程目标
通过本课程的学习，使用AI大模型的技术栈带领学员具体操作，让学员掌握AI大模型应用的非功能评估技术。
课程对象
此课程适合于IT项目经理、AI应用开发工程师、AI应用架构工程师、AI应用性能分析工程师、AI应用性能测试工程师、AI应用运维人员
课程大纲
课程模块 | 内容 | 时长 | 重点 |
AI大模型概述 | l AI发展史 n 早期阶段（1950s-1970s） n 知识工程时代（1970s-1980s） n 机器学习兴起（1980s-1990s） n 深度学习突破（2000s-2010s） n 大模型时代（2010s至今） | 5分钟 | √ |
AI大模型基础知识 | l 基础概念 n 人工智能/机器学习/深度学习/AI大模型 n FNN/RNN/CNN/GNN/GAN/Diffusion n Transformer n 大型语言模型LLM n 提示词工程 n 量化 l Transformer架构解析 n 词嵌入/词元嵌入 n 位置编码 n 重复的Transformer块 n 多头注意力机制（QKV/多头/掩码/输出) n 多层感知器MLP n 输出逻辑值（概率/温度/Top-K/Top-P) n 残差连接 n 层归一化 n Dropout | 30分钟 | √√ |
从零实现大模型示例 （提供完整的示例代码） （实操演示成果）
| l 项目介绍 l 环境准备 l 项目结构 l 核心代码实现 n 配置文件 n 数据处理模块 n 模型架构 n 训练脚本 n 推理脚本 l 完整训练流程 n 环境准备 n 数据准备 n 配置设置 n 模型训练 n 模型评估 n 模型保存 n 模型推理 n 模型分析 l 进阶优化 | 1小时 | √√ |
AI大模型权重内部架构 | l 编写脚本查看权重文件内部结构 l 权重文件架构解析 n DeepSeek系列/Qwen系列 u 配置信息 u 架构类型 u 模型详细参数 u 架构特征分析 | 30分钟 | √√ |
AI大模型应用技术架构解析 | l 常见的RAG技术架构 l 常见的Agent技术架构 l 技术架构（选择一个解析） n Dify技术架构 | 30分钟 | √√√ |
AI大模型应用开发 （提供完整的示例代码） （实操演示成果） | l 编写一个RAG应用示例 l 编写一个Agent应用示例 l 编写一个SpringAI应用示例 | 1小时 | √√ |
AI大模型应用搭建 （实操演示） | l Ollama来表示搭建与使用 l Dify环境搭建与使用 | 1小时 | √ |
编写性能测试智能体/工作流 （提供完整的示例DSL） （实操演示成果） | l 明确性能测试智能体/工作流目标 l 编写中间件服务（配合性能测试智能体使用） l 设定性能场景执行目标 l 设计性能测试智能体/工作流整体流程 l 连通LLM大模型实现性能分析 l 执行压测智能体/工作流 l 输出性能分析报告 l 循环执行 l 自动化编写最终性能测试报告 | 1小时 | √√√ |
AI大模型应用关键参数与指标 | l 权重微调推理关键参数与指标 l RAG应用关键参数与指标 l Agent应用关键参数与指标 | 30分钟 | √√√ |
AI大模型应用监控 | l 技术组件列表 l 监控模型 | 30分钟 | √√ |
AI大模型应用常用协议SSE | l SSE介绍 l SSE性能测试难点 | 10分钟 | √√√ |
传统压测工具在AI大模型的使用方式 （实操演示） | l Jmeter编写SSE脚本 l 传统测试工具的弊端 | 20分钟 | √ |
AI大模型推理评估工具 （实操演示过程） | l AI大模型推理评估工具 n GuideLLM | 1小时 | √√√ |
AI大模型应用压测工具 （提供完整的示例代码） （实操演示过程） | l 设计并编写AI大模型压力测试工具 n 项目概述 n 技术栈选择 n 架构设计 n 逐步实现 u 第一步：项目初始化 u 第二步：基础框架搭建 u 第三步：实现流式响应处理 u 第四步：实现性能指标计算 u 第五步：实现线程安全的参数化提供器 u 第六步：实现多线程并发测试 u 第七步：实现实时统计汇总 u 第八步：实现命令行接口 n 关键技术详解 n 测试与优化 n 扩展功能 n 最佳实践 | 3小时 | √√√ |
AI大模型应用架构优化方案 （提供完整的示例方案） | l 第一部分：模型微调优化策略 n 参数高效微调（Parameter-Efficient Fine-Tuning, PEFT） n 梯度优化策略 n 数据优化策略 n 训练配置优化 n 硬件与分布式优化 n 框架特定优化 l 第二部分：模型推理优化策略 n 模型量化技术 n 注意力机制优化 n 批处理与并发优化 n 推理框架选择与优化 n 编译与加速技术 n 系统级优化 n 缓存策略 l 优化策略效果评估 n 微调优化效果 n 推理优化效果 l 优化方案组合推荐 n 方案一：资源充足场景 n 方案二：资源受限场景 n 方案三：高吞吐量场景 n 方案四：低延迟场景 l 实施指南 n 微调实施步骤 n 推理部署步骤 l 高级优化技术 n 模型架构优化 u 1.1 注意力机制变体 u 1.2 位置编码优化 n 数据流水线优化 u 2.1 异步数据加载 u 2.2 数据增强 n 模型压缩技术 u 3.1 知识蒸馏 u 3.2 模型剪枝 l 性能评估与基准测试 n 评估指标 n 基准测试方法 | 30分钟 | √√√ |
总结 | 5分钟 | √ |
