课程时长

2天（6小时/天）

课程大纲 

模块一：高级提示语工程与业务智能体建模技巧

1.    高级提示语工程方法

1.           提示词设计的基本原理：反哺知识、注入知识、获取知识策略。

2.           复杂任务中的提示词优化：利用开源大模型（如LLaMA-3.1、Qwen-2）进行提示词优化。

2.    高级知识推理技术

1.           记忆压缩：将重要信息压缩并存储，以减少计算负担和内存使用。例如通过分析和反思生成的内容来提高记忆质量。

2.           提示词压缩：优化工作记忆，减少冗余信息，提高模型响应的效率。

3.           推理状态管理：有效管理推理过程中的状态信息，确保准确性和一致性。

4.           多步推理技术：在生成式任务中实现精确推理和决策。

3.    提示语工程实用技巧：宏展开，单一职责原则和种子记忆增强等。

4.    实践与讨论

1.           实战练习：学员现场使用开源模型进行提示语优化。

2.           互动讨论：学员分享在实际项目中遇到的提示语工程挑战与解决方案。

模块二：检索增强生成（RAG）技术支撑上层产业应用

1. 产业检索增强生成实践经验

1. 如何选择模型预训练，模型微调和RAG？

2. 如果对外部知识数据选择合适的结构化方案进行建模？

3. 如何选择合适的知识表示和索引策略：级联知识结构，图知识结构，关系型知识结构等。

2. 结合产业案例，介绍检索增强生成技术落地重点

1. 如何针对业务模型选择合适的检索方案。

2. 如何基于用户反馈优化RAG系统。

3. 如何基于RAG系统支撑业务智能体建模。

模块三：产业大模型系统架构案例与自主可控大模型部署方案

1. 基于自主可控组件的大模型系统架构设计

1. 数据流管理：离线、在线和近线大模型系统架构数据流和存储结构设计。

2. 计算资源分配：大模型系统底层资源分层调度策略。

3. 高效调度：大模型系统在线高性能服务策略，考虑在线服务公平性问题。

2. 高性能在线推理服务

1. 解码策略：优化解码策略提升解码效率。

2. 模型量化：量化技术减少模型体积和计算需求，提升推理速度。

3. 其他优化技术：包括延迟优化、吞吐量提升和负载均衡。

4. 硬件（GPU、TPU）和软件（分布式训练框架）的选择与优化。

3. 安全性与合规性保障

1. 合规要求：分析大模型应用的法规要求，包括数据保护法规（如GDPR）和行业标准。

2. 版权风险：讨论与大模型训练和使用相关的版权问题，确保合法使用数据和生成内容。

3. 不同类型的智能体权限和隔离级别要求。

4. 互动交流与未来展望：讨论与Q&A：学员提问与经验分享，探索未来技术趋势与机会。