大规模语言模型：从理论到实践（第2版） pdf下载

复旦NLP团队2025年新作

新增内容超过50%

详解MOE、多模态、智能体、RAG、大模型效率优化、预训练、指令微调、强化学习、对齐、评估、应用开发

深入探讨LLM的实际应用场景和评价方法，为读者提供理论指导与实践经验

构建LLM的每个阶段都有算法、数据来源、代码、难点及实践经验的详细讨论

配代码和PPT课件

本书封底含有wispaper.ai科研助手智能体（预计2025年6月上线）邀请码，凭邀请码可免费下载使用。

本书共12章，围绕大语言模型基础理论、预训练、指令理解、模型增强和模型应用五个部分展开：第一部分介绍大语言模型的基础理论；第二部分介绍大语言模型的预训练，包括大语言模型预训练数据和分布式训练；第三部分介绍大语言模型如何理解并服从人类指令，包括有监督微调和强化学习；第四部分介绍大语言模型增强技术，包括多模态语言模型、大模型智能体和检索增强生成；第五部分介绍大模型应用，包括大模型效率优化、模型评估和应用开发。

张奇

复旦大学计算机科学技术学院教授、博士生导师。兼任上海市智能信息处理重点实验室副主任，中国中文信息学会理事、CCF大模型论坛常务委员、CIPS信息检索专委会常务委员、CIPS大模型专委会委员。多次担任ACL、EMNLP、COLING、全国信息检索大会等重要国际和国内会议的程序委员会主席、领域主席、讲习班主席等职务。近年来，承担了国家重点研发计划课题、国家自然科学基金、上海市科委等的多个项目，在国际重要学术期刊和会议上发表论文200余篇。获得WSDM 2014最佳论文提名奖、COLING 2018 领域主席推荐奖、NLPCC 2019杰出论文奖、COLING 2022杰出论文奖。获得上海市“晨光计划”人才计划、复旦大学“卓越2025”人才培育计划等支持，获得钱伟长中文信息处理科学技术一等奖、汉王青年创新一等奖、上海市科技进步二等奖、教育部科技进步二等奖、IBM Faculty Award等奖项。

桂韬

复旦大学副研究员。研究领域为预训练模型、类人对齐和智能体交互。在国际重要学术期刊和会议上发表论文50余篇，主持国家自然科学基金、计算机学会和人工智能学会的多个人才项目。获得钱伟长中文信息处理科学技术一等奖、NeurIPS 2023大模型对齐 Track最佳论文奖，入选第七届“中国科协青年人才托举工程”、上海市启明星计划。

郑锐

博士毕业于复旦大学计算机科学技术学院，师从张奇教授。曾任字节跳动豆包大模型团队算法工程师，现就职于某前沿科技公司，研究方向为大模型对齐、复杂推理能力提升。获得NeurIPS Workshop on Instruction Following 2024最佳论文奖。MOSS-RLHF开源项目负责人，开源了RLHF代码库及技术文档，推动大模型对齐技术发展。在ICLR、ICML、NeurIPS、ACL等国际会议上发表多篇论文。

黄萱菁

复旦大学特聘教授、博士生导师。主要从事人工智能、自然语言处理和大语言模型研究。兼任中国计算机学会理事、自然语言处理专委会主任、中国中文信息学会理事、计算语言学学会亚太分会主席。在国际重要学术期刊和会议上发表论文200余篇，获优秀论文奖8项。获得钱伟长中文信息处理科学技术一等奖、上海市育才奖，以及人工智能全球女性学者、福布斯中国科技女性等多项荣誉。

随着ChatGPT的问世，大语言模型展现出巨大潜力，对人工智能发展产生了深远影响。面对这一迅速发展的技术，如何快速理解其理论并参与实践是我们必须要面对的挑战。本书在第1版的基础上增加了多模态、智能体、RAG等章节，并对指令微调和强化学习部分进行了大幅修改，旨在帮助读者深入理解大语言模型的原理，提供实操指导，值得阅读。

柴洪峰　中国工程院院士

本书深入解析了大语言模型的基本原理，分析了当前几种有代表性的大语言模型的学理特点，分享了作者在这一领域的实践经验。本书的出版恰逢其时，是学术界和产业界不可多得的读物，将助力读者进一步探索和应用大语言模型。

蒋昌俊　中国工程院院士

本书全面解析了大语言模型的发展历程、理论基础与实践方法，对大语言模型预训练、指令微调、强化学习、多模态、智能体、RAG等前沿领域的研究进展有较好的覆盖。此外，本书深入探讨了大语言模型的实际应用场景与评价方法，为研究者提供了系统的理论指导与实践经验。相信本书对从事相关研究的学者和大语言模型开发者具有重要的参考价值。

周伯文　上海人工智能实验室主任、首席科学家，清华大学惠妍讲席教授

目录

第1章 绪论1

1.1 大语言模型的基本概念1

1.2 大语言模型的发展历程4

1.3 大语言模型的构建流程8

1.4 本书的内容安排10

第2章 大语言模型基础13

2.1 Transformer结构13

2.1.1 嵌入表示层14

2.1.2 注意力层15

2.1.3 前馈层18

2.1.4 残差连接与层归一化19

2.1.5 编码器和解码器结构20

2.2 生成式预训练语言模型GPT 25

2.2.1 自监督预训练25

2.2.2 有监督下游任务微调26

2.2.3 预训练语言模型实践27

2.3 大语言模型的结构32

2.3.1 LLaMA的模型结构33

2.3.2 注意力机制优化39

2.4 混合专家模型46

2.4.1 稀疏混合专家模型47

2.4.2 稠密混合专家模型49

2.4.3 软混合专家模型50

2.5 实践思考51

第3章 大语言模型预训练数据52

3.1 数据来源52

3.1.1 通用数据53

3.1.2 领域数据55

3.2 数据处理56

3.2.1 质量过滤56

3.2.2 冗余去除57

3.2.3 隐私消除58

3.2.4 词元切分59

3.3 数据影响分析64

3.3.1 数据规模64

3.3.2 数据质量66

3.3.3 数据多样性69

3.4 开源数据集70

3.4.1 Pile 70

3.4.2 ROOTS 73

3.4.3 RefinedWeb 75

3.4.4 CulturaX77

3.4.5 SlimPajama 78

3.5 实践思考82

第4章 分布式训练83

4.1 分布式训练概述83

4.2 分布式训练的并行策略85

4.2.1 数据并行86

4.2.2 模型并行90

4.2.3 混合并行98

4.2.4 计算设备内存优化99

4.3 分布式训练的集群架构103

4.3.1 高性能计算集群的典型硬件组成103

4.3.2 参数服务器架构104

4.3.3 去中心化架构105

4.4 DeepSpeed实践110

4.4.1 基础概念112

4.4.2 LLaMA分布式训练实践115

4.5 实践思考126

第5章 指令微调127

5.1 指令微调训练127

5.1.1 指令微调数据127

5.1.2 指令微调数据构建方法129

5.1.3 指令微调数据评估与影响135

5.1.4 指令微调训练策略141

5.1.5 开源指令数据集142

5.2 高效模型微调144

5.2.1 LoRA 144

5.2.2 LoRA的变体148

5.3 模型上下文窗口扩展150

5.3.1 具有外推能力的位置编码150

5.3.2 插值法151

5.4 DeepSpeed-Chat SFT实践153

5.4.1 代码结构155

5.4.2 数据预处理157

5.4.3 自定义模型159

5.4.4 模型训练161

5.4.5 模型推理162

5.5 实践思考162

第6章 强化学习164

6.1 强化学习概述164

6.1.1 强化学习基础概念165

6.1.2 强化学习与有监督学习的区别166

6.2 策略梯度方法168

6.2.1 策略梯度168

6.2.2 REINFORCE算法170

6.2.3 广义优势估计171

6.2.4 近端策略优化算法173

6.2.5 RLOO算法175

6.2.6 GRPO算法177

6.3 推理模型的强化学习179

6.3.1 DeepSeek-R1 179

6.3.2 Kimi k1.5 182

6.4 基于人类反馈的强化学习185

6.4.1 基于人类反馈的强化学习流程185

6.4.2 奖励模型 186

6.5 verl实践191

6.6 实践思考199

第7章 多模态大语言模型200

7.1 多模态大语言模型基础200

7.1.1 典型的多模态大语言模型201

7.1.2 多模态大语言模型的挑战204

7.2 大语言模型与多模态融合架构205

7.2.1 视觉语言模型架构205

7.2.2 语音语言模型架构209

7.2.3 多模态大语言模型架构213

7.3 多模态大语言模型训练策略217

7.3.1 数据处理218

7.3.2 视觉语义关联219

7.3.3 多模态文本对齐220

7.4 MiniGPT-4实践222

7.4.1 MiniGPT-4模型架构222

7.4.2 MiniGPT-4训练策略225

7.5 实践思考229

第8章 大模型智能体231

8.1 智能体基础231

8.1.1 智能体发展历史231

8.1.2 大模型智能体应用范式232

8.2 大模型智能体架构235

8.2.1 感知模块236

8.2.2 规划模块237

8.2.3 记忆模块238

8.2.4 工具使用模块239

8.3 大模型智能体训练241

8.3.1 工具学习241

8.3.2 推理规划244

8.3.3 长期记忆250

8.4 大模型智能体实践252

8.4.1 手工编写代码252

8.4.2 LangChain框架259

8.4.3 智能体平台Coze实践276

8.5 实践思考279

第9章 检索增强生成280

9.1 检索增强生成基础280

9.1.1 RAG系统的框架281

9.1.2 RAG任务分级282

9.1.3 RAG系统的难点286

9.2 Modular RAG架构287

9.2.1 索引模块288

9.2.2 检索前优化模块291

9.2.3 检索模块293

9.2.4 检索后优化模块296

9.2.5 生成模块297

9.2.6 编排模块298

9.3 RAG系统设计模式301

9.3.1 线性模式301

9.3.2 条件模式302

9.3.3 分支模式303

9.3.4 循环模式304

9.4 RAG系统优化306

9.4.1 文本嵌入模型微调306

9.4.2 查询优化308

9.4.3 幻觉感知的生成模型优化311

9.4.4 重排模型优化312

9.4.5 检索与生成联合优化315

9.5 RAG系统评估316

9.5.1 RAG系统评估的挑战316

9.5.2 评估目标317

9.5.3 评估数据集319

9.5.4 评估指标320

9.6 RAG实践324

9.6.1 构建基础RAG系统324

9.6.2 查询分解与检索结果融合的RAG系统326

9.7 实践思考328

第10章 大语言模型效率优化330

10.1 效率优化基础330

10.2 模型优化334

10.2.1 Transformer代替架构334

10.2.2 模型量化336

10.2.3 模型稀疏化339

10.2.4 知识蒸馏342

10.3 低精度训练345

10.3.1 FP8编码345

10.3.2 FP8大语言模型训练346

10.4 高效推理351

10.4.1 算法级别的推理优化351

10.4.2 系统级别的推理优化356

10.5 vLLM推理框架实践358

10.6 实践思考361

第11章 大语言模型评估362

11.1 模型评估概述362

11.2 大语言模型评估体系364

11.2.1 知识与能力364

11.2.2 伦理与安全367

11.2.3 垂直领域371

11.3 大语言模型评估方法376

11.3.1 评估指标376

11.3.2 评估方法381

11.4 大语言模型评估实践386

11.4.1 基础模型评估387

11.4.2 SFT模型和RL模型评估389

11.5 实践思考399

第12章 大语言模型应用开发401

12.1 大语言模型典型应用场景401

12.1.1 内容创作与生成401

12.1.2 对话系统与聊天机器人402

12.1.3 翻译与多语言处理403

12.1.4 信息抽取与知识图谱404

12.1.5 代码生成与编程辅助404

12.1.6 智能搜索与推荐405

12.1.7 教育与培训406

12.1.8 企业管理与决策支持407

12.1.9 法律与合规407

12.2 大语言模型应用开发案例408

12.2.1 浏览器智能插件408

12.2.2 论文搜索助理412

12.3 大语言模型本地部署实践413

12.3.1 llama.cpp 414

12.3.2 Ollama 417

12.3.3 Open WebUI 419

12.4 实践思考420

参考文献422

索引451

本书共分为12章，围绕大语言模型基础理论、预训练、指令理解、大模型增强和大模型应用五个部分展开：第1部分介绍大语言模型的基础理论；第2部分介绍大语言模型的预训练，包括大语言模型预训练数据和分布式训练；第3部分介绍大语言模型如何理解并服从人类指令，包括指令微调和强化学习；第4部分介绍大语言模型增强技术，包括多模态大语言模型、大模型智能体和检索增强生成；第5部分介绍大模型应用，包括大语言模型效率优化、大语言模型评估和大语言模型应用开发。

第2章介绍大语言模型的基础理论知识，包括语言模型的定义、Transformer结构、大语言模型框架等内容，并以LLaMA使用的模型结构为例介绍代码实例。

第3章和第4章围绕大语言模型预训练阶段的主要研究内容展开介绍，包括模型分布式训练中需要掌握的数据并行、流水线并行、张量并行及ZeRO系列优化方法。除此之外，还将介绍预训练需要使用的数据分布和数据预处理方法，并以DeepSpeed为例介绍如何进行大语言模型预训练。

第5章和第6章聚焦于大语言模型指令理解阶段的核心研究内容，探讨如何通过指令微调和强化学习方法，使模型能够理解指令并生成类人回答。第5章重点介绍模型微调技术、指令微调数据的构造策略以及高效微调方法，如LoRA、Delta Tuning等方法，第6章则围绕强化学习展开，讲解其基础理论与近端策略优化（PPO）技术，并结合实际案例，以DeepSpeed-Chat和verl框架为例，详细说明如何训练类ChatGPT系统。

第7章、第8章和第9章围绕提升大语言模型的能力展开详细探讨，内容涵盖多模态大语言模型、大模型智能体和检索增强生成。第7 章重点介绍多模态大语言模型的基础理论、架构设计与训练策略，并探讨其在实际场景中的应用实践；第8章聚焦于智能体的发展历程与大语言模型智能体的架构设计，深入分析智能体的实现原理，并以LangChain为例详细阐述具体实践；第9章则围绕检索增强生成展开讨论，介绍其核心思想与实现方式，涵盖检索增强框架的设计、检索模块与生成模块的协作机制，以及其在具体任务场景中的应用方法与实践。

第10章、第11章和第12章主要围绕如何应用大语言模型展开讨论，内容涵盖提升模型效率的方法、大语言模型评估，以及大语言模型典型应用的开发与部署。第10章重点介绍模型压缩与优化、训练效率优化和推理效率优化等提升模型效率的关键技术；第11章聚焦于大语言模型评估，探讨其基本概念和难点，阐述评估体系的构建、评估方法的设计及实际评估的实施；第12章则基于典型的大语言模型应用场景，详细介绍其开发流程、开发工具及本地部署的实践方法。