大模型知识增强：概念、方法与技术 pdf下载

适读人群 ：本书可作为计算机及相关专业的高年级本科生、研究生教材，也可作为从事大模型相关工作的技术管理者与研发人员的参考书。

探索“大模型+知识图谱（LLM+KG）”的神经符号融合之道！

浙江大学陈华钧教授领衔撰写，陆汝钤院士倾情作序，清华大学计算机学院孙茂松教授、北京大学计算机科学技术系金芝教授、澜舟科技创始人周明力荐！

融合大模型与知识图谱的前沿成果，揭开大模型时代知识增强的核心技术与实践路径。

知识增强预训练：注入结构化知识，提升模型语义理解与领域适应性；

知识驱动推理与问答：融合符号规则与思维链，破解复杂推理难题；

幻觉抑制与知识编辑：结合检索增强、知识对齐，打造可信赖AI生成；

多模态与智能体进阶：知识引导视觉问答、跨模态检索，探索具身智能新边界。

以 ChatGPT 和 DeepSeek 为代表的大模型，标志着人工智能在理解和处理世界知识方面取得了显著的进展。知识增强（Knowledge Augmentation）是指在大模型训练或推理过程中，通过引入外部结构化知识或符号化知识，提升大模型在理解、推理与生成等任务中的准确性、可靠性、专业性和可解释性。

本书聚焦于“大模型+知识库（LLM + KB）”框架下的大模型知识增强机制与方法，特别是系统探讨大模型与知识图谱互补增强的核心技术与实现路径。具体内容涵盖：大模型知识增强概述、知识增强预训练基础、知识增强提示指令、知识辅助检索增强、知识增强大模型查询问答、知识增强推理、大模型幻觉抑制、知识编辑、知识增强多模态学习，以及知识智能体与世界模型等主题。各章由浅入深，先提供背景知识，再逐步深入介绍技术原理和最新学术进展，注重系统性、整体性与章节间的有机衔接。针对实践应用，本书部分章节挑选了来自企业真实案例与开源工具的示范，便于读者动手实践，实现理论与实践的结合。

本书可作为计算机及相关专业的高年级本科生、研究生教材，也可作为从事大模型相关工作的技术管理者与研发人员的参考书。

陈华钧

浙江大学计算机科学与技术学院教授/博导，中文开放知识图谱OpenKG发起人，浙江省数智科技研究会副会长，中国中文信息学会语言与知识计算专委会副主任，中国人工智能学会知识工程与分布智能专委会副主任。入选浙江省有突出贡献中青年专家、浙江省高层次人才特殊支持计划科技创新领军人才，全球前2%顶尖科学家终身榜单（人工智能领域）。

主要研究方向为人工智能、知识图谱、自然语言处理、AI for Science，在Nature Machine Intelligence、Nature Communications、NeurIPS、ICLR、ICML、IJCAI、AAAI、ACL、EMNLP、WWW、KDD、VLDB、IEEE TKDE、Proceedings of the IEEE等国际顶级会议和期刊以第一作者或通讯作者发表多篇论文。主持多项国家自然科学基金重点类项目，以及国家重点研发计划、国家重大科技专项、重大企业合作项目。曾获国际语义网会议ISWC最佳论文奖、国际知识图谱联合会议IJCKG最佳论文奖、国家科技进步二等奖、教育部技术发明一等奖、钱伟长科技奖一等奖、浙江省科技进步二等奖、浙江大学优秀教材奖一等奖等多项科技奖励。

张宁豫

浙江大学软件学院副教授、特聘研究员、智能科学与工业软件所副所长，入选斯坦福全球前2%顶尖科学家榜单，主要研究方向为自然语言处理、知识图谱等。担任ACM Transactions on Asian and Low-Resource Language Information Processing Associate Editor，ACL、EMMLP、ICLR、KDD领域主席，ARR Action Editor，IJCAI高级程序委员，研发了知识获取系统DeepKE及大模型知识编辑系统EasyEdit。

张文

浙江大学软件学院副教授、特聘研究员。研究方向为知识表示与推理、知识图谱、大语言模型。在NeurIPS、KDD、WWW、IJCAI、AAAI、ICDE、ACM MM、WSDM等国际顶级会议上发表多篇论文。主持国家自然科学基金青年科学基金项目、浙江省自然科学基金探索青年项目、宁波市自然科学基金探索一般项目。曾获国际知识图谱联合会议（IJCKG）最佳论文奖、最佳应用论文奖，浙江省科技进步二等奖等奖励。入选副省级市高层次人才引进计划、百度2023年度AI华人女性青年学者榜。

本书围绕大模型与知识图谱的融合展开了深入探索，尝试从理论方法到实践路径，系统梳理知识增强在大模型中的应用价值。作者结合自身研究与实践经验，对关键问题进行了细致分析，也呈现了当前该领域的一些代表性进展。作为一本兼具系统性与前瞻性的图书，本书可为关注大模型知识能力提升的研究人员和工程技术人员提供有益参考，亦为相关研究的进一步深入提供了良好基础。

孙茂松

清华大学人工智能研究院常务副院长、欧洲人文和自然科学院外籍院士

本书以知识增强为切入点，为大模型的研究与应用提供了全新视角。特别是系统阐述了大模型与知识图谱互补增强的基本理念、核心技术与典型应用，并结合实际案例，帮助读者理解如何将学术成果有效转化为工程实践。书中注重理论与实践融合，旨在提高人工智能专业人才解决问题的能力，特别是在复杂应用场景中对大模型与知识图谱的灵活运用。本书为产业界与学术界提供了具有实践价值的知识体系，有助于推动相关技术的落地与人才培养。

金芝

北京大学计算机学院教授、IEEE Fellow

本书聚焦“大模型 + 知识库”这一令人关注的前沿领域，深入研究了神经网络与符号系统融合的理论，阐释了知识表示与推理的方法。在此基础上，通过多元场景和案例，直观呈现了具体应用。本书兼具研究价值与实践价值，为大模型从业者提供了宝贵的指南。

周明

澜舟科技创始人、中国计算机学会副理事长

目录

第1章 大模型知识增强概述 1

1.1 大模型时代的通用人工智能 2

1.1.1 人类语言与世界知识 2

1.1.2 大模型是处理世界知识的通用

人工智能系统 2

1.1.3 通用人工智能的特征 3

1.2 大模型的知识力 8

1.2.1 什么是知识 8

1.2.2 知识的表示形式 9

1.2.3 大模型中的世界知识 11

1.3 知识图谱与语言模型 14

1.3.1 知识表示与知识规模 15

1.3.2 为什么仍然需要符号知识图谱 16

1.3.3 语言模型与知识图谱都是表示和处理

知识的手段 16

1.4 大模型知识增强 17

1.4.1 大模型知识增强的分类 17

1.4.2 大模型知识增强的典型方法及核心概念 20

1.5 本章小结 21

第2章 知识增强预训练基础 23

2.1 知识增强预训练概述 24

2.2 预训练语言模型 25

2.2.1 语言模型 25

2.2.2 词向量与分布式语义表示 26

2.2.3 注意力机制：增强词的交互关系 28

2.2.4 预训练语言模型 29

2.2.5 ChatGPT 31

2.3 知识增强的预训练 34

2.3.1 常见知识增强语料 34

2.3.2 知识增强词向量 36

2.3.3 知识注入 37

2.3.4 结构增强 43

2.4 应用与实践 47

2.4.1 知识增强电信预训练模型 47

2.4.2 知识增强电商预训练模型 53

2.4.3 知识增强蛋白质预训练模型 56

2.5 本章小结 59

第3章 知识增强提示指令 60

3.1 知识增强提示指令概述 61

3.2 提示学习与指令精调 63

3.2.1 提示学习 63

3.2.2 指令精调 69

3.2.3 思维链 73

3.2.4 提示的本质 74

3.3 知识增强提示学习 76

3.3.1 传统提示学习的局限性 76

3.3.2 知识增强提示模板 76

3.3.3 知识增强标签词集构建 79

3.3.4 面向图数据的提示学习 81

3.4 结构增强思维链 83

3.4.1 传统思维链的局限性 83

3.4.2 结构化思维链 84

3.4.3 知识图谱思维链 91

3.5 结构增强指令精调 93

3.5.1 传统指令精调的局限性 93

3.5.2 知识抽取指令 94

3.5.3 图学习指令 97

3.5.4 知识图谱指令 99

3.6 本章小结 100

第4章 知识辅助检索增强 103

4.1 知识辅助检索增强概述 104

4.2 检索增强生成 105

4.2.1 什么是检索增强生成 105

4.2.2 RAG的典型架构 108

4.2.3 RAG的训练机制 111

4.2.4 RAG的优化 114

4.2.5 RAG的局限性 114

4.3 知识图谱与RAG 115

4.3.1 向量RAG与KG-RAG 115

4.3.2 知识图谱对于RAG的价值 116

4.3.3 知识图谱增强RAG的不同阶段 118

4.4 KG-RAG的几种典型架构 121

4.4.1 Tree-RAG：构建实体或主题

概念树增强RAG 121

4.4.2 KE-RAG：利用知识抽取增强RAG 122

4.4.3 利用外部知识图谱增强的KG-RAG 125

4.4.4 融合思维链的多模态KG-RAG 126

4.5 本章小结 127

第5章 知识增强大模型查询问答 129

5.1 知识增强大模型查询问答概述 130

5.2 查询问答背景知识 131

5.2.1 结构化知识表示 131

5.2.2 结构化知识查询 132

5.2.3 查询问答方法 135

5.3 大模型查询问答能力分析 137

5.4 知识增强查询问答方法 138

5.4.1 基于大模型微调的查询问答 138

5.4.2 基于检索生成的查询问答 139

5.4.3 基于统一表示的查询问答 142

5.5 本章小结 144

第6章 知识增强大模型推理 146

6.1 知识增强大模型推理概述 147

6.2 知识推理背景介绍 148

6.2.1 什么是知识推理 148

6.2.2 语言模型推理 153

6.2.3 知识图谱推理 156

6.2.4 知识增强大模型推理的目标 162

6.3 知识图谱增强语言模型推理 163

6.3.1 知识图谱引导多跳推理链 163

6.3.2 符号规则引导大模型推理 166

6.3.3 知识图谱过程监督 170

6.4 语言模型增强知识图谱推理 172

6.4.1 语言模型增强知识图谱查询推理 173

6.4.2 语言模型增强知识图谱关系推理 175

6.4.3 语言模型增强知识图谱规则推理 177

6.5 知识图谱基础模型 179

6.5.1 知识图谱预训练方法 180

6.5.2 知识图谱基础模型初探 183

6.6 本章小结 186

第7章 知识增强幻觉抑制 188

7.1 知识增强幻觉抑制概述 189

7.2 大模型幻觉背景 190

7.2.1 大模型幻觉问题定义 190

7.2.2 大模型幻觉成因 192

7.2.3 大模型幻觉检测与抑制意义 193

7.2.4 知识增强与幻觉抑制 194

7.3 大模型幻觉检测与抑制 194

7.3.1 幻觉问题检测方法 195

7.3.2 知识增强幻觉抑制 199

7.4 本章小结 206

第8章 大模型知识编辑 208

8.1 大模型知识编辑概述 209

8.2 大模型知识编辑问题 210

8.2.1 什么是大模型知识编辑 210

8.2.2 大模型知识分析方法 212

8.2.3 大模型知识存储机制 214

8.3 模型知识编辑方法 217

8.3.1 基于外部干预的知识编辑方法 218

8.3.2 基于内部更新的知识编辑方法 222

8.4 模型编辑影响分析 225

8.4.1 知识能力影响 225

8.4.2 通用能力影响 227

8.5 应用与实践 227

8.5.1 EasyEdit开源知识编辑工具实践 227

8.5.2 OneEdit知识编辑框架 230

8.5.3 大模型知识编辑应用 230

8.6 本章小结 232

第9章 知识增强多模态学习 233

9.1 知识增强多模态概述 234

9.1.1 人类认知系统 234

9.1.2 融合两种记忆 234

9.1.3 知识图谱与多模态学习 235

9.2 多模态与大模型 236

9.2.1 多模态任务简介 236

9.2.2 多模态生成模型 238

9.2.3 多模态大模型 241

9.3 知识增强视觉问答 242

9.3.1 视觉问答与知识图谱 243

9.3.2 知识增强视觉问答的基本过程 244

9.3.3 典型案例：知识增强多模态视觉问答 249

9.4 知识增强跨模态检索 251

9.4.1 跨模态检索与知识图谱 251

9.4.2 典型案例：知识增强多模态语义检索 252

9.5 知识增强低资源多模态学习 254

9.5.1 低资源学习与知识图谱 254

9.5.2 典型案例：知识增强的零样本学习 255

9.6 知识增强多模态生成 257

9.6.1 多模态生成任务概述 257

9.6.2 典型案例：知识增强视觉叙事 258

9.7 知识增强多模态幻觉检测 260

9.7.1 领域知识与大模型幻觉检测 260

9.7.2 典型案例：知识引导的多模态幻觉检测 262

9.8 本章小结 264

第10章 知识智能体与世界模型 266

10.1 概述 267

10.2 AI智能体与工具调用 268

10.2.1 什么是AI智能体 268

10.2.2 AI智能体架构 270

10.2.3 AI智能体学习 275

10.2.4 为什么需要知识增强AI智能体 276

10.3 知识增强的AI智能体 277

10.3.1 知识增强的单智能体规划 277

10.3.2 知识增强的多智能体协同 281

10.4 总结与展望 282

10.4.1 大模型的知识机制 282

10.4.2 具身智能与世界模型 283

10.4.3 世界知识模型 284

参考文献 286

序言

自从大模型问世以来，人们在惊讶和欢呼其强大功能之余，也为它的种种不足之处感到遗憾。特别是被赋予“为人类生产知识”任务的大模型，往往不能生产出高质量的知识，甚至还会给出明眼人一看就能发现的错误，在本书中被称为大模型的幻觉。人们，包括曾经的我自己在内，往往会发问：不是有很多现成的知识库、知识图谱、百科全书等知识源吗？大模型为什么在应用户要求生成知识之前不去查一查呢？这就问到本书的关键之处了：让大模型直接去查这些知识源是不行的，因为大模型的运行机制是生成式人工智能。它只会生成，不会查阅。于是，只好在大模型收集和训练数据时，或在向大模型给出指令时，引导大模型调配和生成符合用户需求的知识，而各种知识图谱中规范化表示的知识在完成这个任务时可以大显身手。至于这本300余页的专著是怎么从各个角度一步步地引导读者漫步这个领域的，我们下面做一个小小的透视。

在本书的前言中，有几句很关键的话指出了本书关注的要点。其中提到：“通用智能是一种具备人类水平广泛认知能力的人工智能”（关键句一）。“充足而广泛的世界知识则成为实现通用智能的重要基础”（关键句二）。“大模型则可以视为一种处理世界知识的通用智能系统”（关键句三）。“知识图谱也是一种用于表示和处理人类知识的技术手段”（关键句四）。这四句话构成了本书的基本架构（四边形的四条边）。“通用智能”“世界知识”“大模型”“知识图谱”则构成了这个架构的四个顶点，是本书内容的四个要素。顶点之间的连线则表示了要素的关系。

我们的序言就围绕这四个要素及它们的关系做一番简单的探讨，并且采用由简到繁、由基础到组合的方式逐步深入讨论。首先，来看“世界知识”，它是关键句二中通用智能的“基础”，也是关键句三中大模型的处理对象。这个词在日常语言中不常被使用。我查阅了相关论文，虽然有一些探讨这个词的文献，但却找不到一个简单明了的定义，甚至还有论文提到“真实世界知识”（FEFahlman，1979），难道还有虚拟世界知识？也许有（神话故事）。但根据本书作者前言的关键句三，考虑到大模型是通过训练海量语言数据（包括多模态语言数据）生成的，因此大体上可以推出结论：“世界知识是可以由大模型生成知识的所有多模态语料。”

在探讨“通用智能”之前，我们先审视省去“通用”二字的“智能”。本书虽然以“知识增强”为主要目标，但对智能本质的探索依然是核心维度。细心的读者可能会注意到，第3章提到了思维链这种抽象概念。思维链作为一种思维模式，被引入来改进对大模型的提示，使之更像一位善于引导的老师对学生的提示。令人感觉这已经不是在谈论知识增强，而像在谈论智能增强，称它为“大模型智能增强”未尝不可。但这与知识增强并不矛盾。知识和智能的关系历来是哲学家、心理学家、教育学家等研究和讨论的课题。不少人研究过这个问题。为此，我查阅了相关文献，果然发现知识和智能的关系历来引起学者们的关注和讨论。例如Cattell在二十世纪七八十年代提出要区分流动的智能和结晶的智能，其中前者是进行中的智能，是进程，而后者是固化的智能，就是知识。1996年，Ackermann直接将专家的领域知识定义为专家的智能。这个说法将智能定义简化为流动的知识。

特定的知识可能对应特定的智能，例如隐知识（Tacit Knowledge）是由迈克尔·波兰尼在1958年提出的概念，指的是那些难以用语言表达或形式化的知识。这种知识通常与抽象概念涉及的具体事物和场景有关，涉及多个维度的因素，难以用几句严格的话语来定义。对于这种知识，也有人找到了它的对应智能概念。Sternberg在1988年提出隐知识对应的智能为实用智能（Practical Intelligence），意思大概是不必苛求它的理论定义，有用就行。例如，人们常说外交官在会见外宾时行为举止要“得体”。至于怎么做才算得体，这就是隐知识，难以用简短的语言描述。所以，试图截然区分智能和知识并非易事。

但我还是认为不能把知识和智能等同起来。什么是智能？智能就是人们遇到新的难题时善于利用已有的知识，可能还要结合新的思路去解决它。不论是成功还是失败，其结果都构成经验，从而转化为新的知识而非单纯的智能。

我认为第3章的思维链等内容对大模型的智能化非常重要。深入开展知识增强大模型的研究必然会引导学者们进一步考虑智能增强大模型，这是我们可以预见的。除了思维链技术，本书内容与“智能增强”有关的部分至少还有两处。一处是第6章提到的大模型推理，以逻辑推导为主要思想的经典人工智能思想在起作用。对本书的关键角色——知识图谱——的利用非常重要。另一处是第10章提到的知识智能体，这方面的研究在二十世纪八九十年代兴起，始终没有被人工智能专家忘记，对于智能增强大模型还是很有用的。大模型技术崛起以后，“大模型增强多智能体”成了提高其技术水平的重要思路，研究很多，因此本书无须重复。

现在我们回到通用智能的话题。究竟什么是通用智能（GI）？对于它，原来我也只是有一个模糊的概念。这次为了写序，我特意系统查阅了文献，结果发现对此还有五花八门的定义。有关工作大致上可分为两大类，其中一类是以实验心理学为基础的，可类比为小学生扩大版的智商测验，适用于所有人，例如C.Spearman（1904年）的Artificial Brain包含了详细的实验记录。后来又被推广到所有的哺乳类动物，认为哺乳类动物（含啮齿类和灵长类）也是有智能且其智能是可测的。我找到专门讲这个问题的一本书，就是Burkart、JudithM等人（2017年）的综述。另一类是由BGoertzel和CPennachin担任主编、DMGabbay和JSiegmann担任执行主编的专著《人工通用智能》（ArtificialGeneralIntelligence，AGI）开创的（2007年）。该书的主编们还宣称AGI这个术语是该书的创举，指出起这个名字是为了刻画人工通用智能是通用智能的“工程化”。书中共收录了12篇论文，其中有理论探讨（AGI定义），也有实践应用（AGI编程）。但是在我看来，书中所收录论文的内容在当时还处于摸索阶段，尽管有关的观点可供AGI研究者参考，但其中实际有效的实践方案仍显不足。不过，这个学科领域发展很快，现在已经有了专门的杂志（Journal of Artificial General Intelligence）。AGI的名字虽然冠以“人工”前缀，却正好契合了本书的主题，因为知识增强大模型生成的通用智能肯定是属于“人工”范畴的。本书的出版真正为AGI实践提供了切实有效的入门指南。其中的“智能增强”部分还可以认为是AGI理论的初步体现。我相信本书的第二版、第三版……将从知识工程与AGI结合的角度进一步体现知识增强大模型与AGI研究的同步发展和完善。

陆汝钤

2025年2月8日