模式识别与智能计算―MATLAB技术实现

本书广泛吸取统计学、神经网络、数据挖掘、机器学习、人工智能、群智能计算等学科的先进思想和理论，将其应用到模式识别领域中；以一种新的体系，系统、全面地介绍模式识别的理论、方法及应用。全书分为14章，内容包括：模式识别概述，特征的选择与优化，模式相似性测度，基于概率统计的贝叶斯分类器设计，判别函数分类器设计，神经网络分类器设计（BP神经网络、径向基函数神经网络、自组织竞争神经网络、概率神经网络、对向传播神经网络、反馈型神经网络），决策树分类器设计，粗糙集分类器设计，聚类分析，模糊聚类分析，禁忌搜索算法聚类分析，遗传算法聚类分析,蚁群算法聚类分析,粒子群算法聚类分析。 本书内容新颖，实用性强，理论与实际应用密切结合，以手写数字识别为应用实例，介绍理论运用于实践的实现步骤及相应的Matlab代码，为广大研究工作者和工程技术人员对相关理论的应用提供借鉴。

杨淑莹 博士学位，天津理工大学计算机科学与工程学院教授，硕士研究生导师，天津市“教学名师”，中国图像图形学学会第五届理事会学术委员会委员。

多年来在图像、语音、时间序列等方面进行模式识别相关工作的深入研究，涉及模式识别，数字图像处理、信号与信息处理、智能计算等领域。承担并完成*家级、市级自然科学基金项目多项，获得天津市科学技术进步奖2项，发表论文50多篇；撰写专著6部。现任*家级精品课、*家级精品资源共享课负责人；主编教材获得*家级“十一五”规划教材和*家级“十二五”规划教材；获得市级教学成果奖3项。

目录

第1章模式识别概述

11模式识别的基本概念

12统计模式识别

121统计模式识别研究的主要问题

122统计模式识别方法简介

13分类分析

131分类器设计

132分类器的选择

133训练与学习

14聚类分析

141聚类的设计

142基于试探法的聚类设计

143基于群体智能优化算法的聚类设计

15模式识别的应用

本章小结

习题1

第2章特征的选择与优化

21特征空间优化设计问题

22样本特征库初步分析

23样品筛选处理

24特征筛选处理

25特征评估

26基于主成分分析的特征提取

27特征空间描述与分析

271特征空间描述

272特征空间分布分析

28手写数字特征提取与分析

281手写数字特征提取

282手写数字特征空间分布分析

本章小结

习题2

第3章模式相似性测度

31模式相似性测度的基本概念

32距离测度分类法

321模板匹配法

322基于PCA的模板匹配法

323马氏距离分类

本章小结

习题3

第4章基于概率统计的贝叶斯分类器设计

41贝叶斯决策的基本概念

411贝叶斯决策所讨论的问题

412贝叶斯公式

42基于最小错误率的贝叶斯决策

43基于最小风险的贝叶斯决策

44贝叶斯决策比较

45基于最小错误率的贝叶斯分类实现

46基于最小风险的贝叶斯分类实现

本章小结

习题4

第5章判别函数分类器设计

51判别函数的基本概念

52线性判别函数

53线性判别函数的实现

54感知器算法

55Fisher分类

56基于核的Fisher分类

57支持向量机

本章小结

习题5

第6章神经网络分类器设计

61人工神经网络的基本原理

611人工神经元

612人工神经网络模型

613神经网络的学习过程

614人工神经网络在模式识别问题上的优势

62BP神经网络

621BP神经网络的基本概念

622BP神经网络分类器设计

63径向基函数神经网络(RBF)

631径向基函数神经网络的基本概念

632径向基函数神经网络分类器设计

64自组织竞争神经网络

641自组织竞争神经网络的基本概念

642自组织竞争神经网络分类器设计

65概率神经网络(PNN)

651概率神经网络的基本概念

652概率神经网络分类器设计

66对向传播神经网络(CPN)

661对向传播神经网络的基本概念

662对向传播神经网络分类器设计

67反馈型神经网络(Hopfield)

671Hopfield网络的基本概念

672Hopfield神经网络分类器设计

本章小结

习题6

第7章决策树分类器设计

71决策树的基本概念

72决策树分类器设计

本章小结

习题7

第8章粗糙集分类器设计

81粗糙集理论的基本概念

82粗糙集在模式识别中的应用

83粗糙集分类器设计

本章小结

习题8

第9章聚类分析

91聚类的设计

92基于试探的未知类别聚类算法

921最临近规则的试探法

922最大最小距离算法

93层次聚类算法

931最短距离法

932重心法

94动态聚类算法

941K均值算法

942迭代自组织的数据分析算法（ISODATA）

95模拟退火聚类算法

951模拟退火的基本概念

952基于模拟退火思想的改进K均值聚类算法

本章小结

习题9

第10章模糊聚类分析

101模糊集的基本概念

10２模糊集运算

10２1模糊子集运算

10２2模糊集运算性质

10３模糊关系

104模糊集在模式识别中的应用

105基于模糊的聚类分析

本章小结

习题10

第11章遗传算法聚类分析

111遗传算法的基本原理

11２遗传算法的构成要素

1121染色体的编码

1122适应度函数

1123遗传算子

113控制参数的选择

11４基于遗传算法的聚类分析

本章小结

习题11

第12章粒子群算法聚类分析

121粒子群算法的基本原理

122基于粒子群算法的聚类分析

本章小结

习题12

第13章Memetic算法仿生计算

131Memetic算法

132Memetic算法仿生计算在聚类分析中的应用

本章小结

习题13

参考文献

前言

模式识别已经成为当代高科技研究的重要领域之一，它已发展成为一门独立的新学科。模式识别技术迅速扩展，已经应用在人工智能、机器人、系统控制、遥感数据分析、生物医学工程、军事目标识别等领域，几乎遍及各个学科领域，在国民经济、国防建设、社会发展的各个方面得到广泛应用，产生了深远的影响。

第3版书以实用性、可操作性和实践性为宗旨，精简内容，去掉没有实践性代码的理论内容，书中所述理论知识均提供实现步骤、示范性代码及验证实例的效果图示，以达到理论与实践相结合的目的。为使读者更好地理解相关知识，叙述内容更加详实，补充了概率神经网络知识等新内容。同时，将群体智能的先进思想扩充到模式识别体系中，以一种新的体系，系统、全面地介绍了模式识别的理论、方法及应用。全书分为三部分（共14章）。第一部分基础篇，内容包括模式识别的基本概念，特征的选择与提取，模式相似性测度。这一部分介绍模式识别的基本概念和基本方法。第二部分分类器设计篇，内容包括：贝叶斯(Bayes)分类器设计，判别函数设计，神经网络分类器设计，决策树分类器设计，粗糙集分类器设计。这一部分利用手写数字分类识别的具体实例把模式识别方法结合起来，为广大研究工作者和工程技术人员对相关理论的应用起到借鉴作用。第三部分聚类分析，内容包括基本聚类算法，模拟退火聚类分析，模糊聚类分析，禁忌搜索算法聚类分析，遗传算法聚类分析，群体智能聚类算法（蚁群算法聚类分析,粒子算法群聚类分析）。这一部分采用一幅含有需要聚类分析的图像形象生动地说明各种聚类算法。

国内外论述模式识别技术的书籍不少，但由于这一领域涉及深奥的数学理论，往往使实际工作者感到困难，而大部分书是罗列模式识别的各种算法，见不到算法的实际效果和各种算法对比的结果，而这正是学习者和实际工作者所需要了解和掌握的内容。目前还确实缺少一本关于模式识别技术在实际应用方面具有系统性、可比性和实用性的参考书。

本书特点如下：

1 选用新技术。除了介绍许多重要经典的内容以外，书中还包括了最近十几年来才刚刚发展起来的并被实践证明有用的新技术、新理论，比如支持向量机、BP神经网络、RBF神经网络、PNN神经网络、CPN神经网络、SORNN神经网络、决策树、粗糙集理论、模糊集理论、模拟退火、遗传算法、蚁群算法、 粒子群算法等，并将这些新技术应用于模式识别当中，提供这些新技术的实现方法和源代码。

2 实用性强。针对实例介绍理论和技术，使理论和实践相结合，避免了空洞的理论说教。书中实例取材于手写数字模式识别，对于数字识别属于多类问题，在实际应用中具有广泛的代表性，读者对程序稍加改进，就可以应用到不同的场合，如文字识别、字符识别、图形识别等。

3 编排合理，符合认知规律。针对每一种模式识别技术，书中分为理论基础、实现步骤、编程代码三部分。在掌握了基本理论之后，按照实现步骤的指导，可以了解算法的实现思路和方法，再进一步体会短小精悍的核心代码，学习者可以很快掌握模式识别技术，经过应用本书提供的实例程序，立刻会见到算法的实际效果。书中所有算法都用Matlab编程实现，便于读者学习和应用。

本书内容基本涵盖了目前“模式识别”重要的理论和方法，但并没有简单地将各种理论方法堆砌起来，而是将作者自身的研究成果和实践经验传授给读者，在介绍各种理论和方法时，将不同算法应用于实际中，内容包括需要应用模式识别技术解决的问题，模式识别理论的讲解和推理，将理论转化为编程的步骤，计算机能够运行的源代码，计算机运行模式识别算法程序后的效果，以及不同算法应用于同一个问题的效果对比。使读者面对如此丰富的理论和方法不至于无所适从，而是有所学就会有所用。

由于至今还没有统一的、有效的可应用于所有的模式识别的理论，当前的一种普遍看法是，不存在对所有的模式识别问题都适用的单一模型和解决识别问题的单一技术，我们所要做的是把模式识别方法与具体问题结合起来，把模式识别与统计学、神经网络、数据挖掘、机器学习、人工智能、群智能计算等学科的先进思想和理论结合起来，为读者提供一个多种理论的测试平台，并在此基础上，深入掌握各种理论的效能和应用的可能性，互相取长补短，开创模式识别应用的新局面。

本书可作为高等院校计算机工程、信息工程、生物医学工程、智能机器人学、工业自动化、模式识别等学科研究生、本科生的教材或教学参考书，也可供有关工程技术人员参考。

参加本书编写的还有祁稳杰、申婷婷、叶诚、谷林、陈品、郭俊、姜娇娇、祁家家、杨作寿、马振洋、邓飞、陶先贵等，他们在作者指导下的研究工作中付出了辛苦的劳动，取得了有益的研究成果，正是在他们的努力下本书得以顺利完成，在此表示衷心的感谢。同时，对张桦教授、徐伯夏研究员、李兰友教授给予的帮助和支持表示衷心的感谢。本书的出版得到天津理工大学出版基金的资助。由于编者业务水平和实践经验有限，书中缺点与错误在所难免，欢迎读者予以指正！