前馈神经网络分析与设计

　　在人类几千年的文明发展史中，人们始终在探索人类自身高级智能的奥秘。人们从认知科学、生物学、生物物理和生物化学、医学、数学、信息与计算科学等领域进行广泛的探索和研究。在这个过程中逐步形成了一门具有广泛学科交叉特点的学科——“人工神经网络”（artificial neural network，ANN）。它力图构建“人造”的生物神经细胞（即神经元）和神经网络，在不同程度和不同层次上实现人脑神经系统在信息处理、学习、记忆、知识的存储和检索方面的功能。随着生产力发展水平的提高和实验手段的进步，人们在这个技术领域的各个方面都取得了巨大的进步。但是由于人脑结构和运行机理无比的复杂性，应该说到目前为止，人们对人脑活动的深层次机理和规律的认识还是相当粗浅的。
　　人工神经网络包括神经网络模型结构与神经网络学习算法，是在细胞的水平上模拟脑结构和脑功能的科学。人工神经网络模型结构与人工神经网络学习算法两者相互联系，人工神经网络模型结构是人工神经网络学习算法的前提，而人工神经网络学习算法是人工神经网络模型结构中神经信息运动或演化的过程。人工神经网络的中心目标是，在神经细胞的水平上，模拟生物神经系统的结构特征和生物神经信息的演化规律，构造人工神经网络模型结构，并建立那些在人工神经网络模型结构中有效的人工神经网络学习算法。
　　从20世纪40年代M-P神经元模型的提出开始，人工神经网络的发展过程可谓是一波三折。1965年Minsky和Papert的《感知机》使得人工神经网络的研究停滞了10余年，直到80年代初误差反向传播算法等的提出，人工神经网络的研究才步人恢复期。时至今日，人工神经网络系统研究的重要意义已经得到广泛承认，涉及电子科学与技术、信息与通信工程、计算机科学与技术、电气工程、控制科学与技术等诸多学科，其应用领域包括：建模、时间序列分析、模式识别和控制等，并在不断拓展。可以说人工神经网络作为目前非线性科学和计算智能研究的主要内容之一，已经成为一种解决许多实际问题的必要的技术手段。
　　本书系统地论述了前馈神经网络的主要理论、设计基础及应用实例，旨在使读者了解前馈神经网络的发展背景和研究对象，理解和熟悉它的基本原理和主要应用，掌握它的结构模型和设计应用方法，特别是前馈神经网络的参数学习算法和结构设计方法。为了便于读者理解，书中尽量避免烦琐的数学推导，加强了应用举例，并在内容的选择和编排上注意到读者初次接触新概念的易接受性和思维的逻辑性。在编写过程中，有许多内容取材于最近的国内外文献。各章后都附有较多的参考文献，以便读者查阅。
　　本书第1章为绪论，主要讲述了前馈神经网络结构和学习算法的发展历史和背景，以及编写本书的动机，可作为后续章节的阅读基础。本书包括以下3个部分。
　　（1）第2章～第4章构成了本书的第一部分，主要介绍前馈神经网络的一些经典方法。具体介绍如下：
　　第2章描述感知器神经网络的结构以及学习算法。首先介绍单神经元的结构和表述，其次介绍了感知器神经网络的结构，分别介绍单隐含层和多隐含层感知器神经网络，最后分析感知器神经网络的学习算法：BP算法和BP算法的改进算法。重点介绍感知器神经网络的结构特点和学习算法。
　　第3章详细讲述了RBF神经网络。首先讨论了RBF神经网络的原理，给出了RBF神经网络的结构。其次，基于RBF神经网络结构介绍其学习算法，讨论了采用插值理论的RBF神经网络隐含层神经元中心学习算法。最后，讨论了神经网络隐含层和输出层连接权值的学习算法。
　　第4章详细介绍了模糊神经网络。首先，详细讨论了模糊推理系统，主要对模糊集合、隶属函数和模糊运算进行阐述。其次，基于模糊系统和人工神经网络的理论基础引入模糊神经网络，并对一种典型性的模糊神经网络结构进行了剖析。然后，基于模糊神经网络结构介绍其学习算法，讨论了标准型模糊神经网络通常采用BP算法（FBP）。
　　这三章通过对不同概念的介绍揭示了其共同特点：它们都是前馈神经网络。更为重要的是，它们从各自的角度深入、细致地讨论了学习过程的深层知识——这一特征将在后续章节中进一步探讨。
　　（2）第二部分包括第5章和第6章，讨论了前馈神经网络的两种有效的学习算法——快速下降算法和改进型递归最小二乘算法。
　　第5章介绍一种用于结构动态设计的前馈神经网络学习算法——快速下降算法。快速下降算法主要与参数修改项、学习率、隐含层输出以及当前神经网络输出误差有关，避免了求解导数的过程，减少运算量，提高了人工神经网络的训练速度。
　　第6章基于递归最小二乘算法提出了一种改进型递归最小二乘算法，并且对该算法进行了理论和实验分析。最后将基于递归最小二乘算法的RBF神经网络应用于非线性函数逼近、双螺旋模式分类以及污泥膨胀预测。
　　这两章描述了两种前馈神经网络的两种有效的学习算法——快速下降算法和改进型递归最小二乘算法，这两种学习算法不但适合固定结构的前馈神经网络，而且满足人工神经网络结构动态调整的需要。