人工神经网络导论

前 言

国内已经有一些关于人工神经网络的专著和教材，但由于该学科是一门迅速发展的新兴学科，科研与教学两方面的积累还不够，所以，要找一本既循序渐进、适合初学者，又有相当深度、能反映国际前沿动态的书，还是十分困难的。有鉴于此，作者在多年教学的基础上，吸收国内外最新研究成果，并结合自己的研究和教学实践编写成本书，希望它能够对从事该学科学习与研究的人有所帮助。

作者从事人工神经网络教学与研究多年，深知该学科研究与教学的艰难。究其原因，不外乎两方面：一方面是由于人工神经网络是一门涉及面宽、综合性强的学科，涉及到数学、计算机、思维科学、神经生理学、心理学、模式识别、混沌动力学等众多学科；另一方面是由于它还处于迅速发展之中，新思想、新理论、新方法不断涌现，每月都有大批研究成果发表，不断充实着它的内容，尚未形成完整、成熟的理论体系。鉴于这种情况，本书在材料取舍、内容组织和叙述行文等方面力求做到：

系统性：系统地介绍人工神经网络的基本思想、理论和方法。

新颖性：适当介绍国内外的最新研究成果，使读者能掌握当前提出的新理论、新方法，跟踪各研究领域的发展动态。

实用性：在理论探讨的同时，注意理论的应用，尤其对模式识别方面的应用给予了足够的重视。作为硕士研究生教材使用时，要求学生对重要网络能用MATLAB语言模拟实现。经验表明，这种办法能使学生迅速而牢固地掌握本学科的基本内容。

层次性：为了适应不同要求读者的需要，本书内容分成三级。凡目录中不打星号的章节为第一级，属于本学科最基本、也是必须掌握的内容，适合于初学者。考虑到各学校研究生课程教学时数有限，控制这部分内容在40学时可以授完。凡目录中打单星号的章节为第二级，适合于以人工神经网络应用为目的的读者。凡目录中打双星号的章节为第三级，适合于以人工神经网络理论研究为目的的读者。

可读性：由于人工神经网络涉及面甚宽，学习起来有一定难度，本书首先对有关预备性知识进行了简要介绍，作为后继学习内容必不可少的铺垫；在内容安排上努力做到由浅入深、前后呼应；在文字表达上力求通俗易懂，对抽象概念与原理，只要有可能，尽量用实例给以说明。

本书可作为硕士研究生人工神经网络的教科书，也可作为对人工神经网络感兴趣的科技人员的参考书。

全书共分10章。第1章是引论，从智能与思维科学、人工智能的角度，对人工神经网络进行了概述。第2章是学习人工神经网络应该具备的一些基础知识，包括脑神经系统的构成、脑神经细胞工作概况、人工神经网络的构思、动力系统稳定性以及混沌理论。第3章~第5章介绍人工神经网络的最基本知识。其中第3章为神经元模型，包括神经元的通用功能模型、简单线性神经元、位势神经元、逻辑神经元、势态神经元以及其他神经元模型。第4章介绍网络中人工神经元的联接方式，包括分层神经网络的一般结构和联接矩阵图、神经元网络的多层组织。第5章介绍人工神经网络的训练与学习，包括乘积学习规则、关联学习、线性元网络的差值规则训练法、准线性元网的差值规则以及随机训练。第6章~第9章叙述四大类网络。第6章为前馈网络，包括感知器、多层感知器和径向基函数网络前馈网络与其他模式分类器。第7章为动态网络，包括延时网络、双向联想存储网络、Hopfield网、递归网络以及Bolzmann机。第8章叙述竞争网络，包括汉明网、自组织特征映射、自适应谐振网（ART1）以及自适应谐振网（ART2）。第9章叙述模糊网络，包括模糊自适应谐振网（Fuzzy ART）、模糊极小—极大网、一般模糊极小—极大（GFMM）网络、模糊格神经网络（FLNN）和递归自组织模糊推理网络（RSONFIN）。第10章叙述了人工神经网络的统计学习理论，包括学习过程一致性理论、学习过程收敛率的界限、控制学习机泛化性能的理论、构造性学习算法的理论、结论。

2000级硕士研究生马建国、2001级研究生陈志刚为本书绘制和处理了大部分图形图像，宋胜峰、段力同志为书稿格式进行了认真的整理，刘艺、尹迪同志为本书的出版进行了大量的工作，在此表示衷心感谢。

限于作者水平，书中漏误之处恐不在少数，诚请读者批评指正。

作 者

2004年8月

目 录
前言
1　引论 1
1.1 智能与思维科学 1
1.1.1 智能 1
1.1.2 思维科学 2
1.1.3 思维的类型 3
1.2 人工智能 4
1.2.1 人工智能的概念 4
1.2.2 人工智能的发展简史 5
1.2.3 人工智能的研究目标 6
1.2.4 人工智能研究的基本内容 6
1.2.5 人工智能的研究途径 7
1.2.6 人工智能的研究领域 9
1.3 人工神经网络概述 11
1.3.1 人工神经网络研究简史 11
1.3.2 人工神经网络研究基本内容 13
1.3.3 人工神经网络分类 14
2　基础知识 15
2.1 人脑神经系统的构成 15
2.1.1 小脑 17
2.1.2 间脑 18
2.1.3 脑干 19
2.1.4 大脑 20
2.2 人脑神经细胞工作概况 29
2.2.1 神经细胞的基本结构 30
2.2.2 信号在轴突内的传递 33
2.3 人工神经网络的构思 34
*2.4 系统的稳定性 36
2.4.1　动力系统 36
2.4.2　自治系统与非自治系统 37
2.4.3　奇点与常点、稳定性 37
2.4.4　奇点的稳定与渐近稳定 38
2.4.5　极限环的稳定性 38
2.4.6　一般运动稳定性概念（Lyapunov稳定性） 38
2.4.7　稳定性的定性理论 39
2.4.8　系统轨道稳定性 39
2.4.9　结构稳定性 40
2.4.10　稳定性在神经网络设计中的重要性 42
**2.5 混沌与神经网络 42
2.5.1 动力学系统 42
2.5.2　稳态行为与极限集 43
2.5.3　庞加莱映射 51
2.5.4　极限集的稳定性 55
2.5.5　维数 61
3　神经元模型 67
3.1 神经元的通用功能模型 67
3.1.1 输入区 67
3.1.2 处理区 68
3.1.3　输出区 69
3.2 简单线性神经元 70
3.3 位势神经元 71
3.4 逻辑神经元 73
3.4.1 功能函数用逻辑函数表示 73
3.4.2 功能函数用表格形式表示 73
3.4.3 逻辑函数拓广到连续变量 74
3.5 势态神经元 74
3.6 其他神经元 75
3.6.1 G神经元模型 75
3.6.2 RM元 76
4 联接方式 77
4.1 分层神经元网的一般结构 77
4.2 联接矩阵图 78
4.3 神经元网络的多层组织 79
5 训练和学习 81
5.1　乘积学习规则 81
5.1.1　给定一个训练样本对时权矩阵的设计 82
5.1.2　给定多个训练样本对时权矩阵的设计 82
5.2　关联学习 83
5.2.1　学习规则与公式 83
5.2.2　与乘积学习规则的区别 84
5.2.3　局限性与改进 84
5.3　线性元网络的差值规则训练法 85
5.3.1　乘积规则的缺陷 85
5.3.2　基本差值规则（用于单层线性网络） 85
5.3.3　基本差值训练算法的收敛性分析 86
5.4 准线性元网络的差值规则 87
5.4.1　准线性神经元 87
5.4.2　多层准线性元网络（多层感知器，MLP）的反向传递算法（BP） 88
5.5 随机训练 88
5.5.1　差值训练算法缺点 88
5.5.2　逃离局部最小点的策略 89
5.5.3　神经网络的随机训练法 89
5.5.4　随机训练算法的具体实施方案 91
6 前馈网络 93
6.1 感知器 93
6.1.1　感知器模型 93
6.1.2　用来进行模式识别 95
6.1.3　用来实现逻辑函数 95
6.1.4　异或（XOR）问题 96
6.2 多层感知器（MLP） 97
6.2.1 多层感知器的功能 97
6.2.2 多层感知器的学习算法（反向传递算法） 98
6.2.3 多层感知器存在的问题与局限性 104
6.3 径向基函数（RBF）网络 107
6.3.1 RBF的基本功能 108
6.3.2 RBF网的学习算法 109
6.3.3 RBF网的扩展 110
6.3.4 RBF网的学习复杂度 111
6.4 前馈网络与其他模式分类器 111
6.4.1　高斯分类器 111
6.4.2　混合高斯法与窗函数法 112
6.4.3　区分函数分类器 112
6.4.4　距离分类器 112
7 动态网络 114
7.1 延时网络（TDNN） 114
7.2 双向联想存储 116
7.2.1 一些预备知识 116
7.2.2 双向联想存储器（BAM） 117
7.3 Hopfield网 121
7.4 递归网络 125
7.4.1 神经元方程 125
7.4.2 学习算法 126
7.4.3 例子 128
7.5 Bolzmann机 129
7.5.1 问题的提出 130
7.5.2 自联想Bolzmann机 130
7.5.3 异联想Bolzmann机 136
7.5.4 例子 137
8　竞争网络 139
8.1 汉明网 139
8.1.1 汉明网的拓扑结构 139
8.1.2 权矩阵的计算（存储） 140
8.1.3 神经元功能函数 141
8.1.4 网络的运行 142
8.1.5 Hamming网的优越性 142
8.1.6 实现独活型竞争（选极大）的其他网网络结构 142
8.2 自组织特征映射 142
8.2.1 自组织特征映射的思想来源 143
8.2.2 自组织特征映射的网络模型 144
8.2.3 仿真实例 147
8.2.4 几点注意事项 148
8.2.5 关于SOFM的几点评论 148
8.3 适应谐振网——ART1 148
8.3.1 Grossberg及其自适应谐振网理论 148
8.3.2 ART1拓扑结构 149
8.3.3 ART1的运行（无师学习算法） 154
8.3.4 运行实例 155
8.3.5 ART1的优缺点 157
8.4 自适应谐振网-ART2 158
8.4.1　ART2的拓扑结构 158
8.4.2 F1层短期记忆方程 159
8.4.3 F2层短期记忆方程 160
8.4.4 重置方程 160
8.4.5 学习方程 161
8.4.6 权初值的选取 161
8.4.7 对参数c，d的约束 161
8.4.8 ART2的学习算法 162
8.4.9 ART2的特点 164
8.4.10 仿真实例 165
8.4.11 ART2的另外两种结构 166
8.4.12 ART2的缺点 166
9 模糊自适应网 167
9.1 模糊自适应谐振网（Fuzzy ART） 167
9.1.1 基本思想 167
9.1.2 符号与术语 169
9.1.3 模糊自适应谐振算法 169
9.1.4 算法说明 171
9.1.5 算法的几何解释 172
9.1.6 例子 174
9.1.7 模糊自适应谐振网的缺点 174
9.2 模糊极小—极大网 175
9.2.1 FMM网的输入空间 175
9.2.2 超盒、模糊集与隶属函数 176
9.2.3 拓扑结构与神经元 177
9.2.4 网络的运行 178
9.2.5 网络的有师训练算法 179
9.2.6 例子 182
9.2.7 总结 182
9.3 一般模糊极小—极大（GFMM）网 183
9.3.1 拓扑结构 183
9.3.2 超盒模糊集的隶属函数 183
9.3.3 学习算法 186
9.3.4 网络的运行 187
9.3.5 模拟例子 188
**9.4 模糊格神经网络（FLNN） 188
9.4.1 模糊格理论基础 188
9.4.2 模糊格神经网络 193
9.4.3 VL中包含测度的定义 198
9.4.4 实验结果 200
*9.5 递归自组织模糊推理网络（RSONFIN） 202
9.5.1 基本思想 202
9.5.2 RSONFIN的模型 203
9.5.3 RSONFIN的结构学习 206
9.5.4 参数学习 210
9.5.5 例子 213
**10 统计学习理论 215
10.1 学习理论的背景 215
10.1.1 预报函数估计模型 216
10.1.2 风险极小化问题准则 216
10.1.3 三种主要的学习问题 216
10.1.4 经验函数极小化推导准则 217
10.1.5 ERM与经典方法 217
10.1.6 学习理论的四部分 218
10.2 学习过程一致性理论 219
10.2.1 学习理论的基本定理 219
10.2.2 一致收敛的充要条件 219
10.2.3 学习理论中的三个里程碑 221
10.3 学习过程收敛率的界限 222
10.3.1 增长函数的结构 222
10.3.2 VC维数的等价定义 223
10.3.3 两个重要例子 223
10.3.4 不依赖于分布的学习过程收敛率 224
10.3.5 （依赖分布）构造严格上界 225
10.4 控制学习机泛化性能的理论 225
10.5 构造性学习算法的理论 226
10.5.1 划分超平面法及其推广 227
10.5.2 示性函数的S型逼近与神经网络 227
10.5.3 最优划分超平面 228
10.5.4 支承向量机 231
10.5.5 为什么神经网络与支承向量机能够泛化 233
10.6 结论 234
参考文献 235