最小二乘支持向量机算法及应用研究
简介
本书特色
前言
章节列表
精彩阅读
下载资源
相关图书
本书以统计学习理论为基础，研究了最小二乘支持向量机算法的理论及应用，主要研究了最小二乘支持向量机回归与分类的关系及对多类分类问题的解决方案、该算法的稀疏性策略、在关键词提取问题中的应用以及在特征基因子集选择问题上的应用。具体内容是：①分析了最小二乘支持向量机分类与回归算法，在此基础上证明了回归与分类问题可以相互转换，提出一种以回归方式解决多类分类问题的算法；②针对科技文献的关键词提取问题提出一套完整的处理方案。按照关键词在文章的不同部分出现的次数形成训练样本，采用最小二乘支持向量机回归算法训练学习机，该学习机能够实现对科技文献的关键词提取；③针对最小二乘支持向量机算法中支持向量缺失稀疏性这一缺点，提出了一种基于Renyi熵的回归算法。在相近的回归正确率下，该算法有效地保证了支持向量的稀疏性，提高了运算速度；④针对DNA微阵列数据维数高、样本少的特点，提出了两种特征基因子集选择算法。这两种算法均采用向前选择策略，所处理的基因总数通常较少，选出基因的数目在迭代过程中由算法自适应地确定。采用选出的基因构造的分类器的性能是令人满意的。
Vapnik等人在20世纪60年代就开始研究有限样本情况下的机器学习问题，直到90年代中期，有限样本情况下的机器学习理论研究逐渐成熟起来，形成了一个较完善的理论体系——统计学习理论，它为研究有限样本情况下的统计模式识别和更广泛的机器学习问题建立了一个较好的理论框架。而同时神经网络等较新兴的机器学习方法的研究则遇到了一些重要困难，如如何确定网络结构问题、过学习和欠学习问题、局部极小点问题等。在这种情况下，从更本质上研究机器学习问题的统计学习理论逐步得到重视。1992年到1995年，在统计学习理论的基础上发展出了一种新的模式识别方法——支持向量机。支持向量机凭借其坚实的理论基础和卓越的推广能力成为目前机器学习领域的一个研究热点。支持向量机算法是把寻找两类之间的最优超平面问题转化为求解最大分类间隔问题，而最大间隔问题实际上是一个不等式约束的二次规划问题。对于这个二次规划问题的求解，很多学者提出了许多有效的方法。Suykens等设计的最小二乘支持向量机算法把不等式约束换成等式约束，从而使得支持向量机的求解由二次规划问题转化为一个线性方程组，极大地降低了求解难度。
本书主要以统计学习理论为基础，阐述了最小二乘支持向量机算法的理论及其在分类和回归问题中的应用。各章主要内容如下：第1章简要介绍了最小二乘支持向量机的产生及发展；第2章介绍了统计学习理论的基本内容及用于解决分类问题的支持向量机和用于解决回归问题的支持向量机；第3章首先介绍了最小二乘支持向量机分类和回归算法，在此基础上证明了回归与分类问题可以相互转换，给出了一种以回归方式解决多类分类问题的算法；第4章针对科技文献的关键词提取问题给出了一套完整的处理方案。按照关键词在文章的不同部分出现的次数形成训练样本，采用最小二乘支持向量机回归算法训练学习机。该学习机能够实现对科技文献的关键词提取；第5章针对最小二乘支持向量机算法中支持向量缺失稀疏性这一缺点，给出了一种基于Renyi熵的回归算法。在相近的回归正确率下，该算法有效地保证了支持向量的稀疏性，提高了运算速度；第6章针对DNA微阵列数据维数高、样本少的特点，给出了两种特征基因子集选择算法。这两种算法均采用向前选择策略，所处理的基因总数通常较少，选出基因的数目在迭代过程中由算法自适应地确定。采用选出的基因构造的分类器的性能是令人满意的。
本书内容包括作者多年从事最小二乘支持向量机算法及应用研究的结果，同时也包括作者所在研究小组的一些共同研究成果，并且从国内外文献资料中提取了最主要的理论。本著作受到国家自然科学基金项目（项目编号：61163034）资助。目前国内系统阐述最小二乘支持向量机理论及其在模式识别领域应用方面的书籍还极为少见。本书可作为计算机、信息、电子等相关专业的研究生及相关领域的研究人员的实用读物。
由于作者水平有限且时间仓促，书中难免存在错误和不足之处，敬请专家和广大读者批评指正。
作 者
2011年11月
第1章 绪论 1
第2章 统计学习理论基本知识 5
2.1 统计学习理论的核心内容 5
2.1.1 学习过程一致性的条件 6
2.1.2 VC维 7
2.1.3 推广性的界 8
2.1.4 结构风险最小化 9
2.2 支持向量分类机 11
2.2.1 线性支持向量分类机 11
2.2.2 非线性支持向量分类机 14
2.3 支持向量回归机 17
2.3.1 线性支持向量回归机 17
2.3.2 非线性支持向量回归机 19
2.4 本章小结 21
第3章 基于LS-SVM的回归与分类的转换 22
3.1 基于最小二乘支持向量机的分类与回归算法 23
3.1.1 最小二乘支持向量机分类算法 23
3.1.2 最小二乘支持向量机回归算法 25
3.2 基于最小二乘支持向量机分类的回归算法 27
3.3 基于最小二乘支持向量机回归的分类算法 29
3.3.1 两类分类 29
3.3.2 多类分类 31
3.4 数值实验 32
3.4.1 基于分类的回归 32
3.4.2 基于回归的多类分类 35
3.5 本章小结 39
第4章 基于LS-SVM的科技文献关键词提取 40
4.1 语义内容管理系统中的关键词提取 42
4.2 基于最小二乘支持向量机的关键词提取 43
4.2.1 构造关键词库和形成样本 44
4.2.2 训练学习机 45
4.3 模拟实验 45
4.4 本章小结 48
第5章 基于Renyi熵的迭代LS-SVR算法 50
5.1 最小二乘支持向量机回归算法及增量学习算法 51
5.2 Renyi熵 52
5.3 基于Renyi熵的迭代LS-SVR算法 54
5.4 数值实验 56
5.5 本章小结 61
第6章 基于LS-SVM的基因特征子集选择算法 62
6.1 基于LS-SVR的自适应基因特征子集选择算法 64
6.1.1 自适应迭代基因选择算法 64
6.1.2 数值实验 68
6.2 基于留一交叉确认和LS-SVC的基因选择算法 70
6.2.1 基于留一交叉确认误差的基因选择标准 70
6.2.2 基因选择算法 72
6.2.3 数值实验 75
6.3 本章小结 76
参考文献 78
