基于智能计算的降维技术研究与应用

随着社会信息化的发展，在具体的智能识别过程中需要处理的的数据越来越多地呈现出高维特征，比如图像处理、文本分类、视频检索、计算机视觉、微阵列数据基因选择和基于生物特征的身份识别等。造成这种现象的主要原因在于：在智能识别过程中，只有当样本已经包含了足够多的模式分类信息时，才能得到较好的智能识别效果。然而，如何确定特征中是否已经包含足够多的类别信息本身就是个很难解决的问题。因此为了提高模式识别效果，在通常情况下，人们通过采集尽可能多的特征去体现样本的类别信息，这导致原始样本空间的维数可能达到几千维甚至上万维，而如果在如此高维的原始空间直接使用模式识别方法，那么所得到的智能识别效果将受到较大的影响。这是因为在如此高维的特征中存在着大量冗余的特征，使得特征之间的相关性较强，从而增加了模式分类算法的负担，降低了算法的效率。同时，由于随着样本特征维数的增加，使得对样本的统计特性更加难以估计，从而会影响分类算法的泛化能力，呈现出所谓过学习的现象[1]。因此，在智能识别过程中必须要对高维数据进行相应的预处理，以达到在保持样本信息量的基础上尽可能降低特征的维数，提高模式分类的效果，而特征降维技术就是一种较为有效的数据预处理方法。

目前，特征降维技术作为一种关键的数据预处理技术被广泛地加以研究，并在不同的实际运用领域得到了较为成功的应用，但随着新理论和新技术的不断发展，特别是大量新兴的智能识别应用领域的需求，对特征降维技术提出了更高的要求，使得现有的特征降维技术面临更大的挑战。比如：如何提高基于支持向量机的特征选择方法的泛化能力和鲁棒性；如何更好地实现特征提取技术与模糊聚类技术的有机结合，以提高特征降维方法的鲁棒性；如何提高特征降维方法中的距离度量学习的有效性；如何将特征降维方法中的关键技术和理论运用到支持向量机中，以提高支持向量机的泛化能力和鲁棒性；如何结合张量理论提高特征降维的效果；如何在具有明显不同分布的源域和目标域实现提取技术等。

为此，本书从三个部分对上述问题进行描述和研究：

第一部分由第2章和第3章组成，这一部分分别讨论两种新颖的特征选择方法。具体来说，第2章主要针对势支持向量机P-SVM存在的泛化能力不强的问题，通过引入Fisher判别分析方法中的类内散度矩阵，重新构造P-SVM的目标函数，从而形成具有较强泛化能力的广义的势支持特征选择方法GPSFM；第3章针对经典的模糊聚类方法FCM存在的对噪音数据和噪音特征敏感的问题，采用对样本点和样本特征同时加权的方式，重新构造FCM方法的目标函数，从而得到具有特征排序功能的鲁棒性模糊聚类方法FCA。

第二部分由第4章至第7章组成，这一部分分别讨论四种新颖的特征提取方法。具体来说，第4章针对线性拉普拉斯判别准则LLD方法存在的小样本问题以及如何确定原始样本空间类型的问题，通过引入语境距离度量并结合最大间距判别准则的基本原理，提出一种基于语境距离度量的拉普拉斯最大间距判别准则CLMMC；第5章针对最大散度差判别准则的效果很大程度上依赖参数的选取，并且该准则的划分属于硬划分，不能客观地反映现实世界的问题，通过引入模糊技术，重新构造一种新的模糊最大散度差判别准则，并根据这一新准则提出一种模糊聚类方法FMSDC；第6章通过FMSDC方法并结合张量理论，提出一种矩阵模式的模糊最大间距判别准则MFMMC，并在此基础上形成具有模糊聚类功能的双向二维无监督特征提取方法(2D)2UFFCA；第7章主要讨论了迁移学习法，通过引入局部加权均值的方法和理论到MMD中，提出投影最大局部加权均值差异PMLWD度量，PMLWD通过累积不同区域局部分块之间的局部分布差异来反映区域间的全局分布差异。在PMLWD的基础上，提出一种能实现迁移学习任务并具有一定局部学习能力的特征提取方法：最大局部加权均值差异嵌入MWME。同时，在PMLWD的基础上，结合传统的学习理论，提出基于局部加权均值的领域适应学习框架LDAF，在LDAF框架下衍生出两种领域适应学习方法：LDAF_MLC和 LDAF_SVM。

第三部分由第8章和第9章组成，这一部分主要研究和讨论两种基于类内散度的支持向量机的方法。具体来说，第8章针对最小类内散度支持向量机MCSVMs面临的小样本问题，通过引入张量理论，重新构造MCSVMs支持向量机的目标函数，从而提出基于矩阵模式的最小类内散度支持向量机MCSVMsmatrix及相应的非线性核方法Ker-MCSVMsmatrix。MCSVMsmatrix方法不但克服了MCSVMs方法所面临的小样本问题，同时降低了算法本身具有的时间和空间复杂度。而且Ker-MCSVMsmatrix方法首次实现了矩阵模式的非线性化；第9章针对经典SVM方法不能充分地反映样本内在几何结构及所蕴含的判别信息的问题，通过同时引入线性判别准则中的类内散度和局部保持投影LPP的基本原理，重新构造SVM的目标函数，提出基于全局和局部保持的半监督支持向量机GLSSVM及非线性核方法Ker-GLSSVM。

本书由盐城工学院皋军独立完成。本书研究工作得到国家自然科学基金 （NO：61375001，61272210）、江苏省自然科学基金（NO：BK2011417）、江苏省计算机信息处理技术重点实验室开放课题（NO：KJS1126）的共同资助。

由于时间仓促且作者水平有限，书中不当之处在所难免，敬请读者批评指正。

皋军（盐城工学院）

2013年7月

前言
第1章 绪论 1
1.1 课题研究背景 1
1.1.1 特征选择技术 2
1.1.2 特征提取技术 3
1.2 特征降维技术面临的几个挑战 4
1.3 课题的主要研究内容和组织安排 6
第2章 广义的势支持特征选择方法 9
2.1 引言 9
2.2 势支持向量机P-SVM 10
2.3 广义的势支持特征选择方法：GPSFM 13
2.3.1 类内离散度 13
2.3.2 广义的势支持特征选择方法 14
2.4 实验研究 18
2.4.1 真实数据 19
2.4.2 基因数据 26
2.4.3 人脸图像数据 28
2.5 本章小结 29
第3章 具有特征排序功能的鲁棒性模糊聚类 30
3.1 引言 30
3.2 模糊C均值聚类方法 31
3.3 具有特征排序功能的模糊聚类方法 32
3.3.1 具有特征排序功能的FCA方法 32
3.3.2 基于几何意义的权参数的选取 37
3.4 实验研究 38
3.4.1 加噪的IRIS数据 38
3.4.2 加噪纹理图像数据集 42
3.4.3 真实数据集 44
3.5 本章小结 45
第4章 基于语境距离度量的拉普拉斯最大间距判别准则 46
4.1 引言 46
4.2 线性拉普拉斯判别准则 48
4.3 基于语境距离度量的拉普拉斯最大间距判别准则 50
4.3.1 CLMMC准则 50
4.3.2 CLMMC准则的QR分解法 53
4.4 语境距离度量的设定 54
4.5 实验研究 57
4.5.1 低维非线性流形空间距离度量学习 57
4.5.2 CLMMC与CL-LLD内在联系 58
4.5.3 小样本问题 60
4.5.4 高维非线性流形空间小样本问题和距离度量学习 62
4.6 本章小结 64
第5章 基于模糊最大散度差判别准则的聚类方法 65
5.1 引言 65
5.2 最大散度差判别准则 65
5.3 基于模糊最大散度差判别准则的聚类方法 66
5.3.1 模糊最大散度差判别准则 66
5.3.2 设定模糊最大散度判别准则中的参数 69
5.4 实验研究 71
5.4.1 基本的聚类功能 72
5.4.2 大数据聚类鲁棒性 74
5.4.3 特征提取 75
5.5 本章小结 76
第6章 具有模糊聚类功能的双向二维无监督特征提取方法 77
6.1 引言 77
6.2 相关工作 78
6.2.1 最大间距判别分析方法：MMC 78
6.2.2 双向二维线性判别分析：(2D)2LDA 79
6.3 具有模糊聚类功能的双向二维无监督特征 提取方法：(2D)2UFFCA 79
6.3.1 矩阵模式的模糊最大间距判别准则：MFMMC 80
6.3.2 实现矩阵模式数据的双向特征提取 81
6.3.3 实现矩阵模式数据的模糊聚类 83
6.3.4 确定数据集 的模糊聚类中心 85
6.4 实验 87
6.4.1 测试基本的聚类能力 87
6.4.2 测试大数据集的聚类效果 90
6.4.3 测试特征提取能力 92
6.5 本章小结 94
第7章 基于局部加权均值的领域适应学习框架 96
7.1 引言 96
7.2 相关工作 100
7.2.1 最大均值差异：MMD 100
7.2.2 最大均值差异嵌入：MMDE 100
7.3 投影最大局部加权均值差异：PMLWD 102
7.4 最大局部加权均值差异嵌入MWME 104
7.4.1 线性最大局部加权均值嵌入：LMWME 104
7.4.2 核化的最大局部加权均值嵌入方法：Ker-MWME 109
7.5 基于局部加权均值的领域学习框架：LDAF 109
7.5.1 LDAF_MLC 110
7.5.2 LDAF_SVM 113
7.5.3 算法时间复杂度分析 116
7.6 实验 116
7.6.1 测试人造数据集 117
7.6.2 测试高维文本数据集 122
7.6.3 测试人脸数据集 127
7.7 本章小结 130
第8章 基于矩阵模式的最小类内散度支持向量机 132
8.1 引言 132
8.2 最小类内散度支持向量机 133
8.3 基于矩阵模式的最小类内散度支持向量机 135
8.3.1 线性的矩阵模式最小类内散度支持向量机 135
8.3.2 非线性的基于矩阵模式的最小类内散度支持向量机 139
8.4 实验研究 141
8.4.1 矢量数据的矩阵模式分类 142
8.4.2 Ker-MCSVMsmatrix方法中使用 的合理性 143
8.4.3 矩阵模式数据的分类 144
8.5 本章小结 146
第9章 基于全局和局部保持的半监督支持向量机 147
9.1 引言 147
9.2 流形正则化框架 148
9.3 基于全局和局部保持的半监督支持向量机 150
9.3.1 线性的GLSSVMs方法 150
9.3.2 非线性的Ker-GLSSVMs方法 152
9.4 实验研究 155
9.4.1 人造团状数据 155
9.4.2 人造流形结构数据 156
9.4.3 UCI真实数据 159
9.4.4 图像数据 160
9.5 本章小结 162
结束语 163
参考文献 166