有效和最优判别特征的提取和维数

有效和最优判别特征的提取和维数

一、有效最佳鉴别特征的抽取与维数问题(论文文献综述)

孙为军[1](2020)在《基于图约束的模型学习研究》文中研究说明近年来,机器学习理论和应用正以惊人的速度发展并改善着人们的生活,目前机器学习算法已经广泛应用于民生、医疗、安防以及国防等领域,例如基于人脸识别的门禁和安防系统、基于指纹识别的支付系统、图像检索以及谷歌在研的无人驾驶汽车等等。随着计算机硬件、网络以及相关数据采集设备的快速发展,给人们获取丰富的数据资源带来了极大的便利,大量的数据含有丰富的信息,原则上应有助于机器学习学习到更合理的模型,但是丰富的数据也带来了数据复杂性的提高、信息过量和数据冗余等问题,甚至部分数据由于不规范的采集方式或恶劣的采集环境会出现大量的噪声,这些数据尽管信息丰富但知识匮乏,直接对其进行分析不仅效率低下,而且由于冗余特征和噪声数据的存在而难以学习到一个鲁棒的模型。如何针对不同的任务,从中提取出最有价值的信息进行分析成为了机器学习和模式识别领域的重点和难点。从数据中抽取有用信息的过程我们称之为特征抽取,一种有效的特征抽取方法不仅能够极大地降低数据的维数从而提高算法效率,而且有助于针对不同的任务学习到更鲁棒的模型从而提高模型的泛化能力,因此特征抽取算法的研究具有重要的意义。目前,基于图约束的模型广泛应用在数据的模式抽取与分析中,但是,由于处理数据可能来自于单视角或者多视角,因此数据的复杂性给数据分析带来了新的挑战。尽管这些方法在数据分析上取得了不错的效果,但是他们都含有一些明显的缺点:(1)大部分降维方法仅仅使用单一的投影矩阵将高维数据映射到低维子空间中,投影需要在保留数据重要特征和内部结构的同时去学习低维子空间,这样单一投影矩阵在处理数据时压力过大,可能会影响到降维的准确度和原始数据全局或局部结构的保持;(2)大多数方法把数据的图学习和模式抽取分开在两个不同的步骤,即先利用数据的局部几何结构信息构建图,然后再进行投影学习以抽取有效的数据模式,但是如此两个分开的步骤难以保证构建的图适合数据的模式抽取,因此很难保证算法的整体最优。(3)大多数方法仅仅考虑单视角图学习,随着数据的规模和种类的增加,构建的图也会多种多样,目前的方法很少利用多图学习来构建一个正确的图,进而准确地刻画数据的结构,进而进行有效的数据分析。(4)大多数方法在数据分析的过程中没有消除数据噪声的影响,因此模型的鲁棒性较差。本论文以基于图约束的模型作为学习对象,利用图嵌入技术,围绕上述的缺陷,提出一系列新的模型,来提高基于图约束模型的学习效率和鲁棒性,同时拓展单视角图嵌入技术到多视角环境下,进一步提出多视角图嵌入技术,以进一步扩大处理数据的范围。具体来说,有以下一些方法:首先,本文提出了一个自适应局部保持的鲁棒鉴别分析框架,该框架同时进行图的学习和数据特征抽取,因此可以保证算法整体的最优。具体地说,该框架具有以下优势:首先,该框架利用一个稀疏的矩阵拟合数据的噪声信息,进而提高模型的鲁棒性;其次,该框架通过使用数据的局部结构信息和标签信息来指导投影学习,同时自适应地学习一个局部结构图来约束模型,以回避过拟合;最后,该框架学习另外一个投影矩阵来保持数据的鉴别信息。除此之外,该方法通过对投影矩阵施加L2,1范数约束,使得该模型在特征抽取过程中可以自适应地选择最重要的特征。大量的实验表明该方法可以抽取更加鉴别的特征,可以有效提高分类准确率。然后,本文提出了一种新的无监督降维方法,即松弛的稀疏局部保持投影方法。该方法不再使用单一投影矩阵,而是使用两个投影矩阵来减轻单一矩阵处理数据时所承担的压力,使得这两个矩阵具有更大的自由度,能够更好的保持投影数据的稀疏性和局部结构,减少降维过程中样本的信息丢失。通过施加稀疏表示来学习两个投影矩阵的相似矩阵,将局部结构以线性方式保留下来。因此,这两个投影矩阵应该具有相似结构,即数据的局部流形结构。为了解决算法优化问题,我们还提出了一种有效的快速收敛的迭代算法。在六个数据集上的实验结果证明了该方法的有效性。最后,本文提出了一个新颖的基于差异性提升的多视角图学习方法,进一步拓展单视角图学习到多视角图学习,并应用于半监督学习。具体来说,该方法对每一个视角数据构建一个图,并且利用自适应权重线性逼近技术使得每一个视角图可以自适应地逼近最终的统一的图,使得最终学习到的图不偏离每一个视角图。该方法同时把图学习并入到数据标签传递的模型中,进而构建一个联合多视角图学习和标签传递的广义框架。为有效减少信息的冗余,该框架进一步考虑每一个视角图的差异性,通过自适应权重系数来有效区分相似的视角图,并为差异性较大的视角图赋予更大的权重,从而保证最终学习到的图可以准确地刻画数据的内在几何结构。大量的实验表明,该方法不仅可以学习一个准确的图,而且能够准确地传递数据的标签。

杨静[2](2017)在《基于多视图相关投影分析的特征抽取与融合方法研究》文中认为随着数据采集技术以及处理方式的不同,相同的模式不可避免地出现了许多不同的特征表示方式。对于同一模式来说,不同的特征表示反应了物体不同的特性,因此,基于多组特征参与的模式分类方法,不仅可以保留原各组特征的有效鉴别信息,而且还可以在一定程度上消除特征表示之间的冗余信息。然而线性与非线性特征抽取方法主要针对模式的一组特征进行处理,不适用于多特征表示数据的特征抽取与特征融合。多视图相关投影分析,包括典型相关分析、多重集典型相关分析与多重集整体典型相关分析,已广泛应用于多组特征间的融合与抽取,并在模式分类中取得了良好的实验结果。因此,本文以多特征表示数据为研究对象,深入研究了多视图相关投影分析的相关理论与算法,构建了五种行之有效的特征抽取与融合方法。所做的主要工作和研究成果如下:(1)提出了基于稀疏表示的正则化半监督判别典型相关分析(SrSDCC)。由于判别典型相关分析(DCCA)方法在训练样本不足的情况下,其组内协方差矩阵会产生估计不足的情况。针对此问题,本文提出了基于稀疏正则化的半监督判别典型相关分析,该方法同时使用了数据中的已标记样本与未标记样本,其中已标记样本用来最大化样本的类内相关以及最小化样本的类间相关,未标记样本用来反映数据的本质几何结构。通过人脸数据库上的详细实验比较,验证了本文所提方法在半监督分类问题中的可行性。(2)本文提出了一种基于模糊隶属度的广义典型相关分析。通过采用模糊k近邻法计算隶属度来刻画样本与类中心点的近邻关系,在有效地利用样本类别信息的同时提高了算法的稳定性与鲁棒性。此外,面对图像识别中存在的大量非线性问题,在核技巧的基础上,提出了正定核隶属度的广义典型相关分析算法以及不定核隶属度的广义典型相关分析算法,从而提取数据的非线性特征。在人脸图像与手写体数字数据库上的实验结果表明,基于模糊隶属度的广义典型相关分析所抽取的特征在模式分类中具有较强的鉴别能力。(3)提出了基于P-SSOR算法的多重集典型相关分析。多重集典型相关分析(MCCA)能够有效地抽取到多组特征间的相关特征,然而在求解过程中往往会遇到多元特征值问题,并且不能有效地求取其精确解,这在一定程度上限制了其在实践中的应用效果,因此,本文提出了基于幂-对称超松弛(P-SSOR)算法的多重集典型相关分析,即PssorMCC。在手写体数据库、目标与人脸数据库上的大量实验结果表明,本文所提方法取得了良好的识别性能。(4)基于高维多表示数据的特征抽取问题,提出了基于边界的线性鉴别多重集典型相关分析算法。由于多重集典型相关分析(MCCA)仅仅考虑了多组数据间的相关性信息,不能有效地反映样本数据的几何与鉴别结构,因此为了解决这个问题,本文基于MFA的思想,提出了边界线性鉴别多重集典型相关分析(MLDMCC)方法。该方法融入了线性鉴别分析的鉴别信息,不仅揭示出多组数据间的相关信息,而且还有效地刻画了数据间的几何与鉴别结构。在人脸图像与目标数据库上的实验结果验证了 MLDMCC方法的有效性。(5)构建了多重集整体典型相关分析(MICCA)的拓展模型。MICCA是一种无监督的子空间学习方法,在其模型中并没有包含数据空间中的鉴别信息。从有利于模式分类的角度出发,本文首先给出了两种监督的多重集整体典型相关分析,即判别型多重集整体典型相关分析(DMICC)与广义多重集整体典型相关分析(GMICC)方法。此外,为了充分地揭示出原始数据在高维空间中的多种特性与几何结构信息,本文基于多核学习思想构建了多核多重集整体典型相关分析(MKMICCA)。由于MICCA算法在求解过程中存在更为复杂的广义多元特征值问题,本文基于多元特征值问题的求解方法,提出了一种新的迭代算法来求取其精确解。在不同的标准数据库上的实验结果表明,本文所提出的两种算法不仅取得了良好的识别性能,还明显优于其他相关的维数约减方法。

卢桂馥[3](2012)在《小样本情况下特征抽取算法与人脸识别研究》文中研究表明在人脸识别中,可得到的训练样本数往往远小于人脸图像样本的维数,此问题称为人脸识别中的小样本问题。小样本问题导致各种基于Rayleigh商的特征抽取算法存在病态问题,并且使得使用较少的训练样本难以获得推广性较好的识别性能。本文针对小样本条件下的人脸图像特征抽取和识别存在的困难,做了一定的探索和研究。本文的主要工作和创新成果点集中在以下几个方面:(1)为了克服鉴别保局投影算法所面临的小样本问题,通过引入最大间距准则,把鉴别保局投影目标函数变换成为基于差值的目标函数,提出了基于最大间距准则的鉴别保局投影(DLPP/MMC)算法,同时也提出了一种高效的求解DLPP/MMC特征向量的算法。DLPP/MMC从理论上避免了对保局类内散布求逆的问题,使得DLPP/MMC能克服小样本问题。对DLPP/MMC算法的理论分析表明:DLPP/MMC算法求得的鉴别信息位于保局类间散布和保局类内散布的值域空间中,而当权重参数趋向于正无穷大时,DLPP/MMC算法求得的鉴别矢量也位于保局类内散布的零空间中。(2)提出了鉴别保局投影的三个改进算法:正交的完备鉴别保局投影算法(OCDLPP),正则化广义鉴别保局投影算法(RGDLPP)和快速的完备鉴别保局投影算法(FCDLPP)。OCDLPP首先用保局总体散布代替保局类内散布;然后通过去除保局总体散布矩阵零空间的方式对样本进行降维;为了进一步提高鉴别能力,OCDLPP算法对求得的鉴别矢量进行正交化。本文也讨论了各种对鉴别矢量进行正交化的算法之间的关系。RGDLPP算法也用通过去除保局总体散布矩阵零空间的方式对样本进行降维,然后对保局类内散布的特征值进行正则化,最后通过广义特征值分解以求得最优鉴别矢量。针对完备鉴别保局投影(CDLPP)算法存在的缺点,即CDLPP算法的复杂度较高且没有考虑如何有效地融合规则鉴别特征和不规则鉴别特征的问题,提出了快速的完备鉴别保局投影算法(FCDLPP)。FCDLPP算法只需使用一次瘦QR分解就可以求得保局类内散布的零空间的鉴别矢量,然后再进行一次广义特征值分解求得保局类内散布的主元空间的鉴别矢量,与CDLPP算法相比,FCDLPP算法的算法复杂度较低,计算效率要高得多,另外,FCDLPP对获得的零空问的规则鉴别特征和非零空间的不规则鉴别特征进行了融合,使得FCDLPP算法比CDLPP算法有更高的识别率。(3)从理论上分析了核化图嵌入(KGE)框架内的各种算法,证明了其实质是核主成分分析(KPCA)+线性图嵌入(LGE)框架内的各种相应的线性降维算法。这使得我们可以从一个新的角度来理解核算法,并且使各种核算法更易于理解和实现。另外,为了克服KGE框架内各种核算法所面临的小样本问题,提出了一种综合利用零空间信息和非零空间信息的完备核化图嵌入算法,由于本文的完备核化图嵌入算法完整的利用了零空间和非零空间的鉴别信息,使本文的算法具有更高的识别率。(4)研究了基于稀疏表示的人脸特征提取算法,提出了一种新的有监督的人脸特征抽取算法——鉴别稀疏邻域保持嵌入(Discriminant Sparsity Neighborhood Preserving Embedding, DSNPE)算法。DSNPE利用稀疏表示来创建类内样本的邻接图和类间样本的邻接图,这样,其“近邻”数通过“稀疏”约束自动产生,而无需人为指定;最后,基于最大间距准则建立了DSNPE的目标函数。在实际人脸数据库上的实验验证了DSNPE算法的有效性。

侯书东[4](2012)在《基于相关投影分析的特征提取研究及在图像识别中的应用》文中研究表明特征抽取是模式识别研究中的基本问题之一。对于图像识别而言,抽取有效的图像特征是完成识别任务的关键。线性与非线性投影分析作为特征抽取最为经典和广泛使用的方法,在图像识别中已得到了广泛的研究,获取了成功的应用。然而线性与非线性投影分析方法主要针对模式的一组特征进行处理,并不适用于多表示数据的特征融合与抽取。相关投影分析,包括典型相关分析与偏最小二乘,已广泛应用于多组特征间的融合与抽取,并在图像识别中取得了良好的实验结果。本文以相关投影分析为研究对象展开深入的拓展研究,致力于增强相关投影分析抽取特征的鉴别能力。所做的主要工作和研究成果如下:(1)从模式分类的角度出发,提出了一种监督的局部保持典型相关分析(SLPCCA),通过最大类内成对样本与其近邻间的权重相关性,在有效地利用样本类别信息的同时保持了数据的局部流形结构,提高了算法的稳定性与鲁棒性,并且融合了判别型典型相关分析(DCCA)的鉴别信息,而不受其抽取的最大特征维数不超过总类别数的限制。此外,面对图像识别问题中存在的大量非线性问题,在核技巧的基础之上又提出了核化的SLPCCA (KSLPCCA),以提取数据的非线性特征。(2)提出了一种正交正则化典型相关分析(ORCCA)。典型相关分析(CCA)获取的投影向量满足相互之间的共轭正交性,然而“共轭正交”需要考虑样本的总体协方差矩阵,在面对小样本问题中可能会出现由于对协方差矩阵的估计不足而产生算法性能的下降。此外,共轭正交性更加关注特征的低维最优表示而非鉴别能力的强弱,当分属于不同类别的样本分布具有较为明显的差异时,可能会出现分类性能不佳的现象。为了解决这两个问题,本文提出的ORCCA以投影矢量之间的正交性约束与正则化参数的引入,能够抽取出具有更强鉴别能力的特征。(3)提出了稀疏保持典型相关分析(SPCCA)与稀疏正则化的判别型典型相关分析(SrDCCA)。稀疏保持投影(SPP)实现了特征降维过程中对样本间稀疏重构能力的保持,因而能够在无类标签的情况下提取样本的自然鉴别信息。受此启发,本文提出的SPCCA,不仅实现了两组特征集鉴别信息的有效融合,同时对提取特征间的稀疏重构性加以约束,增强了特征的表示和鉴别能力。在SPCCA的基础上,通过对部分已标记样本的监督学习,又提出了稀疏正则化的判别型典型相关分析。在手写体字符与人脸识别上的实验结果表明,本文提出的两种方法均取得了良好的识别性能。(4)基于多表示数据的特征抽取问题,提出了一种多成分分析方法(MCA)。典型相关分析与偏最小二乘,作为两组特征融合与抽取的经典方法,如何将其推广到多组特征,一直吸引着人们广泛的关注。本文提出的MCA,通过高阶张量的构造,将多组特征之间的相关信息融入到协方差张量中,再利用高阶奇异值分解,获取各组特征对应的投影矩阵,实现维数约减与特征融合的双重任务。与基于子空间的特征融合方法(MFFSL)相比,MCA能够利用较少维数的特征表示实现多组特征间的融合,保证了抽取的特征具有更强的鉴别性。另外,主成分分析与偏最小二乘可以分别视作本文方法在面对一组及两组特征时的一种特例情况。在手写体字符与人脸识别上的详细实验,验证了MCA的有效性与鲁棒性。(5)针对图像集分类需将图像矩阵转化为图像矢量的问题,提出了二维互子空间方法与二维多主角嵌入方法。首先,借鉴二维主成分分析(2DPCA)的基本思想,提出了一种二维互子空间方法,避免图像集分类中二维图像矩阵的矢量化表示对图像结构信息的破坏。此外,在综合考虑多组图像集合间的“全局”与“局部”典型相关基础上,提出了二维多主角嵌入方法,以迭代优化方式寻找一组全局鉴别子空间,以满足同类多组子空间主角的最小化与非同类多组子空间主角的最大化。所提方法不仅能够增强子空间表示的鉴别能力,同时亦减少了对存储空间的需求以及新测试样本的分类时间。

陈燚[5](2012)在《面向分类器的子空间分析方法研究与应用》文中认为特征抽取是模式识别中最基本的问题之一。抽取有效的鉴别特征是解决模式识别问题的关键。子空间分析方法因其计算简单、有效等特性在特征提取领域得到了广泛应用,其本质就是把原始的高维样本数据投影到一个更有利于分类的低维特征子空间。目前,绝大多数的子空间分析方法抽取的是对于模式最具鉴别力的特征。然而,这些特征对于分类器来说并不一定是最具鉴别力的。因此,分类器使用这些特征分类的时候性能会有损失。为了解决这个问题,该文从分类器的分类准则入手,提出了三种面向分类器的子空间分析方法以抽取对于分类器最具有鉴别性的特征,并将提出的算法应用于生物特征识别和手写数字体识别中。本文的工作和主要贡献集中在以下三个方面:(1)在线性回归分类器(LRC)的基础上,从LRC的重构策略和分类准则出发,分析了LRC在什么样的空间分类时效果最优。为了寻找这样的子空间,提出了重构鉴别分析(RDA)并将其应用于特征抽取。本文指出在高维空间中,RDA一般可以抽取N个特征(N为总训练样本个数)。同时还从理论上指出了RDA和线性鉴别分析(LDA)一样,也存在小样本问题,并给出了解决办法。在人脸识别和指关节识别中的实验和统计显着性测试表明,由于RDA是基于LRC的重构方法和分类准则而设计的,LRC在RDA子空间的分类性能和直接使用LRC在原始图像空间分类性能相比得到显着提高。而且RDA和LRC组成的识别系统显着地优于其他特征抽取算法和各种分类器的组合。(2)本文分析了基于稀疏表示的分类器(SRC)和LRC的分类准则,提出了最大化最近子空间边缘准则(MNSMC)。针对LRC在低维多样本(样本维数较低且数量较多)情况下无法使用的问题,用脊回归扩展了LRC,提出了脊回归分类器(RRC)。原始图像空间由于光照、噪声等因素影响,可能会使得类内重构误差大于类间重构误差,从而导致SRC和LRC的误分类。MNSMC从多子空间的角度,最小化同类最近子空间边缘的同时最大化异类最近子空间边缘,有效地解决了SRC和LRC误分类的问题。和RDA相比,MNSMC避免了小样本问题,同时可以抽取更多的特征。‘在人脸识别、指关节纹识别和手写数字体识别中的实验表明,MNSMC显着地提升了LRC和SRC的性能,而且MNSMC与LRC或者MNSMC与SRC组合的性能均优于其他特征抽取方法和分类器组合。(3)基于鉴别局部排列(DLA)和LRC的分类准则,提出了局部重构片排列(LRPA)。DLA算法是一种基于片(patch)的特征提取算法,通过局部最优和全局排列达到全局最优。然而该算法识别性能严重依赖于参数的选择,对参数的选取比较敏感。针对这个问题,LRPA用重构误差作为距离度量以代替欧氏距离,在考虑了LRC分类准则的基础上,最小化片内同类重构误差的同时最大化片内异类重构误差。在人脸识别、指关节纹识别和掌纹识别中的实验表明,LRPA与LRC组合对参数变化具有良好的鲁棒性,同时也比DLA得到了更好的识别效果。

万鸣华[6](2011)在《基于图嵌入的特征抽取与人脸识别研究》文中认为特征抽取是模式识别研究中最基本问题之一。对于人脸识别而言,抽取有效的人脸特征是提高识别(分类)效果的一个关键问题。近年来,流形学习成为机器学习及模式识别等领域的研究热点之一,其主要目标是发现高维空间数据的低维光滑流形。自从2000年Roweis和Saul提出局部线性嵌入(Locally Linear Embedding, LLE)算法、Tenenbaum等人提出等距离映射(Isometric Mapping, ISOMAP)算法、2003年Belkin等人在局部保持的思想上提出拉普拉斯算子特征映射(Laplacian eigenmaps, LE)后,基于流形学习的人脸识别研究引起了人们的广泛关注。基于流形学习的图嵌入是应用比较广泛的一种特征抽取方法。本文对图嵌入及其在人脸识别中的应用问题进行研究,提出了几种新的基于图嵌入的人脸识别算法,通过标准人脸数据库仿真实验验证了它们的有效性。本文的主要工作和创新成果点集中在以下几个方面:(1)在局部保持投影(LPP)算法和局部鉴别嵌入(LDE)算法基础上,利用模糊集理论,分别提出了基于模糊局部保持投影(FLPP)和基于模糊局部鉴别嵌入(FLDE)的特征抽取方法。在这两种方法中,首先根据模糊K近邻算法得到数据样本隶属度信息,然后利用样本隶属度信息重新定义数据样本的拉普拉斯散布矩阵分别构造来FLPP和FLDE的目标函数,最后通过求解广义方程找到它们的最优投影矩阵。(2)在主成分分析(PCA)算法和局部线性嵌入(LLE)算法基础上,考虑样本分布全局性和局部性,提出了非监督线性差分投影(ULDP)的特征抽取方法。在该方法中,首先通过样本数据间的流形距离来构建局部近邻图与全局方差图来表征局部近邻结构与全局结构信息。最后,当局部最小嵌入和全局最大方差构建好后,通过同时满足最小局部散布和最大全局散布来找到一个最优的投影轴。(3)在局部线性嵌入(LLE)算法基础上,考虑样本的潜在流形结构,提出基于最大间距准则的局部图嵌入(LGE/MMC)的特征抽取方法。该算法在保持近邻的前提下,分别构造类内紧致图和类间惩罚图。首先在类内紧致图中利用线性重构的局部对称性找出高维数据空间中的非线性结构,使同类样本尽可能地聚集在一起;然后在类间惩罚图中使不同类别的样本尽可能远离;为了避免“小样本”问题,采用MMC准则的形式构造目标函数。(4)在二维局部保持投影(2DLPP)算法基础上,考虑样本的类别信息,提出基于二维局部图嵌入鉴别分析(2DLGEDA)的特征抽取方法。该算法通过二维的图像矩阵抽取到最优的本征向量优于一维的向量抽取到的本征向量。在图嵌入中,内类图的特性就是连接同类样本的近邻数据点,使得它们相互压缩,同时惩罚图的特性就是连接边缘数据点,使得它们相互的分离。该算法能有效的避免在线性鉴别分析中的小样本和数据的高斯分布问题。

宋晓宁[7](2011)在《图像特征抽取的若干新方法研究》文中指出随着网络与通讯技术的飞速发展和人类物理与虚拟活动空间的不断扩展,人们对于信息安全性的要求日益提高,需要进行人的身份识别的场合也越来越多。生物特征识别技术是通过计算机利用人的生理特征或行为特征来判别一个人的身份。人脸识别技术是生物特征识别技术领域中重要的组成部分,它根据人面部影像中的有效信息进行个人身份识别。与其它生物特征识别技术相比,人脸识别具有方便快捷、非接触无侵犯性采集、可交互性等诸多优势,已成为了生物特征识别技术中的一个研究热点,并且具有广阔的应用前景。在过去几十年中,很多学者在模式识别领域中提出了大量的特征抽取方法,比如用来处理线性问题的经典算法线性鉴别分析,以及在支持向量机基础上演变得来的一系列基于核技巧的特征抽取方法,它们被普遍的应用在非线性问题的处理过程中。本文对线性特征和非线性特征的抽取方法做了深入的分析和研究,在特征抽取过程中尽可能多的融入样本的结构信息以保留更多的鉴别信息,同时更关注提出算法的效率和性能。本文的主要工作及创新如下:核策略是基于统计学习理论和支持向量机技术发展起来的,是解决非线性问题的一个有效的手段。本文提出了基于支持向量机(SVM)和决策树(DT)的几种新分类器算法。首先对传统支持向量机和模糊支持向量机(FSVM)处理多类问题的算法缺陷进行分析,然后在DT-FSVM和最近邻分类器的基础上,提出基于样本区域分析(SRA)的混合分类器算法(SRA-DT-FSVM),该算法中样本区域分析的概念被提出。在线性鉴别分析(LDA)的人脸特征空间中,分别对算法FSVM, DT-FSVM, SRA-DT-FSVM以及Binary-DT-SVM进行了全面的性能比较。通过在ORL人脸库上的实验结果表明,提出的新方法是有效的,并且通过引入三叉决策树,我们较大幅度的提高了传统FSVM的分类速度。传统的线性鉴别分析方法在特征提取过程中使用的是2值情况下的判别标准,也就是说:对于给定的一个样本,在特征提取过程中的判别依据是要么这个样本属于某个类,要么不属于某个类,每次执行的均是一个硬分类标准。比如在一些经典的人脸识别算法中,人脸数据的采集往往会受到表情、光照、姿态等各种环境条件的影响。基于对这一思想的考虑,我们在传统的代数特征提取方法之中引入模糊集理论,隐含的将样本的几何结构信息融入到样本的代数特征提取过程之中。在此基础上,我们提出了一种松弛条件下的完全模糊线性鉴别分析策略,通过对隶属度函数中的归一化条件进行松弛化处理,重新设计模糊隶属度矩阵的计算公式,从而得到更加有效的模糊样本特征向量集。该方法步骤同传统模糊线性鉴别分析方法相比有效解决了离群样本的模糊特征抽取问题,并且充分考虑了每个样本所包含的隶属度信息。与此同时,为了避免分类器出现不可分区域现象,我们同时采用提出的DT-FSVM算法作为模糊分类器,由此建立了一个完整的模糊线性鉴别分析策略,即分别提出一种模糊特征抽取方法和模糊分类器,并将两者有效结合,形成一个完整的模糊线性鉴别分析算法。小样本问题是在利用Fisher线性鉴别准则做特征提取过程中经常会遇到的,本文为解决小样本问题提出了一种基于对称零空间准则的LDA特征抽取算法(OSNS),该算法通过重构Fisher鉴别准则,在两个具有对称性质的散布矩阵的零空间及其互补空间内利用投影数据的最大可分性,同时获得了更多的有助于分类的鉴别信息。OSNS算法解决了传统Fisher鉴别分析方法只计算一个散布矩阵零特征空间的缺陷,加强了类内和类间两个散布矩阵在重构鉴别准则下所对应的特征空间之间的内在联系,同时解决了传统Fisher线性变换方法中的最终特征维数受类别数限制的问题。在选取的几个标准人脸数据库上的实验结果验证了该算法的有效性。序贯最小优化(SMO)算法是一种SVMs训练算法,该算法将一个大型QP问题分解为一系列最小规模的QP子问题,从而避免了多样本情形下的数值解不稳定及耗时问题,同时也不需要大的矩阵存储空间。本文在模糊支持向量机以及决策树(DT-FSVM)的基础上,提出模糊序贯最小优化算法(DT-FSMO)并对它进行了分析和研究,在对人脸图像进行独立成分分析(ICA)后,用该算法进行多类人脸识别,通过在ORL人脸库上的实验结果表明,SMO的分类性能与输入样本的稀疏程度有密切关系,表明DT-FSMO方法在低特征向量维数的前提下对提高图像识别的性能是有效的。模式分类在面临非线性高维数据下的小样本问题时通常十分困难。本文提出一种核的四重子空间学习(KFS)方法。首先通过构造基于类内和类间散布矩阵的混合鉴别准则,获得分布在各子空间中降维样本的最优鉴别信息。其次通过向量点积,利用核鉴别分析方法(KFD)对非线性鉴别信息进行有效抽取,在此基础上,我们提出了基于核的四重子空间鉴别分析算法,从而有效解决了非线性小样本问题的特征抽取。在ORL和Yale人脸库上的实验结果验证了该方法的有效性。

杨茂龙[8](2011)在《相关投影分析在特征抽取中的应用研究》文中研究说明特征抽取是模式识别领域最基本的问题之一。通过特征抽取,以较少的维数表示数据,用更为稳定的表达方式提高分类性能。近几十年来,在主成分分析、线性鉴别分析等线性鉴别特征抽取方法的基础上,典型相关分析(Canonical Correlation Analysis, CCA)、偏最小二乘(Partial Least Squares, PLS)等相关投影分析方法在数据处理与分析、回归分析与预测、鉴别信息抽取与融合等各个领域得到了广泛应用。特别是伴随着对相关投影分析的本质认识的不断深入,CCA、PLS与主成分分析(Principal Component Analysis, PCA)、线性鉴别分析(Linear Discriminant Analysis,LDA)之间的关系已被发现,前人的研究将利用相关投影分析抽取鉴别信息、进行信息融合的理论推到了一个新的阶段,具体的应用则更扩展到了模式分类与识别、图像重构与压缩、信息检索、回归分析等各个领域。正是因为相关投影分析在各个领域的成功应用,使其成为模式识别研究中最有活力、最有应用前景的领域之一。另一方面,相关投影分析从基础理论到具体应用,都有一些重要问题尚未解决,这激励着人们争相参与到此项研究中去。CCA是实现信息融合的有力工具。随着用CCA抽取典型成分作为鉴别特征及用于多特征融合进行模式识别的成功应用,该方法又被推广到图像鉴别特征抽取中,并建立了CCA抽取鉴别特征的理论框架。PLS回归分析提供了单因变量或多因变量对多自变量的回归建模方法,在回归建模的同时,不仅实现了原始数据的压缩,也消除了对系统无解释意义的干扰信息(噪声)。由于PLS解决了以往用普通多元回归分析方法无法解决的难题,因此该方法的理论研究进展非常迅速,应用领域已扩展到机械、生物、地质、医学、社会学以及经济学等领域。PLS模型的鲁棒性使其成为回归分析、维数压缩和分类技术的有力工具之一。本文工作主要包括如下内容:(1)进一步完善了基于CCA和PLS的相关投影分析,并且用于单特征、组合特征抽取和图像分类与识别的理论框架。讨论了CCA抽取鉴别特征的原则和特征组合,以及在正交约束和统计不相关约束条件下CCA和PLS抽取特征的性能,并与传统方法如PCA、LDA进行了对比。实验结果表明,相关投影分析能够更有效地抽取鉴别特征,特别是对称性的双特征,如人的左右眼、左右手掌的鉴别特征抽取有着更好的表现。(2)在介绍基于图像矩阵的二维相关投影分析的基础上,引入二维典型相关分析(Two-dimensional Canonical Correlation Analysis,2DCCA)和二维偏最小二乘(Two-dimensional Partial Least Squares,2DPLS)的基本理论,深入讨论了2DCCA与(Two-dimensional Linear Discriminant Analysis,2DLDA)的关系,证明了在两类类标编码情况下,二者仍存在等价关系。(3)分析了基于类标号的相关投影分析的缺陷,在此基础上提出了基于样本标号的相关投影分析,并将其推广到二维情况。基于同样原因,提出了模糊相关投影分析。实验结果表明,两种改进算法都可以有效地提高鉴别特征抽取性能。在ORL、AR等人脸图像数据库、中科院自动化所掌纹图像库(CASIA-Palmprint)、香港理工大学掌纹图像库(PolyU Palmprint)的实验基础上,在构建的战斗机卫星图像数据集上进一步验证了本文算法的有效性,也为统计模式识别在基于遥感图像的重要目标识别做了有益的尝试。(4)基于回归分析理论,从分析与预测的实际出发,运用PLSR对美国大选建模,寻找候选人得票率与国民经济发展等因素的相关关系。从而成功地将PLSR应用到辅助分析中去,拓展了分析与预测的研究方法和手段。

刘粉香[9](2009)在《线性及非线性特征提取人脸识别方法的研究》文中认为本文研究了人脸识别中的特征提取方法,主要关注线性子空间方法和以流形为代表的非线性特征提取方法。在深入分析现有理论和相关算法的基础上,提出了一些改进的特征提取算法并应用于人脸识别。首先研究了基于线性子空间的特征提取方法,即无监督的线性特征提取方法:主成份分析(PCA)、独立成份分析(ICA)和有监督的特征提取方法:Fisher判别分析(LDA)、最大间距准则(MMC)。通过在不同人脸库上进行的仿真实验得出了一些有意义的结论。其次深入分析了以流形学习为主的非线性特征提取方法。研究了当前具有代表性的流形学习及其特征提取算法,等距映射(Isomap)、局部线性嵌入(LLE)、拉普拉斯特征映射(LE)、局部保持映射(LPP)及无监督鉴别投影映射(UDP),通过仿真试验揭示出基于流形的特征提取方法在人脸识别问题上的性能表现。最后基于UDP特征提取方法的研究提出了改进算法:基于正交化的UDP算法和具有统计不相关的UDP算法。分析了所提出的两个改进算法的理论基础和算法细节,通过在不同人脸库上的仿真实验验证了所提出改进算法在一定程度上优于已有的UDP算法。

邓伟洪[10](2009)在《高精度人脸识别算法研究》文中进行了进一步梳理人脸识别是一个古老而又年轻的学术问题,人们对它的探索已经跨越了三个世纪。早在1888年,《Nature》杂志首次发表了利用人脸进行身份识别的文章,掀开了人类对人脸识别探索的序幕。120年后的2008年,《Science》杂志刊登了关于“100%自动人脸识别精度”技术评论,指出现实环境下的高精度人脸识别仍然是一个遥远的目标,需要我们持续开展创新的研究工作。人脸识别是一个特殊的复杂模式识别问题,它具有:1)训练集合的高维性和小样本性;2)图像的类内变化远大于类间变化;3)特征空间内样本的结构复杂等特点。然而,现有的识别算法大多从特定目标函数出发,缺乏对人脸自身属性的考虑。它们虽然能够从数学上很好地描述具有固定变化的数据集,从而取得很高的识别精度,却不能解决现实复杂环境下的人脸识别问题。为了从根本上提高技术水平,使得算法能够应对现实环境的复杂性和不可预测性,本文引入了两个人脸识别的新思路。第一,从人脸类别在特征空间中的类别分布特点出发,利用人脸类别分布的先验知识,设计适应人脸自身属性的新特征提取算法;第二,引入心理学、神经科学等跨学科知识,利用多层次的仿生手段,设计生物启发式人脸特征提取算法。以这两种思路为指导,面向现实环境下的高精度人脸识别需求,本文主要进行了如下研究:(1)从全局散度分析、局部重叠分析、流形结构分析和分类错误四个角度出发,利用实验手段探索了人脸图像空间中的类别分布特性。各个类别的人脸图像在测量空间中呈现出相似的结构,而且高度重叠。基于人脸类别结构的特殊性,提出人脸空间类别分布的两个先验假设:第一,每类的协方差矩阵相等,同时类内散度远大于类间散度,使得每类的协方差矩阵都近似等于全局的协方差矩阵。第二,不同人之间的类间散度存在于同一子空间中,而且该类间子空间的主方向与类内散度的子空间主方向是不“冲突”的。这两个先验知识使得算法可以不用局限于特定人的训练集合,转而采用大规模的通用数据库对人脸识别中的特征抽取模型进行训练。在FERET数据库上的大规模实验证明,在基于类别结构先验知识的通用学习框架下,采用经典线性鉴别分析方法就可以获得大大超过国际评测最好结果的精度。(2)通过对当前特征抽取算法的深入分析,提出了一个基于投影寻踪技术的算法框架,统一了主成分分析、独立成分分析、线性鉴别分析、局部保持投影、非监督鉴别投影等主流的特征抽取算法,给出了人脸识别中的特征抽取问题的一种新颖的综合性表述。在投影寻踪框架中,算法首先通过白化变换对数据进行预处理,随后利用优化技术寻找具有最优投影特性的低维投影向量。基于投影寻踪框架的实验验证了当前的非监督特征抽取算法都不能很好地寻找低维特征投影,它们在人脸识别中的高性能主要来源于白化过程对人脸类别结构的变换,而并非以往研究中声称的低维投影。为了充分利用人脸类别结构的先验知识,本文提出了一个局部寻踪算法,在白化空间内最大限度地保持样本的局部邻近特性。在AR和FERET数据库上的实验表明局部寻踪算法的非监督和监督版本、线性和核版本都能获得高于当前同类算法的精度。(3)从“样本均匀化”的几何直觉出发,提出了局部离散寻踪算法,解决单训练样本条件下的人脸识别难题。该算法的目标是使得在特征空间中靠近的类别变得分散,降低类间样本混淆的风险,从而提高识别精度。局部寻踪算法引入了两种样本均匀化的新方法:第一,基于奇异值分解的新白化变换理论—该变换可以在小样本情况下把训练样本集变换成一个规范正交集,使得样本间距完全均匀。第二,局部离散投影—对主成分分析进行局部化改造,可以在降低数据维数的同时使得原来局部聚集的样本变得稀疏。该算法的核版本能够进一步提高算法对非线性结构的学习能力,在使用更小量的特征的情况下获得同等精度。在包含1196人的大规模FERET数据库上,局部离散寻踪算法仅采用每人单样本的训练就可以获得远远高于FERET’97评测最好结果的精度水平。为了进一步提高精度水平,本文还提出了融合通用特征模型和特定人特征模型的人脸识别新方法,在FERET评测的duplicate测试图像集中的识别精度超过90%,为该测试集至今发表的最高识别精度。(4)从心理学、神经科学与模式识别的交叉性出发,提出一种多层次的生物启发特征提取方法。该方法包含三个层次。第一,在低层特征生成阶段,采用了一组源于视觉通路早期阶段响应特性的生物启发式特征来表示人类图像。这些特征针对多方面的视觉特性,涵盖了空间局部性、空间频率选择性、边缘方向选择性、色度选择性等。第二,从低层特征到高层特征的映射采用了一个增量式的鲁棒鉴别分析模型。首先使用增量式主成分分析方法把高维低层特征映射为通用的中层特征,再使用鲁棒鉴别分析模型映射为专用于身份识别的高层特征。第三,对不同的人脸特征进行独立的编码,形成独立的视觉通路。最后的识别决策融合了不同的视觉通路得到的多个人脸编码的相似度。生物启发式人脸识别系统模拟了复杂的人类信息融合策略,有效地整合各种信息源获得稳定的人脸识别性能。FRGC版本2实验4中,生物启发式系统获得了超过93%的验证率,不仅超过了FRGC2005评测的最好性能,而且为目前在该标准实验中发表的最高识别精度。

二、有效最佳鉴别特征的抽取与维数问题(论文开题报告)

(1)论文研究背景及目的

此处内容要求:

首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。

写法范例:

本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。

(2)本文研究方法

调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。

观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。

实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。

文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。

实证研究法:依据现有的科学理论和实践的需要提出设计。

定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。

定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。

跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。

功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。

模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。

三、有效最佳鉴别特征的抽取与维数问题(论文提纲范文)

(1)基于图约束的模型学习研究(论文提纲范文)

摘要
ABSTRACT
第一章 绪论
    1.1 研究背景
    1.2 研究目的与意义
        1.2.1 研究目的
        1.2.2 研究意义
    1.3 子空间学习研究现状
        1.3.1 图嵌入方法
        1.3.2 子空间学习
    1.4 存在的问题
    1.5 本文主要研究内容
    1.6 本文的章节安排
第二章 相关知识与相关算法
    2.1 正则化参数
    2.2 稀疏表示
    2.3 图嵌入方法
    2.4 多视角学习
    2.5 本章小结
第三章 自适应局部保持的鲁棒判别分析
    3.1 引言
    3.2 自适应局部保持的鲁棒判别分析框架
        3.2.1 问题描述
        3.2.2 RDA LAP模型设计
        3.2.3 RDA LAP模型求解
    3.3 算法分析
    3.4 实验结果与分析
        3.4.1 基于各类标准数据集的实验
        3.4.2 参数灵敏度分析
        3.4.3 收敛性分析
        3.4.4 计算时间比较
    3.5 本章小结
第四章 松弛的稀疏局部保持投影
    4.1 引言
    4.2 松弛的稀疏局部保持投影学习
        4.2.1 问题描述
        4.2.2 RSLPP模型设计
        4.2.3 RSLPP模型优化
    4.3 算法分析
        4.3.1 收敛性分析
        4.3.2 复杂度分析
    4.4 实验结果与分析
        4.4.1 数据库和实验设置
        4.4.2 基于各类标准数据集的实验
        4.4.3 参数敏感度分析
        4.4.4 收敛性分析
    4.5 本章小结
第五章 基于差异提升的多视角图学习
    5.1 引言
    5.2 基于差异提升的多视角图学习
        5.2.1 问题描述
        5.2.2 DMGL模型动机
        5.2.3 DMGL模型设计
        5.2.4 DMGL模型优化
    5.3 算法分析
        5.3.1 收敛性分析
        5.3.2 复杂度分析
    5.4 实验结果与分析
        5.4.1 数据集说明
        5.4.2 实验设置
        5.4.3 加权系数分析
        5.4.4 分类结果分析
        5.4.5 算法收敛性和参数敏感性
    5.5 本章小结
总结与展望
参考文献
攻读博士学位期间发表或完成的论文
攻读博士学位期间获得的奖励和参与的项目
致谢
附录 本文相关数学符号说明

(2)基于多视图相关投影分析的特征抽取与融合方法研究(论文提纲范文)

摘要
Abstract
1 绪论
    1.1 引言
    1.2 线性特征抽取方法的研究与发展
        1.2.1 主成分分析概述
        1.2.2 线性鉴别分析概述
    1.3 非线性特征抽取方法的研究与发展
        1.3.1 基于核技术的特征抽取方法
        1.3.2 基于流形学习的特征抽取方法
        1.3.3 基于稀疏学习的特征抽取方法
    1.4 多视图相关投影分析概述
        1.4.1 典型相关分析研究与发展
        1.4.2 多重集典型相关分析研究与发展
    1.5 本文的主要研究工作和内容安排
    1.6 本文工作的创新点
2 基于稀疏表示的正则化半监督判别典型相关分析
    2.1 引言
    2.2 典型相关分析及其拓展方法介绍
        2.2.1 典型相关分析
        2.2.2 判别型典型相关分析
        2.2.3 广义典型相关分析
        2.2.4 半监督典型相关分析
    2.3 图嵌入降维
        2.3.1 图构造过程
        2.3.2 图嵌入形式
    2.4 基于稀疏表示的正则化半监督判别典型相关分析
        2.4.1 DCCA在小样本问题中的处理
        2.4.2 l_1-图及正则化矩阵
        2.4.3 SrSDCC模型构建
        2.4.4 模型求解
    2.5 实验结果与分析
        2.5.1 在Extended Yale B数据库上的实验
        2.5.2 在CUM PIE数据库上的实验
        2.5.3 在AR数据库上的实验
    2.6 小结
3 基于模糊隶属度的广义典型相关分析
    3.1 引言
    3.2 基于模糊隶属度的广义典型相关分析
        3.2.1 模糊隶属度计算
        3.2.2 构建模糊类内散布矩阵
        3.2.3 MGCCA模型构建与求解
    3.3 核MGCCA
        3.3.1 正定核MGCCA
        3.3.2 不定核MGCCA
    3.4 实验结果分析
        3.4.1 在AT&T人脸数据库上的实验
        3.4.2 在Yale人脸数据库上的实验
        3.4.3 在MFD数据库上的实验
    3.5 小结
4 基于P-SSOR迭代算法的多重集典型相关分析
    4.1 引言
    4.2 相关方法介绍
        4.2.1 P-SSOR迭代算法
        4.2.2 多重集典型相关分析
    4.3 基于P-SSOR的多重集典型相关分析
        4.3.1 多重集典型相关分析的等价形式
        4.3.2 PssorMCC迭代算法的描述
    4.4 实验结果分析
        4.4.1 在MFD数据集上的实验
        4.4.2 在CENPARMI手写体数据库上的实验
        4.4.3 在COIL-20数据库上的实验
        4.4.4 在AT&T人脸数据库上的实验
    4.5 小结
5 基于边界的线性鉴别多重集典型相关分析
    5.1 引言
    5.2 基于LDA的多重集典型相关分析
    5.3 基于边界的线性鉴别多重集典型相关分析
        5.3.1 局部类内散布矩阵的构造
        5.3.2 局部类间散布矩阵的构造
        5.3.3 MLDMCC模型构建与求解
        5.3.4 MLDMCC算法描述
    5.4 实验结果与分析
        5.4.1 数据集与特征表示
        5.4.2 对象种类识别
        5.4.3 人脸图像识别
    5.5 小结
6 基于MEP算法的多重集整体典型相关分析拓展模型
    6.1 引言
    6.2 相关工作
        6.2.1 多重集整体典型相关分析
        6.2.2 核典型相关分析
        6.2.3 核多重集典型相关分析
        6.2.4 核多重集整体典型相关分析
    6.3 监督的多重集整体典型相关分析框架
        6.3.1 判别型的多重集整体典型相关分析
        6.3.2 广义多重集整体典型相关分析
    6.4 实验结果与分析一
        6.4.1 在Extended Yale B数据库上的实验
        6.4.2 在AT&T数据库上的实验
        6.4.3 在COIL-20数据库上的实验
    6.5 基于多核学习的多重集整体典型相关分析
        6.5.1 多核学习方法
        6.5.2 MKMICCA的模型构建
        6.5.3 模型求解
    6.6 实验结果分析二
        6.6.1 核函数描述
        6.6.2 在MFD数据库上的实验
        6.6.3 在AT&T数据库上的实验
    6.7 小结
7 结束语
    7.1 本文工作总结
    7.2 未来工作展望
致谢
参考文献
附录

(3)小样本情况下特征抽取算法与人脸识别研究(论文提纲范文)

摘要
Abstract
目录
1 绪论
    1.1 人脸识别的研究背景和意义
    1.2 人脸识别的发展与现状
    1.3 人脸检测
        1.3.1 基于知识的方法
        1.3.2 基于统计模型的方法
    1.4 小样本情况下的人脸特征抽取算法
        1.4.1 基于直观特征的特征抽取算法
        1.4.2 基于人脸的代数特征的特征抽取算法
    1.5 人脸识别方法
    1.6 本文研究工作概述
    1.7 本文内容安排
2 基于最大间距准则的鉴别保局投影算法
    2.1 引言
    2.2 PCA,LDA,MMC和DLPP算法
        2.2.1 PCA算法
        2.2.2 LDA算法和MMC算法
        2.2.3 DLPP算法
    2.3 DLPP/MMC算法的目标函数
    2.4 求解DLPP/MMC的高效算法
    2.5 DLPP/MMC的理论分析
    2.6 实验结果与分析
        2.6.1 实验中所用的数据库
        2.6.2 人脸识别实验
    2.7 本章小结
3 鉴别保局投影算法的改进
    3.1 引言
    3.2 正交的完备鉴别保局投影(OCDLPP)算法
        3.2.1 OCDLPP的理论推导
        3.2.2 求解OCDLPP的高效算法
        3.2.3 与相关算法的联系
        3.2.4 实验结果与分析
    3.3 正则化广义鉴别保局投影(RGDLPP)算法
        3.3.1 RGDLPP算法的理论推导
        3.3.2 实验结果与分析
    3.4 快速的完备鉴别保局投影(FCDLPP)算法
        3.4.1 完备的鉴别保局投影(CDLPP)算法
        3.4.2 FCDLPP算法的求解过程
        3.4.3 实验结果与分析
    3.5 本章小结
4 小样本情况下基于核化图嵌入的最佳鉴别分析
    4.1 引言
    4.2 相关的算法
        4.2.1 核主成分分析
        4.2.2 核化图嵌入框架
    4.3 核化图嵌入算法的本质
    4.4 完备的核化图嵌入算法
        4.4.1 有效鉴别矢量的组成
        4.4.2 鉴别准则
        4.4.3 本章算法的流程
    4.5 实验结果与分析
    4.6 本章小结
5 鉴别稀疏邻域保持嵌入算法
    5.1 引言
    5.2 相关的算法
        5.2.1 近邻保持嵌入算法
        5.2.2 稀疏表示
        5.2.3 稀疏保持投影
    5.3 鉴别稀疏邻域保持嵌入
        5.3.1 类间近邻散度
        5.3.2 类内近邻散度
        5.3.3 DSNPE算法
    5.4 实验结果与分析
        5.4.1 基于DSNPE的人脸表示
        5.4.2 DSNPE算法的人脸识别性能
    5.5 本章小结
6 结束语
致谢
参考文献
附录

(4)基于相关投影分析的特征提取研究及在图像识别中的应用(论文提纲范文)

摘要
Abstract
1 绪论
    1.1 引言
    1.2 线性投影分析方法研究与进展
        1.2.1 主成分分析概述
        1.2.2 线性鉴别分析概述
    1.3 非线性投影分析方法概述
        1.3.1 基于流形学习的特征提取方法
        1.3.2 基于稀疏学习的特征提取方法
    1.4 相关投影分析概述
        1.4.1 典型相关分析基本理论与研究现状
        1.4.2 偏最小二乘的基本理论与研究现状
    1.5 图像识别的主要应用
        1.5.1 人脸识别概述
        1.5.2 基于投影分析的手写体字符识别
        1.5.3 图像集匹配与分类
    1.6 本文的主要研究工作和内容安排
    1.7 本文工作的创新点
2 监督局部保持典型相关分析
    2.1 引言
    2.2 典型相关分析及其拓展算法介绍
        2.2.1 典型相关分析
        2.2.2 核典型相关分析
        2.2.3 判别型典型相关分析
        2.2.4 局部保持的典型相关分析
    2.3 监督的局部保持典型相关分析
        2.3.1 算法描述
        2.3.2 与DCCA的联系
    2.4 核监督的局部保持典型相关分析
    2.5 实验与分析
        2.5.1 在ORL人脸数据库上的实验
        2.5.2 在Yale人脸数据库上的实验
        2.5.3 在AR人脸数据库上的实验
        2.5.4 在FERET人脸数据库上的实验
    2.6 本章小结
3 正交正则化典型相关分析
    3.1 引言
    3.2 典型相关分析的特征抽取分析
    3.3 正交正则化典型相关分析
        3.3.1 正交正则化典型相关分析的判据准则建立
        3.3.2 正交正则化典型相关分析的模型求解
        3.3.3 讨论
    3.4 实验分析
        3.4.1 在手写体字符库上的实验
        3.4.2 人脸识别实验
    3.5 本章小结
4 稀疏保持典型相关分析
    4.1 引言
    4.2 稀疏表示分类器与稀疏保持投影
        4.2.1 稀疏表示分类器的基本思想
        4.2.2 稀疏保持投影方法
    4.3 稀疏保持典型相关分析
        4.3.1 稀疏保持典型相关分析的基本思想
        4.3.2 稀疏保持典型相关分析的模型优化
    4.4 实验与分析1
        4.4.1 手写体识别实验
        4.4.2 人脸识别实验
    4.5 稀疏正则化的判别型典型相关分析
        4.5.1 基本思想与模型构建
        4.5.2 算法过程
    4.6 实验与分析2
        4.6.1 手写体识别实验
        4.6.2 人脸识别实验
    4.7 本章小结
5 多成分分析
    5.1 引言
    5.2 张量代数及相关方法介绍
        5.2.1 张量代数的基本概念
        5.2.2 基于张量的相关方法介绍
    5.3 多成分分析
        5.3.1 构建协方差张量
        5.3.2 MCA算法过程
        5.3.3 时空复杂度分析
        5.3.4 与PCA和PLS的联系
    5.4 实验与分析
        5.4.1 在MFEAT手写体数据库上的实验
        5.4.2 在CENPARMI手写体数据库上的实验
        5.4.3 在FERET人脸库上的识别实验
    5.5 本章小结
6 二维多主角嵌入
    6.1 引言
    6.2 图像集分类的相关方法概述
        6.2.1 互子空间方法
        6.2.2 鉴别典型相关(DCC)
        6.2.3 多主角方法(MPA)
    6.3 二维多主角嵌入方法
        6.3.1 二维互子空间方法
        6.3.2 二维多主角嵌入
    6.4 实验与分析
        6.4.1 在ETH80图像集上的目标识别实验
        6.4.2 在CMU PIE人脸子库上的识别实验
    6.5 本章小结
7 结束语
    7.1 本文工作总结
    7.2 将来的工作
致谢
参考文献
附录
    博士在读期间发表与录用论文
    参加科研项目

(5)面向分类器的子空间分析方法研究与应用(论文提纲范文)

摘要
Abstract
1 绪论
    1.1 概述
    1.2 子空间分析方法研究进展
        1.2.1 主成分分析
        1.2.2 线性鉴别分析
        1.2.3 基于流形学习的方法
    1.3 生物特征识别
        1.3.1 人脸识别
        1.3.2 掌纹识别
        1.3.3 指关节纹识别
    1.4 本文研究工作概述
    1.5 本文的内容安排
2 特征抽取和分类器
    2.1 引言
    2.2 常见基于子空间分析特征抽取方法
        2.2.1 线性鉴别分析(LDA)
        2.2.2 基于局部最小重构误差准则的鉴别分析方法(MLREF)
        2.2.3 近邻保持嵌入(NPE)
        2.2.4 鉴别局部排列(DLA)
    2.3 两种基于重构误差的分类器
        2.3.1 线性回归分类器(LRC)
        2.3.2 基于稀疏表示的分类器(SRC)
    2.4 本章小结
3 重构鉴别分析(RDA)
    3.1 引言
    3.2 基本思想
    3.3 RDA算法
    3.4 RDA算法中的小样本问题
    3.5 RDA算法步骤
    3.6 RDA和相关工作的联系
        3.6.1 RDA和LDA
        3.6.2 RDA和MLREF
        3.6.3 RDA和LRC
    3.7 实验结果
        3.7.1 人脸识别
        3.7.2 指关节纹识别
        3.7.3 实验结果显着性评价
    3.8 实验结果分析
    3.9 本章小结
4 基于最大化最近子空间边缘准则的子空间分析方法(MNSMC)
    4.1 引言
    4.2 基本思想
    4.3 MNSMC算法
    4.4 MNSMC算法步骤
    4.5 实验结果
        4.5.1 人脸识别
        4.5.2 指关节纹识别
        4.5.3 手写体数字识别
    4.6 实验结果分析
    4.7 本章小结
5 局部重构片排列(LRPA)
    5.1 引言
    5.2 基本思想
    5.3 LRPA算法
    5.4 LRPA算法步骤
    5.5 实验结果
        5.5.1 人脸识别
        5.5.2 指关节纹识别
        5.5.3 掌纹识别
        5.5.4 算法对参数鲁棒性讨论
    5.6 实验结果分析
    5.7 本章小结
6 结束语
致谢
参考文献
附录

(6)基于图嵌入的特征抽取与人脸识别研究(论文提纲范文)

摘要
Abstract
1 绪论
    1.1 人脸识别概述
        1.1.1 人脸识别的研究意义
        1.1.2 人脸识别的典型应用
        1.1.3 人脸识别的发展与现状
    1.2 人脸检测
        1.2.1 基于知识的方法
        1.2.2 基于统计模型的方法
    1.3 人脸特征抽取
        1.3.1 基于知识的特征抽取方法
        1.3.2 基于统计学习的特征抽取方法
    1.4 人脸识别方法
        1.4.1 统计方法
        1.4.2 神经网络方法
        1.4.3 多分类器组合方法
    1.5 本文研究工作概述
    1.6 本文的内容安排
2 模糊局部投影方法
    2.1 引言
    2.2 模糊K近邻方法
    2.3 模糊线性鉴别分析(Fuzzy Fisherface)
    2.4 模糊局部保持投影(FLPP)
        2.4.1 局部保持投影(LPP)
        2.4.2 模糊局部保持投影(FLPP)的思想
        2.4.3 模糊局部保持投影(FLPP)算法流程
        2.4.4 实验
    2.5 模糊局部鉴别嵌入(FLDE)
        2.5.1 局部鉴别嵌入(LDE)
        2.5.2 模糊局部鉴别嵌入(FLDE)的思想
        2.5.3 实验
    2.6 本章小结
3 非监督线性差分投影
    3.1 引言
    3.2 几种线性方法
        3.2.1 Fisher鉴别准则(LDA)
        3.2.2 近邻保持嵌入(NPE)
        3.2.3 非监督鉴别投影(UDP)
    3.3 非监督的线性差分投影(ULDP)
        3.3.1 基本思想
        3.3.2 局部最小嵌入
        3.3.3 全局最大方差
        3.3.4 ULDP准则
    3.4 同其他方法的联系
        3.4.1 LLE和NPE联系
        3.4.2 NPE和ULDP联系
        3.4.5 LLE,NPE和ULDP联系
    3.5 实验
        3.5.1 实验设计
        3.5.2 实验结果
        3.5.3 实验分析
    3.6 本章小结
4 基于最大间距准则的局部图嵌入
    4.1 引言
    4.2 局部线性嵌入(LLE)和最大边缘准则函数(MMC)
        4.2.1 局部线性嵌入(LLE)
        4.2.2 最大边缘准则函数(MMC)
    4.3 最大间距准则的局部图嵌入(LGE/MMC)
        4.3.1 基本思想
        4.3.2 算法过程
    4.4 实验
        4.4.1 实验设计
        4.4.2 最优参数选择
        4.4.3 识别实验与分析
    4.5 本章小结
5 二维局部图嵌入鉴别分析
    5.1 引言
    5.2 几种二维线性方法
        5.2.1 二维主成分分析(2DPCA)
        5.2.2 二维线性鉴别分析(2DLDA)
        5.2.3 二维局部保持投影(2DLPP)
    5.3 二维局部图嵌入鉴别分析(2DLGEDA)
        5.3.1 理论基础
        5.3.2 算法过程
        5.3.3 算法分类
    5.4 实验
        5.4.1 在ORL人脸数据库上的实验
        5.4.2 在Yale人脸数据库上的实验
        5.4.3 在FERET人脸数据库上的实验
    5.5 实验结果分析
    5.6 本章小结
6 结束语
致谢
参考文献
附录

(7)图像特征抽取的若干新方法研究(论文提纲范文)

摘要
Abstract
1 绪论
    1.1 课题的研究背景及其意义
    1.2 人脸识别研究现状
        1.2.1 发展概述
        1.2.2 人脸检测方法
        1.2.3 特征抽取方法
        1.2.4 人脸识别方法
    1.3 本文研究工作概述
        1.3.1 本文的内容安排
2 基于样本区域分析的模糊支持向量机
    2.1 引言
    2.2 支持向量机
        2.2.1 最优分类面
        2.2.2 广义最优分类面
        2.2.3 非线性支持向量机
    2.3 模糊支持向量机(FSVM)
        2.3.1 输入样本的模糊属性
        2.3.2 两类FSVM的形式表示
        2.3.3 模糊隶属度函数的依赖性
    2.4 改进的FSVM分类器
        2.4.1 基于3叉决策树的FSVM分类器
        2.4.2 基于样本区域分析的FSVM分类器
    2.5 实验结果及分析
    2.6 本章小节
3 一种松弛条件下的完全模糊线性鉴别分析策略
    3.1 引言
    3.2 传统的小样本问题解决方法
        3.2.1 线性鉴别分析理论
        3.2.2 基于Fisherfaces的方法
    3.3 模糊Fisherface特征提取方法
        3.3.1 模糊K近邻方法
        3.3.2 模糊Fisherface特征提取方法
        3.3.3 一个完整的模糊线性鉴别分析策略
    3.4 实验结果与分析
    3.5 本章小节
4 对称零空间准则下的LDA特征抽取方法
    4.1 引言
    4.2 线性鉴别分析理论及其相关算法
        4.2.1 直接线性鉴别分析(Direct LDA)
        4.2.3 完整线性鉴别分析(Complete LDA)
        4.2.4 随机鉴别分析(Random LDA)
    4.3 基于对称零空间准则的LDA方法
        4.3.1 Fisher极小鉴别准则理论
        4.3.2 一种混合Fisher鉴别准则
    4.4 实验结果与分析
        4.4.1 ORL人脸数据库
        4.4.2 NUST603人脸数据库
        4.4.3 FERET人脸数据库
        4.4.4 XM2VTS人脸数据库
    4.5 本章小节
5 几种组合策略的特征抽取方法及其分类器
    5.1 基于独立成分分析的模糊序贯最小优化算法
        5.1.1 序贯最小优化(SMO)简介
        5.1.2 独立成分分析(ICA)简介
        5.1.3 基于ICA-DT-FSMO的实验结果及分析
    5.2 基于核的四重子空间的LDA特征抽取方法
        5.2.1 核的相关技术
        5.2.2 核主分量分析
        5.2.3 KFS算法
        5.2.4 基于KFS的实验结果及分析
    5.3 模糊四重子空间的LDA特征抽取方法
        5.3.1 模糊四重子空间算法
        5.3.2 实验结果及分析
6 结论
致谢
参考文献
附录

(8)相关投影分析在特征抽取中的应用研究(论文提纲范文)

摘要
Abstract
目录
1. 绪论
    1.1 引言
    1.2 研究历史与现状
        1.2.1 线性投影分析的研究进展
        1.2.2 相关投影分析的研究进展
        1.2.3 基于图像矩阵的投影分析的研究进展
        1.2.4 基于核的相关投影分析的研究进展
    1.3 相关投影分析的具体应用
    1.4 课题来源
    1.5 本文的主要研究工作和内容安排
    1.6 本文工作的创新点
2. 相关投影分析
    2.1 引言
    2.2 典型相关分析
        2.2.1 CCA问题描述
        2.2.2 CCA问题求解
        2.2.3 解的性质
        2.2.4 几何解释
        2.2.5 CCA与其他多元分析方法之问的关系
        2.2.6 基于CCA的鉴别特征抽取与组合
    2.3 偏最小二乘分析
        2.3.1 PLS问题描述
        2.3.2 PLS及解的性质
        2.3.3 非迭代PLS算法
    2.4 基于核的相关投影分析
        2.4.1 KCCA
        2.4.2 KPLS
    2.5 二维相关投影分析
    2.6 实验结果与分析
        2.6.1 相关特征抽取实验
        2.6.2 组合特征抽取实验
        2.6.3 实验结果分析
    2.7 本章小结
3. 基于样本标号的相关投影分析
    3.1 引言
    3.2 相关投影分析与LDA的关系
        3.2.1 CCA、PLS与LDA的关系
        3.2.2 2DCCA与2DLDA的关系
    3.3 基于样本标号的相关投影分析
    3.4 实验结果与分析
        3.4.1 在ORL人脸库上的实验
        3.4.2 在AR人脸库上的实验
        3.4.3 实验结果分析
    3.5 本章小结
4. 模糊相关投影分析
    4.1 引言
    4.2 基于QTSK模型的模糊偏最小二乘
        4.2.1 QTSK模型
        4.2.2 QFPLS算法
        4.2.3 QFPLS改进算法
        4.2.3.1 IQFPLS算法
        4.2.3.2 QFPLS_SVD算法
    4.3 实验结果与分析
        4.3.1 在CASIA-Palmprint数据集上的实验
        4.3.2 在PolyU Palmprint数据集上的实验
        4.3.3 在人脸库上的实验
        4.3.4 实验结果分析
    4.4 本章小结
5. 基于相关分析的战斗机图像自动识别
    5.1 引言
    5.2 基于相关分析的遥感图像上战斗机自动识别
    5.3 本章小结
6. 基于PLSR的美国大选辅助分析
    6.1 引言
    6.2 基于PLSR的美国总统选举分析与预测
        6.2.1 数据准备
        6.2.2 基于普通MLR建模及数据分析
        6.2.3 基于PLSR的建模及数据分析
        6.2.4 结果分析
        6.2.5 基于决策树的分类与预测
    6.3 实验结果分析
    6.4 本章小结
7. 结束语
    7.1 本文工作的总结
    7.2 将来的工作
致谢
参考文献
附录

(9)线性及非线性特征提取人脸识别方法的研究(论文提纲范文)

致谢
摘要
ABSTRACT
第一章 绪论
    1.1 人脸识别的定义、研究背景及现实意义
    1.2 人脸识别方法概述
        1.2.1 人脸识别的子空间方法
        1.2.2 人脸识别的流形学习方法
    1.3 课题研究具体内容及安排
第二章 线性子空间人脸识别算法
    2.1 主成分分析PCA
    2.2 独立成分分析ICA
        2.2.1 ICA 基本思想
        2.2.2 ICA 估计原理
        2.2.3 FastICA 基本思想
        2.2.4 PCA 与ICA 的特点
    2.3 实验与分析
    2.4 线性鉴别分析LDA
        2.4.1 LDA 的算法思想及步骤
        2.4.2 LDA 在人脸识别中的应用
    2.5 最大间距准则MMC
        2.5.1 MMC 的最佳鉴别矢量算法
        2.5.2 MMC 与Fisher 准则的之间的关系
    2.6 实验与分析
    2.7 本章小结
第三章 基于流形的各种算法的研究
    3.1 引言
    3.2 流形及流形学习的基本概念
    3.3 等距映射 Isomap
        3.3.1 等距映射基本思想
        3.3.2 基于ISOMAP 的人脸图像数据的维数约简及可视化
    3.4 局部线性嵌入 LLE
        3.4.1 LLE 基本思想及算法步骤
        3.4.2 基于LLE 的人脸图像数据的维数约简、可视化及人脸识别
    3.5 拉普拉斯特征映射LE
        3.5.1 拉普拉斯特征映射基本思想及算法步骤
    3.6 局部保持映射LPP
        3.6.1 LPP 基本思想及算法步骤
        3.6.2 PCA、LDA 与LPP 的关系
        3.6.3 实验与分析
    3.7 无监督鉴别投影映射UDP
        3.7.1 UDP 算法思想
        3.7.2 LPP、LDA 与UDP 的关系
        3.7.3 实验与分析
    3.8 本章小结
第四章 基于无监督鉴别投影映射(UDP)改进的特征提取方法
    4.1 引言
    4.2 基于正交化的UDP 最佳鉴别矢量算法概述
        4.2.1 基于标准正交性的UDP 最佳鉴别矢量算法
        4.2.2 基于正交化的UDP 算法思想
    4.3 实验与分析
    4.4 具有统计不相关的UDP 最佳鉴别矢量算法概述
        4.4.1 统计不相关性思想
        4.4.2 具有统计不相关的UDP 最佳鉴别矢量算法思想
    4.5 实验与分析
    4.6 本章小结
结束语
参考文献
硕士期间发表的文章
详细摘要

(10)高精度人脸识别算法研究(论文提纲范文)

摘要
ABSTRACT
第一章 绪论
    1.1 引言
    1.2 自动人脸识别技术简介
        1.2.1 问题描述
        1.2.2 研究意义和典型应用
        1.2.3 研究的三个历史阶段
        1.2.4 国内外研究现状
    1.3 人脸识别中的特征提取问题
        1.3.1 人脸特征提取研究的必要性
        1.3.2 人脸特征提取研究进展
    1.4 论文的主要思想和工作
    1.5 论文的结构安排
    参考文献
第二章 面向现实环境的人脸识别及其评价标准
    2.1 引言
    2.2 当前的评价数据和准则及其存在的问题
        2.2.1 常用人脸数据库
        2.2.2 人脸数据库的适用性评价和采集方法建议
        2.2.3 FERET测试协议
        2.2.4 FRGC测试协议
    2.3 本文的人脸识别性能评价及相关建议
    2.4 关于底层特征
        2.4.1 Gabor特征提取与性质
        2.4.2 局部二值模式
    参考文献
第三章 人脸特征空间类别分布结构探索
    3.1 全局散度分析
    3.2 局部重叠分析
    3.3 流形结构分析
        3.3.1 等距映射
        3.3.2 拉普拉斯特征映射
    3.4 先验分布假设下分类错误率
    3.5 基于类别结构先验假设的高精度人脸识别
    3.6 本章小结与讨论
    参考文献
第四章 投影寻踪——统一的人脸特征抽取算法框架
    4.1 引言
    4.2 主流的代数特征抽取算法
        4.2.1 主成成分析:特征脸
        4.2.2 线性判别分析:Fisher脸
        4.2.3 独立成分分析
        4.2.4 局部保持投影和非监督鉴别投影及其关系
    4.3 投影寻踪框架与投影索引
        4.3.1 非高斯性投影指标
        4.3.2 基于局部散度的投影指标
        4.3.3 基于类内散度的投影指标
        4.3.4 基于类间散度的投影指标
        4.3.5 投影寻踪框架的意义
    4.4 局部寻踪:一种新的投影寻踪算法
        4.4.1 算法的思想
        4.4.2 局部寻踪算法描述
        4.4.3 非线性局部寻踪
    4.5 人脸图像可视化实验
    4.6 人脸识别实验
        4.6.1 实验设计和数据
        4.6.2 投影寻踪框架内的性能比较
        4.6.3 有监督局部寻踪的有效性测试
        4.6.4 非线性局部寻踪的有效性测试
    4.7 本章小结
    参考文献
第五章 单训练样本条件下的人脸识别难题
    5.1 引言
    5.2 单训练样本条件下的代数特征抽取算法
    5.3 从主成分分析到局部离散投影
        5.3.1 经典主成分分析算法分析
        5.3.2 加权主成分分析
        5.3.3 局部离散投影
        5.3.4 非线性局部离散投影
    5.4 单训练样本条件下的特征抽取新算法
        5.4.1 单训练样本条件下的白化变换分析
        5.4.2 算法描述
        5.4.3 与局部寻踪的关系
    5.5 人脸识别实验
        5.5.1 单样本条件下的白化变换有效性测试
        5.5.2 局部离散投影的有效性测试
        5.5.3 非线性局部离散投影的有效性测试
        5.5.4 本文方法与其他单样本算法的比较
    5.6 本章小结
    参考文献
第六章 基于统计的生物启发式人脸识别算法
    6.1 引言
    6.2 人类视觉识别系统特性的借鉴意义
        6.2.1 神经科学研究成果的启示
        6.2.2 心理学研究成果的启示
        6.2.3 子空间学习特征抽取的一种仿生学解释
    6.3 生物启发的人脸特征提取
        6.3.1 双重人脸表示
        6.3.2 视觉纹理特征
        6.3.3 视觉颜色特征
        6.3.4 增量式鲁棒鉴别分析模型
    6.4 生物启发式人脸识别系统
        6.4.1 系统架构
        6.4.2 相似度准则
        6.4.3 层次相似度融合
    6.5 实验
        6.5.1 实验介绍
        6.5.2 技术细节
        6.5.3 结果与分析
        6.5.4 与相关工作的对比
    6.6 本章小结
    参考文献
第七章 结论与展望
    7.1 本论文研究工作的总结
    7.2 研究工作的不足和展望
攻读博士学位期间发表的学术论文
致谢

四、有效最佳鉴别特征的抽取与维数问题(论文参考文献)

  • [1]基于图约束的模型学习研究[D]. 孙为军. 广东工业大学, 2020(02)
  • [2]基于多视图相关投影分析的特征抽取与融合方法研究[D]. 杨静. 南京理工大学, 2017(07)
  • [3]小样本情况下特征抽取算法与人脸识别研究[D]. 卢桂馥. 南京理工大学, 2012(06)
  • [4]基于相关投影分析的特征提取研究及在图像识别中的应用[D]. 侯书东. 南京理工大学, 2012(06)
  • [5]面向分类器的子空间分析方法研究与应用[D]. 陈燚. 南京理工大学, 2012(06)
  • [6]基于图嵌入的特征抽取与人脸识别研究[D]. 万鸣华. 南京理工大学, 2011(12)
  • [7]图像特征抽取的若干新方法研究[D]. 宋晓宁. 南京理工大学, 2011(12)
  • [8]相关投影分析在特征抽取中的应用研究[D]. 杨茂龙. 南京理工大学, 2011(05)
  • [9]线性及非线性特征提取人脸识别方法的研究[D]. 刘粉香. 南京林业大学, 2009(02)
  • [10]高精度人脸识别算法研究[D]. 邓伟洪. 北京邮电大学, 2009(05)

标签:;  ;  ;  ;  ;  

有效和最优判别特征的提取和维数
下载Doc文档

猜你喜欢