欢迎光临本站!

高维语义空间降维-非线性降维方法

来源:技术探讨    更新时间:2019-12-17 14:36:57    编辑:老王    浏览:429

  现实生活中的真实数据集更多的体现为非线性结构,线性降维方法不能在降维过程中很好的保持数据集的非线性特性。为弥补线性降维方法的不足,学者们提出了非线性降维方法。非线性降维方法可以通过对线性降维方法进行非线性扩展(通常采用核技巧或局部方法)来获得,也可以对相应的函数采用神经网络或直接采用最优化方法(如梯度下降法)等来获得。流行学习是当前流行的一种非线性降维方法,其目标是发现嵌入在高维特征空间中的低维流形结构,并给出一个有效的低维表示。流行学习的典型代表有等距映射ISOMAP(IsometricMapping)[68]、局部线性嵌入LLE算法[69]、Laplacian特征映射[70]等。非线性降维方法可分为三种类型(图3):

  (1)全局方法。降维过程中保留数据集的全局属性;

  (2)局部方法。降维过程中保留数据集的局部属性;

  (3)混合方法。通过局部线性模型的全局排列实现降维。

  全局方法


  全局非线性降维技术在降维过程中保留高维数据的全局属性。典型的全局方法有核主成分分析[71]、等距映射、多维尺度分析及神经网络方法。

  (1)核主成分分析(KernelPCA,KPCA)。KPCA是PCA针对非线性数据集的“核化版本”,其基本思想为将非线性数据集通过核方法映射到一个更高维的特征空间,然后利用传统PCA方法实现数据降维。更高维的特征空间可以通过非线性映射图片.pngF得到,由于通过映射后的两个点的点积可以用核函数图片.png来估计,因此该方法称为核PCA。KPCA的性能依赖于核函数的选择,而实际应用中核函数往往无法有效的选择。

  (2)多维尺度分析(Multi-DimensionalScaling,MDS)。MDS可分为度量MDS和非度量MDS。度量MDS确保降维后低维数据点之间的距离与原数据点之间的距离尽量保持一致,可以尽可能保留数据对象间的相似性。度量MDS方法具有明显的几何意义,降维过程中距离函数的选择具有灵活性。非度量MDS[72]旨在确保降维前后数据对象间顺序关系的一致性,而非数据对象间的相对距离。

  (3)等距映射(IsometricMapping,ISOMAP)。ISOMAP方法的出发点与度量MDS相似,即在保持数据点间相对距离一致的情况下实现数据降维。但ISOMAP采用“测地距离”表示数据对象间的相似性,而度量MDS通常选用“欧式距离”。

  ISOMAP方法用邻域图(NeighborhoodGraph)来表达数据的邻域结构,根据流形的局部欧氏性质,邻域图上的每一条边都可以采用欧氏距离来进行表达;然后用邻域图中的最短路径长度来对未知的全局测地距离进行逼近;最后以逼近得到的这些全局测地距离作为输入运行古典MDS算法,将数据重建在其内在的低维参数空间中,可以发现数据内在的全局几何结构及其有意义的内在维。

  但是由于估计测地线距离的不精确性,ISOMAP在未采样的空间可能会得到较差的结果;同时ISOMAP具有拓扑不稳定性,可能在邻域图中产生错误的连接;此外,ISOMAP不产生内在模型,而当其他类似数据需要降维时,必须重新训练。

  (4)神经网络方法。基于神经网络的降维方法利用神经网络的特性去除高维数据集的冗余特征,将其映射到低维空间,其典型代表有多层自动编码器(MultilayerAuto-encoder)[73]、自组织特征映射(Self-OrganizingMap,SOM)[74]、生成建模(GenerativeModelling)[75]等方法。

  多层自动编码器为一种具有奇数个隐含层的前向反馈网络,从功能上可分为编码和解码两个网络。编码网络和解码网络存在一个重合的“瓶颈”层,该层具有最少的神经元,且能够反映高维数据集的本质维数,进而实现数据降维。

  SOM网络分为输入层,竞争层和输出层,基于数据聚类实现数据降维。竞争层中邻近的各个神经元通过彼此侧向交互作用,相互竞争学习,最终在输出神经元层排列成一张低维的映射图,从而实现数据的降维。映射图中语义相似的神经元距离较近,语义不相似的神经元则距离较远。

  局部方法


  局部非线性降维方法基于局部特征保持的思想,即仅仅考虑数据样本附近数据的位置关系,代表方法有局部线性嵌入(LocalLinearEmbedding,LLE)[76]、Laplacian特征映射、HessianLLE[77]等。

  局部线性嵌入使人们开始更加关注数据集所蕴含的内蕴特征。其基本思想是在降维过程中尽可能保持邻近点的局部拓扑结构,确保相邻的高维数据在低维空间内同样保持相邻关系。LLE首先进行近邻搜索,确定高维数据的邻居;然后计算每个高维点的权重,用邻居数据的权值组合表示高维数据;最后,基于本征向量优化技术寻找高维数据的低维嵌入,确保每个数据对象的权重不变。LLE对流形中短路现象不太敏感,同时克服了局部极小的影响;但对非均匀数据区域表现较差,同样不产生内部模型。

  混合方法


  混合方法通过全局排列局部线性模型实现降维,具体实现为:首先计算一系列局部线性模型,然后对线性模型进行全局排列。该方法典型代表有局部线性协同(LocallyLinearCoordination,LLC)[78]方法及ManifoldCharting[79]方法。

  LLC方法通过计算一些局部线性模型并对这些局部模型执行一个全局排列来实现降维。该方法分为两步:首先通过期望最大化(ExpectationMaxi-mization)算法计算一系列关于高维数据的局部线性模型;然后利用扩展的LLE方法排列调整这些局部线性模型以得到原数据集的低维表示。LLC的降维计算代价较LLE或ISOMAP有了明显的降低;但LLC易受到数据集中异常值的影响,同时期望最大化算法易陷入对数似然函数的局部最大值。

  此外,学者们还提出了多种降维技术,如线性降维方面的因子分析(FactorAnalysis,FA)[80]、独立成分分析(IndependentComponentsAnalysis,ICA)[81]等方法;非线性降维方面的主曲线流形[82],最大方差展开(MaximumVarianceUnfolding,MVU)[83]等方法,这里不再详细介绍。

评论区

表情

共0条评论
  • 这篇文章还没有收到评论,赶紧来抢沙发吧~

相关内容

点击排行

随机新闻

评论排行榜