欢迎光临本站!

分布式降维技术

来源:技术探讨    更新时间:2019-12-17 14:47:15    编辑:老王    浏览:542

  分布式降维方法综合了分布式技术及降维技术的优点,可以有效消除“维灾”及集中式架构带来的影响,近年来逐渐引起关注。

  (1)基于P2P实现LSI/VSM


  pSearch[102]将VSM和LSI技术应用到CAN网络中,其基本思想是为查询请求及所有文档对象建立特征向量,并将其映射到相应的CAN地址空间,与查询向量语义相似文档向量在邻近的CAN地址空间,查询只需要在限定的邻近节点进行,有效提高了搜索效率。但这种方法存在几个局限性:首先该方法基于CAN网络实现,无法适用于其他结构的P2P网络;其次由于网络环境中数据维度较高且处于动态变化中,CAN由于维度的限制不能很好满足有效搜索需求;最后,CAN对于语义空间的平均划分策略容易导致节点上的负载不均衡。

  文献[103]提出一种分级语义覆盖网络,通过创建与网络节点相关联的语义簇来实现语义搜索。分级语义覆盖网络基于DHT的思想,利用LSI及余弦相似性将语义上相近的节点聚集成簇,能够同时支持基于关键字匹配和基于语义的相似性搜索。相对pSearch方法,分级语义覆盖网络可以更好的支持生僻词的查询且查询效率更高。

  文献[104]将LSI技术与非结构化P2P技术结合,实现了语义查询。该方法将网络中的节点分为super-peer和peer,并采用一种三层构造机制:每个peer建立自己的词条文档矩阵A;super-peer将其所负责的peer上的资源整合为新的语义词典矩阵T;super-peer间相互交互信息构造路由矩阵S。当某个peer提出查询请求q,首先将q提交给super-peer,super-peer通过S计算出可能含有结果的若干个super-peer′,然后super-peer′根据T查询到具体的peer′,最后确定的peer′在A中查找到与q语义匹配的资源并返回给peer。

  FCAN[105]方法通过对关键字向量表示的文本建立索引,并将索引发布到CAN网络中,利用索引信息和CAN在同一空间的特点,实现结构化P2P系统中基于文本内容的查询。FCAN通过FastMap实现了语义空间到P2P空间的映射,在保证语义完整性的同时有效地对语义空间进行了降维。

  (2)SSW(SemanticSmallWorld)


  SSW[106]采用的方法是降低叠加网络的维数,将语义相近的数据对象和P2P节点自组织成多个语义簇,然后通过自适应空间线性化方法将高维空间上的语义簇线性化到一维语义小世界上。这种方法克服了pSearch中存在的负载过大的弊端,但在降维过程中语义簇丢失了大量相似的语义信息,导致系统准确性降低,同时存在语义空间与P2P叠加网络空间维数不匹配的问题。文献[107]提出了一种基于SSW在非结构P2P上实现语义相似性搜索的,每个节点维护着一系列与其语义相似的节点连接,可以有效减少搜索过程中的通信代价。


评论区

表情

共0条评论
  • 这篇文章还没有收到评论,赶紧来抢沙发吧~

相关内容

点击排行

随机新闻

评论排行榜