欢迎光临本站!

移动视觉搜索相关技术及主要挑战-基本架构

来源:技术探讨    更新时间:2019-12-16 14:38:30    编辑:老王    浏览:395

  从已有研究文献来看,大多数研究[42 -45]对MVS基本架构未作详细分类,基本上都是对MVS结构及通用表述方法[46]进行了阐述。事实上,根据MVS系统构建、运营模式及应用领域的不同,其设计思想及实现方式有较大差异。目前流行的MVS系统设计与实现方式各有不同,本文依据视觉检索方式及需求的区别,对参考文献[47]的研究成果加以总结及完善,将MVS分为三种基本架构:标准架构、本地化架构和混合架构。图1列出的是MVS基于C/S模式的三种基本架构:

移动视觉搜索相关技术及主要挑战-基本架构

移动视觉搜索相关技术及主要挑战-基本架构

  (a)标准架构[48]:通过移动智能终端获取视觉对象后,在本地进行压缩编码,将待搜索视觉对象通过无线网络传输至远程服务器端,在远程服务器上完成视觉对象分析和匹配过程,再将搜索结果返回至移动智能终端;

  (b)本地化架构[49 -50]:根据移动用户历史行为及搜索需求,自动在移动智能终端本地缓存中建立临时视觉对象知识库,当移动智能终端获取视觉对象后,首先在本地缓存中进行搜索,当无法在本地搜索出用户感兴趣的对象时,再将搜索请求通过无线网络发送至远程服务器,由远程服务器端完成视觉对象的匹配过程,再将搜索结果返回至移动智能终端;

  (c)混合架构[51 -53]:前两者的综合运用,通过移动智能获取视觉对象后,在移动智能终端提取视觉对象局部特征,将局部特征数据编码后,通过无线网络传输至服务器,由服务器根据传递过来的局部特征数据进行匹配,再将搜索结果返回至移动智能终端。

  三者各有优缺点,针对实际情况的不同,效果各不相同。(c)是目前研究中采用较多的方案,近期北京大学数字视频编解码技术国家工程实验室[54]、厦门大学智能多媒体实验室[55]等关于MVS的研究大部分基于此结构。无论MVS的基本架构如何,其基本搜索流程的核心步骤不会有太大变化,现有研究[7,31,56]基本都认同以下基本流程(见图2)。首先通过移动智能终端获取视觉对象,提取视觉对象的特征和描述符,然后将描述符与存储在视觉对象知识库中的描述符相匹配,最后返回搜索结果。

移动视觉搜索相关技术及主要挑战-基本架构

  参考文献


  [42]Gao K,Zhang Y D,Zhang D M,et al. Accurate off-line query expansion for large-scales mobile visual search[J].IEEE Signal Processing,2013(93):23 05 - 2315.

  [43]Chandrasekhar V,Chen D M,Lin A,et al. Comparison of local feature descriptors for mobile visual search[C]/ / Proceeding of2010 IEEE 17thInternational Conference on Image Processing,Hong Kong,September 26 -29,2010.

  [44]Sang J T,Mei T,Xu Y Q,et al. Interaction design for mobile visual search[J]. IEEE Transactions on Multimedia,2013,15(7):16 65 - 1676.

  [45]Zhang N,Mei T,Hua X S,et al. Interactive mobile visual search for social activities completion using query image con-textual model[J / OL]. IEEE Multimedia,2013(6):1 - 12[2012 - 08 - 26].

  [46]Liu X,Hull J J,Graham J,et al. Mobile visual search,linking printed documents to digital media[J / OL]. Demonstra-tion of IEEE Conference on Computer Vision and Pattern Recognition,2010[2013 - 08 - 28].

  [47]Girod B,Chandrasekhar V,Grzeszczuk R,et al. Mobile visual search:architectures,technologies,and the emergingMPEG Standard[J]. IEEE Multimedia,2011(7):86 - 94.

  [48]Duan L Y,Liu X K,Chen J,et al. Optimizing JPEG quantization table for low bit rate mobile visual search[C]/ /Visual Communications and Image Processing(VCIP),2012 IEEE,San Diego,CA,2012:1 - 6.

  [49]Philbin J,Chum O,Isard M,et al. Lost in quantization:improving particular object retrieval in large scale image data-bases[C]/ / Proceeding of Computer Vision and Pattern Recognition,CVPR 2008,IEEE Conference,Anchorage,AK,2008:1 - 8.

  [50]Chen D M,Tsai S,Chandrasekhar V,et al. Residual enhanced visual vector as a compact signature for mobile visualsearch[J]. Siganal Processing,2013,93(8):2316 - 2327.

  [51]Chen J,Duan L Y,Ji R R,et al. Sorting local descriptors for law bit rate mobile visual search[C]/ / Proceeding of IEEE Inter-national Conference on Acoustics,Speech and Signal Processing,Prague,Czech Republic,2011:1029 -1032.

  [52]Liu X L,Lang B,Xu Y,et al. Feature grouping and local soft match for mobile visual search[J]. Pattern RecognitionLetters,2012(33):239 - 246.

  [53]Wu Y,Lu S Y,Mei T,et al. Local visual words codeing for low bit rate mobile visual search[C]/ / Proceedings of the20th ACM Iinternational Conference on Multimedia,New York,USA,2012:989 - 992.

  [54]北京大学数字视频编解码技术国家工程实验室[EB /OL].[2013 - 09 - 03]. http:/ / www. idm. pku. edu. cn / index.aspx.(National Engineering Laboratory for Video Technology[EB / OL].[2013 - 09 - 03].

  [55]厦门大学智能多媒体实验室[EB / OL].[2013 - 09 - 03].

  [7]Cao Y,Ritz C,Raad R. Image compression and retrieval for mobile visual search[C]/ /2012 International Symposium on Com-munications and Information Technologies(ISCIT),2 -5 Oct,2012,Gold Coast,OLD:1027 -1032.

  [31]Girod B,Chandrasekhsr V,Chen D M,et al. Mobile visual search[J / OL]. IEEE Signal Processing Magazine,SpecialIssue on Mobile Media Search.[2013 - 08 - 26].

  [56]Li H Q,Wang Y,Mei T,et al. Interactive multimodal visual search on mobile device[J]. IEEE Transactions on Multi-media,2013,15(3):594- 607.

评论区

表情

共0条评论
  • 这篇文章还没有收到评论,赶紧来抢沙发吧~

相关内容

点击排行

随机新闻

评论排行榜