Scidown文献预览系统!
使用图注意关系网络学习对齐的图像-文本表示( Learning Aligned Image-Text Representations Using Graph Attentive Relational Network )
Y Jing W Wang L Wang T Tan
图文匹配旨在衡量图像和文本描述之间的相似性,最近取得了很大的进展。这一跨模态匹配任务的关键是建立视觉对象与词之间的潜在语义对齐。由于句子结构的广泛变异,仅利用全局跨模态特征来学习潜在语义对齐是非常困难的。以往的许多方法试图通过注意机制来学习对齐的图像-文本表示,但通常忽略了文本描述中的关系,这些关系决定了单词是否属于同一视觉对象。本文提出了一种图形注意关系网络(GARN),通过对文本中名词短语之间的关系建模来学习对齐的图文表示,从而实现身份感知的图文匹配。在GARN中,我们首先将图像和文本分别分解为区域和名词短语。然后提出了一种跳图神经网络(skip-GNN)来学习有效的文本表示,该表示是文本特征和关系特征的混合。最后,进一步提出了一种图形注意网络,通过对名词短语之间的关系进行建模,得到名词短语属于图像区域的概率。我们在中大人物描述数据集(CUHK-PEDES)、Caltech-UCSD鸟类数据集(CUB)、Oxford-102花卉数据集和Flickr30K数据集上进行了广泛的实验,以验证模型中每个组件的有效性。实验结果表明,我们的方法在这四个基准数据集上都达到了目前的水平。
『Sci-Hub|Scidown』怎么用?来看看教程吧!

支持模式 1.支持DOI号 2.支持英文文献全名搜索 3.支持参考文献搜索 4.知网文献(暂时关闭)


安卓手机、电脑用户,您可以在QQ浏览器里输入 www.scidown.cn 打开scidown解析,就可以解析、下载了!(注意是文献的DOI号)


苹果手机用户,您需要先在App Store里搜索并下载 Documents by Readdle 这个APP,在APP首页,左划右下角的指南针图标打开APP内置浏览器,在浏览器里输入 www.scidown.cn 打开scidown解析,就可以解析、下载了!


如出现BUG?赶快加入【Scidown互助交流群】反馈吧:729083885【点击一键加群】