Scidown文献预览系统!
使用自我监督奖励生成不配对的跨语言图像标题( Unpaired Cross-lingual Image Caption Generation with Self-Supervised Rewards )
Y Song S Chen Y Zhao Q Jin
生成不同语言的图像描述是满足全世界用户的需要。然而,为每种目标语言收集大规模的配对图像标题数据集是训练下降图像标题模型的关键。以往的工作通过枢轴语言来解决非配对跨语言图像标题问题,枢轴语言借助枢轴语言中的配对图像标题数据和枢轴到目标的机器翻译模型。然而,这种以语言为轴心的翻译方法存在着由轴心到目标的翻译带来的不准确性,包括不流畅和视觉无关错误。在本文中,我们提出在强化学习框架中产生具有自监督奖励的跨语言图像字幕来缓解这两类错误。我们利用目标语中的单语语料库的自我监督来提供流畅性奖励,并提出了一个多层次的视觉语义匹配模型来提供句子级和概念级的视觉关联奖励。我们在两个广泛使用的图像字幕语料库上分别对英汉两种语言的非配对跨语言图像字幕进行了广泛的实验。与现有的方法相比,本文提出的方法在性能上有了很大的提高。
『Sci-Hub|Scidown』怎么用?来看看教程吧!

支持模式 1.支持DOI号 2.支持英文文献全名搜索 3.支持参考文献搜索 4.知网文献(暂时关闭)


安卓手机、电脑用户,您可以在QQ浏览器里输入 www.scidown.cn 打开scidown解析,就可以解析、下载了!(注意是文献的DOI号)


苹果手机用户,您需要先在App Store里搜索并下载 Documents by Readdle 这个APP,在APP首页,左划右下角的指南针图标打开APP内置浏览器,在浏览器里输入 www.scidown.cn 打开scidown解析,就可以解析、下载了!


如出现BUG?赶快加入【Scidown互助交流群】反馈吧:729083885【点击一键加群】