Scidown文献预览系统!
超声的自我监督对比视频语音表示学习( Self-supervised Contrastive Video-Speech Representation Learning for Ultrasound )
J Jiao Y Cai M Alsharid L Drukker JA Noble
在医学成像中,人工标注获取起来可能很昂贵,有时访问起来也不可行,这使得传统的基于深度学习的模型难以缩放。因此,如果可以从原始数据中导出有用的表示,而不需要手动注释,这将是有益的。本文针对多模态超声视频-语音原始数据的自监督表征学习问题进行了研究。对于这种情况,我们假设超声视频和超声医生相应的叙述性语音音频之间存在高度的相关性。为了学习有意义的表征,模型需要识别这样的相关性,同时理解底层的解剖特征。我们设计了一个框架来建模视频和音频之间的对应关系,而不需要任何类型的人类注释。在此框架下,我们引入跨模态对比学习和亲和力感知的自定步调学习方案来增强相关建模。对多模态胎儿超声视频和音频的实验评价表明,该方法能够学习强表征,并能很好地转移到下游的标准平面检测和眼睛注视预测任务中。
『Sci-Hub|Scidown』怎么用?来看看教程吧!

支持模式 1.支持DOI号 2.支持英文文献全名搜索 3.支持参考文献搜索 4.知网文献(暂时关闭)


安卓手机、电脑用户,您可以在QQ浏览器里输入 www.scidown.cn 打开scidown解析,就可以解析、下载了!(注意是文献的DOI号)


苹果手机用户,您需要先在App Store里搜索并下载 Documents by Readdle 这个APP,在APP首页,左划右下角的指南针图标打开APP内置浏览器,在浏览器里输入 www.scidown.cn 打开scidown解析,就可以解析、下载了!


如出现BUG?赶快加入【Scidown互助交流群】反馈吧:729083885【点击一键加群】