面向聚焦二十面体网格的360度视频超分辨率应用VertexShuffle( Applying VertexShuffle Toward 360-Degree Video Super-Resolution on Focused-Icosahedral-Mesh )

Li, Na Liu, Yao

随着360度图像/视频、增强现实(AR)和虚拟现实(VR)等技术的出现，对球面信号分析和处理的需求越来越大。然而，从球面信号投射出的平面信号需要付出大量的努力，这导致了像素浪费、失真等问题。球形CNN的最新进展为直接分析球形信号开辟了可能性。然而，他们关注的是全网格，这使得在实际应用中由于带宽需求非常大而无法处理这些情况。为了解决360度视频流的带宽浪费问题和节省计算量，我们利用聚焦二十面体网格来表示一个小区域，并构造矩阵将球形内容旋转到聚焦网格区域。我们还提出了一种新的VertexShuffle操作，与UGSCNN中引入的MeshConv转置操作相比，该操作在性能和效率上都有显著的提高。我们进一步将所提出的方法应用于超分辨率模型，首次提出了一种球形超分辨率模型，该模型直接操作于360度数据的球形像素的网格表示。为了评估我们的模型，我们还收集了一组高分辨率的360度视频来生成一个球形图像数据集。实验表明，与使用简单MeshConv转置操作的基线球形超分辨率模型相比，我们提出的球形超分辨率模型在性能和推理时间方面都有显著的优势。总之，我们的模型在360度输入下获得了很好的超分辨率性能，当网格上的16x顶点超分辨率时，平均获得了32.79dB的PSNR。

SciDown文献求助系统（解决99%问题） Public Download arXiv.org