高效图像和视频采集的计算摄影( Computational Photography for Efficient Image and Video Acquisition )

B Zhang

随着人们对娱乐需求、移动应用、物联网（IoTs）和自动驾驶汽车的需求不断增加，图像传感器变得无处不在。对于需要大规模部署传感器的无线传感器网络而言，除了对图像质量的要求外，功耗也成为一个重要的设计因素。对于低功耗CMOS图像传感器的研究已经有了大量的工作。与以往通过电路技术优化功耗的工作不同，本文对成像系统进行了重新思考，介绍了通过计算摄影技术实现极低功耗图像采集的方法。首先，我们提出了一种称为Microshift的有损图像压缩算法，该算法在保持硬件友好性的同时实现了最先进的片上压缩性能。为了实现该算法，我们提出了一个硬件架构，并在FPGA上进行了验证。ASIC设计的结果进一步验证了电源效率。该传感器实现了低至59.7PJ/（像素帧）的功率，同时运行在1530帧每秒。为了实现高性能的解压缩，我们提出了马尔可夫随机场方法，该方法对1.25位/像素的图像提供了>34dB的PSNR。其次，我们提出了DenResUnet来增强位深度信息，使得图像传感器的ADC量化更少的位。该DenResUnet采用广泛的残差学习结构，大大提高了知觉视觉质量。此外，我们还开发了一个扩展来实时解压缩微位移图像。大量的实验表明，即使从1比特/像素的图像中也能获得高质量的结果。第三，我们提出了自适应地改变传感器采样率以达到积极的省电效果，并对中间帧进行计算插值。我们提出通过半域优化来建立两帧之间的密集对应关系。针对大位移情况，将稀疏对应联合考虑进行对应优化。该方法在实际场景图像上得到了验证，对大位移和图像噪声具有较好的鲁棒性。最后，我们进一步提出了通过将参考图像的颜色传播到后续帧来对视频进行着色。由于图像传感器只需捕捉一个色帧，因此可以大大降低传输带宽。为了重建高质量的彩色视频，我们提出了ColorNet。为了进一步提高感知质量，我们采用了生成对抗网络(GAN)技术。我们的方法还可以生成一致的改进视频结果。我们的工作在定量和定量上都优于以前的方法，证明了照片真实感重建的质量。

SciDown文献求助系统（解决99%问题） Public Download ResearchGate