研究人员使用配备一块英伟达 Titan XP GPU 和英特尔 I7-9700k CPU 的台式机进行推断速度测试。对于不同输出分辨率而言，处理速度有所不同：该方法在输出分辨率为 640×320 时实现了实时处理速度 (24 fps)，在输出分辨率为 854×480 时实现了接近实时处理的速度 (15 fps)，不过仍有很大提升空间。
速度
运动估计算法用于恢复天空的移动。虚拟摄像机捕获的天空视频需要在真实摄像机的运动下进行渲染和同步。该研究假设天空以及天空中的物体（例如，太阳、云等）位于无穷远，并用 Affine 矩阵建模它们相对于前景的运动。
实现细节
GitHub 地址：https://github.com/jiupinjia/SkyAR
论文地址：https://arxiv.org/pdf/2010.11800.pdf
本文作者 Zhengxia Zou 现为密歇根大学安娜堡分校的博士后研究员。他先后于 2013 年和 2018 年取得北京航空航天大学的学士和博士学位。其研究兴趣包括计算机视觉及其在遥感、自动驾驶汽车和电子游戏等领域的相关应用。
机器之心报道
他参与撰写的论文被 AAAI、CVPR、ICCV、ACM MM 等多个学术顶会接收。此外，他还曾担任 NeurIPS、AAAI、ACCV 和 WACV 等多个学术会议的程序委员，以及 ICLR 会议及 IEEE Transactions on Image Processing 等多份期刊的审稿人。
雷暴预警！一瞬间天昏地暗，雷电交加。
除了前文及上图展示的处理效果以外，该研究还展示了该方法与 CycleGAN 方法之间的对比结果，具体如下图 5 所示：
根据统计，天空抠图阶段需要花费相当多的时间，，因此用更高效的 CNN 主干网络（如 MobileNet 或 EfficientNet）替换 ResNet-50，可以提高处理速度。
荒野、公路、疾驰的汽车，还有天边的巨型神秘建筑物，有科幻 / 末世电影内味儿了。然而，这幅场景竟然是从晴空万里的画面转换而成的。公路片变身科幻片？！
上：《天空之城》剧照；下：《哈尔的移动城堡》剧照。
除了改变天空（比如增加悬浮城堡、改变色彩和云朵等），这项技术还能变换场景中的天气和光照。
局限性
其次，当视频特定时间段没有天空像素时，或者天空中没有纹理时，该方法无法精确建模天空背景的运动。
下图 8 展示了两个失败案例：
该方法也存在一些局限性。
今日天气多云转晴。
别急，还有大招。（以下示例左图为原始画面，右图为处理后画面。）
此前，机器之心报道过的一项的研究也有他的参与。
这项研究提出一种用于视频中天空置换与协调的视觉方法，该方法能够在风格可控的视频中自动生成逼真的天空背景。以往的天空编辑方法要么针对静态图片，要么需要在智能手机上集成惯性测量单元（IMU）以便拍摄视频，而这项研究是完全基于视觉的，对视频捕获设备没有任何要求，还能很好地应用于在线或离线场景。此外，该方法可以执行实时处理，无需用户交互。
机器之心编辑部
天空增强和天气模拟
这场景让人想起一句歌词「打开这深夜，抚摸寒星光，我只想走进圆月亮」。
作者简介
Google Colab 地址：https://colab.research.google.com/drive/1-BqXD3EzDY6PHRdwb3cWayk2KictbFaz?usp=sharing
这座空中城堡的确是人为「构建」的，但并非真实存在。它是密歇根大学博士后研究员 Zhengxia Zou 近期一项研究所呈现的效果。
下表 2 给出了在不同天气转换场景下这两种方法的图像保真度定量对比结果。该研究提出的方法在两个定量度量指标和视觉质量上均显著优于 CycleGAN。
