研究人员分享如何利用 AI 技术解决水下图片模糊和着色问题

2020-02-14 投稿人 : www.zoiofilmes.com 围观 : 1767 次

你有没有注意到当拍摄水下照片时,图像会比以前更加模糊和扭曲?这是因为光衰减和反向散射等现象会对能见度产生不利影响。

为了解决这个问题,中国哈尔滨工程大学的研究人员设计了一种机器学习算法,可以生成逼真的水下图像。另一种算法可以对这些图像进行深度训练,以恢复自然颜色并减少雾霾。他们说,这种方法在质量和数量上与最新技术相匹配,可以在一张视频卡上每秒处理125帧。

该团队指出,大多数水下图像增强算法(例如调整白平衡的算法)都不是基于物理成像模型,这使得它们不适合某些任务。相比之下,该方法使用生成对抗网络(GAN)(一种深度学习模型,通过框架中两个模块之间的相互博弈学习产生相当好的输出:生成模型和判别模型)来生成特定调查地点的一组图像,并在此基础上引入了第二种算法U-Net。

研究团队对GAN进行了一系列标记场景的训练,包括3733张图像和相应的深度图,主要包括室内海洋农场中的扇贝、海参、海胆和其他此类生物。他们还获得了包括纽约深度(NY Depth)在内的公共数据集,其中包含了总共数千张水下照片。

训练后,研究人员将两种模型方法的结果与基线模型方法的结果进行了比较。他们指出,前一种技术的优点是颜色恢复统一,使其能够很好地恢复绿色图像,而不破坏原始输入图像的底层结构。通常,这种方法可以尝试恢复颜色,同时保持“适当”的亮度和对比度,而其他解决方案在这方面并不特别好。

值得注意的是,这不是第一个考虑使用人工智能技术从受损图像中重建图像的研究团队。剑桥顾问公司的人工智能系统DeepRay使用一组训练有素的氮化镓来处理10万幅静止图像的数据集,以消除不透明玻璃板造成的失真。开源DeOldify项目使用一系列人工智能模型,包括GANs来着色和恢复旧图像和电影。

在其他方面,微软亚洲研究院的科学家在9月份推出了一个端到端的自主视频着色系统。NVIDIA研究人员去年描述了一个框架,该框架仅基于一个带注释的彩色视频帧推断颜色分类。今年6月,谷歌人工智能团队引入了一种无需人工监督的灰色视频着色算法。