人工智能增强了历史性的登月镜头,结果令人难以置信

2020-07-26 06:54:40

虽然观看阿波罗登月的所有历史镜头是令人兴奋和兴奋的,但你必须承认,有时质量并不是那么好。尽管NASA已经致力于恢复和增强一些最受欢迎的阿波罗镜头,但其中一些仍然是模糊的或模糊的-这表明了20世纪60年代可用的视频技术。

但现在,人工智能的新发展应运而生,为观众提供了观看历史悠久的阿波罗视频的近乎全新的体验。

一位名为duchSteamMachine的照片和电影修复专家使用了一些人工智能魔法来增强阿波罗原版电影,创建了极其清晰和生动的视频剪辑和图像。

他在接受“今日宇宙”采访时说:“我真的很想在这段以前从未见过的老镜头上提供一种体验。”

看看这段阿波罗16号月球车与查理·杜克(Charlie Duke)和约翰·杨(John Young)一起穿越的增强镜头,其中最初以12帧/秒(FPS)拍摄的镜头已经增加到60帧/秒:

令人惊叹,对吧?在这张阿波罗15号在哈德利里尔着陆点的增强视图中,月球表面的清晰景象让我惊叹不已:

或者看看尼尔·阿姆斯特朗(Neil Armstrong)在这段经常看到的阿波罗11号“第一步”视频的增强版中是多么清晰,这段视频是由登月舱内的16毫米摄像机拍摄的:

DuchSteamMachine使用的人工智能被称为深度感知视频帧插值,简称Dain。这种人工智能是开源的,免费的,并且不断地被开发和改进。运动内插或运动补偿帧内插是一种视频处理形式,其中在现有动画帧之间生成中间动画帧,以试图使视频更流畅、补偿模糊等。

他说:“人们用同样的人工智能程序让20世纪的老电影录音重现生机,而且是高清晰度和彩色的。”“这项技术似乎是一件很棒的事情,可以应用于更新得多的镜头。”

但是你可能不能在家里尝试这个。它需要一个功能强大的高端GPU(带有特殊的散热风扇!)。荷兰蒸汽机公司表示,短短5分钟的视频可能需要6到20个小时才能完成。但结果不言而喻。

“首先,我开始寻找最高质量的源视频,谢天谢地,我发现它们是高比特率的720p视频文件,”他说。“所以质量问题就解决了。从尽可能高的源开始并从那里进行编辑非常重要。然而,拍摄的大部分镜头仍然非常起伏不定。这是因为为了节省长时间的胶片和记录,大部分漫游车的镜头都是以每秒12帧、6帧甚至1帧的速度拍摄的。虽然人们以前曾试图应用稳定和/或各种帧混合来缓解这种效果,但我从来没有真正对此感到满意。“。

荷兰蒸汽机希望找出拍摄的镜头是什么帧,这通常可以在NASA的文件中找到,或者就像上面阿波罗16号的镜头一样,宇航员在打开相机时会宣布这一点。

“不幸的是,有时帧率似乎关闭或波动,并不总是按预期工作,”他说。“因此,找到帧速率的最好方法就是倾听宇航员们谈论的地标,并将录像与此进行匹配。”

我将源文件分割成单独的PNG帧,将它们与输入帧率(1,6,12或24)和所需的输出帧率(2x,4x,8x)一起输入到AI中。人工智能开始使用我的GPU,并查看两个真实的、连续的帧。它使用算法分析两个帧中对象的运动,并渲染全新的对象。例如,在插值率为5倍的情况下,它能够从仅2个真实帧渲染5个“假”帧。如果镜头以12fps录制,插值率设置为5x,最终帧率将为60,这意味着只有12个真实帧,它就生成了48个“假”帧。然后两者都被导出回视频,并以60fps的速度播放真帧和假帧。最后,我应用颜色校正,因为源文件通常是蓝色或橙色的。我会将镜头与音频同步,如果可能的话,还会同步电视和照片。有时两个16毫米的相机同时运行,所以我可以把它们放在一起播放。

荷兰蒸汽机在他的业余时间做这项工作,并将其免费发布到他的YouTube页面上。他的口号是“为未来保存过去”,他还使用同样的技术来增强旧的家庭视频、图像和幻灯片。

他说:“能读到人们对我的镜头的反应真是太棒了。”“所以当人们发帖说,‘哇!这真是太棒了!我以前从来没有见过这个!这是我前进的动力。“

如果你想支持荷兰蒸汽机为阿波罗胶片所做的令人惊叹的修复/增强工作,这里是他的帕特雷恩·佩奇(Patreon Page)。通过支持他的工作,你将获得额外的机会,及早接触和预览即将到来的工作,并有机会就这一过程提出问题。

“我计划改进成吨这样的阿波罗胶片,”他说。“更多的空间和与历史相关的镜头将持续在我的YT频道上发布。”他还有一个Flickr页面,上面有更多增强的图片。

感谢荷兰蒸汽机分享他的工作细节!有关更多详细信息,请访问以下链接: