人工智能存档中的30年家庭视频

2020-07-28 13:47:30

近三十年前我出生的那天,我爸爸得到了他的第一台摄像机。“跟镜头打个招呼!”这是他录下的第一个词,当时他指着医院摇篮里的一个红肿的婴儿(我)说。从那时起,剪辑变得更加尴尬,因为他继续拍摄许多换尿布,发脾气,以及-最糟糕的是-青春期。

这些潜在的勒索令牌大多被困在MiniDV磁带上,或者散落在SD卡上,直到两年前,我父亲把它们都上传到了Google Drive上。从理论上讲,因为它们现在存储在云中,我和我的家人可以随时观看它们。但由于有超过456个小时的镜头,观看这一切将是一项艰巨的努力。你只能看着家里的老朋友拆圣诞礼物那么多次。因此,作为一名应用人工智能工程师,我开始着手做生意,并建立了一个由人工智能支持的家庭视频可搜索档案。

如果你曾经使用过谷歌照片,你已经看到了使用人工智能搜索和组织图像和视频的力量。这款应用程序使用机器学习来识别人和宠物,以及图像中的对象和文本。因此,如果我在谷歌照片应用程序中搜索“泳池”,它会显示我拍摄的所有泳池照片和视频。

但是对于这个项目,我需要一些照片没有的功能(目前还没有!)。支持。首先,由于我父亲的第一台摄像机将镜头录制到了MiniDV磁带上,这些视频被上传为两个小时长的肉片,没有有用的元数据。取而代之的是,我爸爸会在一段视频的开头说,“让我把日期放在屏幕上……”框架的右下角会出现一个小的白色文本片段。在一个镜头的间隙,他会说:“说再见,我现在要淡出了。”当屏幕褪色成黑色时,我会尖叫,“不,不要淡出。”因此,我的第一步是使用机器学习来自动解析屏幕上显示的日期,并在每个淡出后将单个长视频分割成较短的剪辑。