GIF 图是表达情绪的好方式,但在层层传播中总会被压缩,分辨率变低,图像模糊。为了提升用户的斗图体验,Gfycat 希望用机器学习来制作更高分辨率的 GIF 图。
在此之前,Google Brain 团队已经能够将低分辨率图片复原。这种方法基于深度学习和神经网络算法,使用了两种网络,「调节网络」用来将低分辨率图像的像素映射到高分辨率图像中,用人工智能来进行「图像插值」,另一个「先验网络」可以通过分析现有图像的像素信息来为目标图像添加细节。这两个网络结合就能输出高分辨率的图片。在没有其他信息的情况下,Google Brain 可以将一张 8x8 像素的图片还原为与原图较为接近的图。
图片来源:Google Brain
与还原低分辨率图片不同,GIF 图的还原主要是对视频进行识别,而不是图片。因为大部分 GIF 都可以找到与之对应的高清视频源,Gfycat 要做的就是利用机器学习让 GIF 图和视频更完美地匹配。
机器学习可以帮助将这一过程自动化,比如用户上传名人 GIF 图时经常忘记加标签,Gfycat 正在训练系统自动区分不同的面孔。
另一个优化方法是识别 GIF 图中的文字,Gfycat 根据统计分析 GIF 图中可能出现字幕的位置,然后识别出文字,并将其转化为数字文本,以方便和视频更好地做匹配。