人工智能算法将色彩还原为黑白电影

互联网   2023-03-21 14:47:34


(相关资料图)

无数历史照片以黑白形式存储在世界档案馆中。今天,这些文化资产和当代文件通过数字化得到保存,并通过数字修复(部分)得到改善。自 1970 年代以来,人们一直在努力为这部电影的镜头着色。然而,并没有真正的进展——手动或半自动着色技术的工作量和相关成本太高。原则上可以完全自动地给胶片上色。然而,这样做的缺点是颜色可能看起来不错,但并不真实。

这正是格拉茨科技大学 (TU Graz) 项目“RE:Color:基于新型机器学习方法的电影质量电影高效着色”的用武之地。由计算机图形学研究所的 Thomas Pock 领导的计算机科学家和Vision与总部位于格拉茨的专门从事历史电影修复的公司HS-Art共同开发了一款集成软件应用程序,将交互式和自动着色技术与深度学习技术相结合。其结果是一个主要是自动但完全由用户控制的着色过程的算法。

逼真的色彩

根据 Pock 的说法,人类可以影响着色过程是至关重要的:“你总是需要熟悉历史传统的人,他可以说出当时的衣服、立面等是什么样子。士兵的制服是绿色还是蓝色?没有算法可以决定这一点,但它可以从中学习。” 因此,必须为该算法提供足够大的训练样本集合,以便自动接管历史电影的着色。“这是关于在尽可能少的用户输入的情况下尽可能高效地为电影着色。这可能意味着,例如,一个人指定胶片画面的颜色,然后软件接管其他画面的颜色,”Pock 解释道。

为此,研究人员在基于人工智能 (AI) 的自动着色领域开发了不同的新方法。然后,他们与 HS-Art 的开发人员一起在原型应用程序中实施了最有效的方法,并生成了足够强大的训练样本集合。然后实施人工引导控制以获得真实和适当的配色方案。

真实的图像噪声

随着算法的发展,胶片可以被还原得非常干净,也可以上色——但这并不总是令人满意的。Pock:“对于一般的历史镜头和电影胶片,你需要一定量的噪点,即所谓的“胶片颗粒”,否则观众看起来不真实。为此,该软件还可以人为地生成并在修复和着色后再次添加这种噪声。”

核心算法已在大型国际研讨会上发表,源代码可免费获取。然而,为了有效使用,由项目合作伙伴 HS-Art 开发并包含在其产品组合中的基于此的软件是必要的。例如, ZDFzeit 系列纪录片“希特勒的力量”中使用了“Diamant film colorizer”来为真实的历史镜头着色。

热文榜单