看到相信，直到技术出现了强大的头脑并给了我们强大而廉价的照片编辑工具。现在，将一个人的面部表情映射到另一个人的面部表情的真实视频(称为深层伪造)呈现出强大的政治武器。但无论是纵向皱纹的良性平滑，还是操纵视频使其看起来像政治家说些冒犯性的东西，所有照片编辑都留下了正确工具的痕迹。

由加州大学河滨分校的Amit Roy-Chowdhury视频计算小组领导的研究开发了一种深度神经网络架构，可以高精度地识别像素级别的被操纵图像。Roy-Chowdhury是Marlan和Rosemary Bourns工程学院的电气和计算机工程教授以及Bourns家庭教师研究员。

深度神经网络是人工智能研究人员所称的计算机系统，这些计算机系统经过培训可以完成特定的任务，在这种情这些网络以连接层组织;“架构”是指层的数量和它们之间的连接结构。

图像中的对象具有边界，并且每当从图像插入或移除对象时，其边界将具有与图像中的对象的边界自然不同的质量。具有良好Photoshop技能的人将尽最大努力通过平滑这些边界使插入的对象看起来尽可能自然。

虽然这可能会愚弄肉眼，但是当逐个像素地检查时，插入对象的边界是不同的。例如，插入的边界通常比自然对象更平滑。通过检测插入和移除的对象的边界，计算机应该能够识别改变的图像。

研究人员在大型照片数据集中标记了非操作图像和操纵图像边界区域中的相关像素。目的是教授神经网络关于照片的操纵和自然区域的一般知识。他们用一组前所未见的图像测试了神经网络，并且大部分时间都检测到了改变过的图像。它甚至发现了被操纵的区域。

“我们训练系统区分被操纵和非操纵的图像，现在如果你给它一个新的图像，它能够提供该图像被操纵与否的概率，并定位操作发生的图像区域， “Roy-Chowdhury说。

目前研究人员正在研究静止图像，但他们指出这也可以帮助他们检测深度视频。

“如果你能理解静止图像中的特征，那么在视频中它基本上只是将静止图像一个接一个地放在一起，”Roy-Chowdhury说。“更根本的挑战可能是弄清楚视频中的帧是否被操纵。”

即使是单个操纵的框架也会引发红旗。但Roy-Chowdhury认为，在自动化工具可以检测到野外的深度视频之前，我们还有很长的路要走。

“这是一个具有挑战性的问题，”Roy-Chowdhury说道。“这是一种猫捉老鼠的游戏。整个网络安全领域在某些方面试图找到更好的防御机制，但攻击者也找到了更好的机制。“

他说，在不久的将来可能无法实现完全自动化的深度检测。

“如果你想看看互联网上的所有内容，一方面人类无法做到这一点，而自动化系统可能无法可靠地完成任务。所以它必须是两者的混合，“Roy-Chowdhury说。

深度神经网络架构可以生成可疑视频和图像列表供人们查看。自动化工具可以减少人们(如Facebook内容审核人员)必须筛选以确定图像是否被操纵的数据量。

对于这种用途，工具就在附近。

“这可能是这些技术可能会在很短的时间内产生的，可能在几年后，”Roy-Chowdhury说。

该论文“用于图像伪造检测的混合LSTM和编码器 - 解码器架构”发表在IEEE图像处理交易问题上，由DARPA资助。其他作者包括Jawadul H. Bappy，Cody Simons，Lakshmanan Nataraj和BS Manjunath。

在相关工作中，他的小组开发了一种除了对象插入和移除之外还用于检测其他类型的图像处理的方法。该方法将模糊边界的识别扩展为关于操纵区域和非操纵区域之间的过渡类型的一般知识，以比当前工具更准确地预测篡改。