DeepFake噩梦！武大提出FakeTagger，重新辨认率达95％

田荣华

新智元报道
泉源：arXiv
编辑：Pricilla 好困
【新智元导读】DeepFake千千万，究竟怎么办？GAN的滥用已经让现在的天下不再「眼见为实」。于是，研究职员提出了FakeTagger体系，将视觉上无法辨别的ID信息嵌入到图像中，准确率高达95%。
照相、修图、发朋侪圈、等大家点赞批评。
是不是已经一气呵成了？
大家都喜好在交际平台上发本身照片，还希望大家能给本身精修的图点个赞。

然而，随着GAN及其变体在图像合成中的快速发展。
上传到各大平台的照片和视频都有大概会被DeepFake拿去举行编辑。
越来越多的软件可以让毫无专业知识的用户天生DeepFake图像，比方FaceApp等。
现在，甚至连直播都大概是「Fake」的。

我们已经生活在一个「眼见未必为实」的天下里了。
已往两年来，研究职员积极提出各种DeepFake检测技术。这些研究重要是在真实图像和合成图像之间，捕捉细微差别作为检测线索。
在Facebook主理的最新DeepFake检测比赛 (DFDC) 中，最佳检测结果准确率不到70%。
为了更好检测出DeepFake，来自武汉大学的汪润等人合作开发了一个体系：「FakeTagger」。
值得留意的是，FakeTagger是首个通过图像标志为DeepFake出处和跟踪举行的工作。

论文地址：https://arxiv.org/abs/2009.09869
文中，作者采用了一个基于DNN的编码器和解码器，并对信息嵌入和恢复举行连合练习。
同时，受到香农容量定理的启发，作者到场了冗余信息进而提高了信号通讯的鲁棒性。
结果表明，对于常见的Deepfake方法，FakeTagger的重新辨认率高达近95%。
FakeTagger
现有的研究大多都集中在已知GAN或简单的数据集上，如FaceForensics++、DeepFake-TIMIT。
通常用于区分真假的伪影由于现实天下中的各种退化题目，很大概会被移除或损坏。包罗简单的图像转换和具有扰动的对抗性噪声攻击。
这就成为开发强大的DeepFake检测器的最大障碍。简单点说，现有的DeepFake检测方法面临两个庞大寻衅：
对未知合成技术的泛化能力差；
图像质量下降后的鲁棒性差。

FakeTagger，顾名思义，它的工作原理就是标志面部照片，其重要办理了三个题目：
1. 对差别GAN的泛化性；
2. 对图像变换的鲁棒性；
3. 嵌入式标签的潜伏性。
FakeTagger利用编码器和解码器将视觉难以分辨的ID信息，以充足低的级别嵌入到图像中，使其成为根本的面部特征数据。
然后再通过嵌入的信息对图像举行恢复，从而确定是否为颠末GAN处置惩罚的DeepFake图像。
图像标签
FakeTagger的图像标签具有以下特性：
用于DeepFake的图像标签应该对基于GAN的转换具有鲁棒性；
被标志的信息肉眼无法察觉，不会引入显着的图像质量下降。

FakeTagger的团体架构
方法包罗五个关键部分，一个信息发生器，一个基于DNN的编码器，一个GAN模仿器，一个基于DNN的信息解码器，和一个通道解码器。
信息发生器从通道编码中天生二进制信息。天生的信息作为一种资产，用于身份验证。
编码器将信息（通常是UID）嵌入到面部图像中，并确保肉眼无法看到标志的信息。换句话说，编码后的图像需要在感知上与输入图像相似。
GAN模仿器用于实验各种基于GAN的转换。
信息解码器在基于GAN的剧烈变换后，从编码的面部图像中恢复嵌入的信息。恢复的UID被进一步用于身份验证目标。
通道解码器担当来自的解码信息，产生终极信息。
图像标签的编码器-解码器练习
基于DNN的编码器和解码器颠末连合练习，将信息嵌入给定的输入面部图像。
编码器允许恣意信息不被察觉地嵌入给定的恣意面部图像中。
解码器颠末练习，即使经历了基于GAN的处置惩罚后，也能检索到嵌入的信息。
编码器吸收面部图像和信息作为输入，然后信息发生器产生一个冗余信息′。
编码器输出带有映射(,′)。
输入的面部图像需要在感知上与编码的面部图像，其中≈。编码后的面部图像可由GAN处置惩罚，其中()。
解码器试图恢复嵌入式信息()或()，其中≈′。
末了，信道解码器产生终极信息。
信道编码
在信号转换中，信道编码可以或许改正错误，办理数据在噪声信道中传输的限定。
作者用信道编码来注入冗余信息，使这些嵌入式信息可以或许在基于GAN的变换中留存下来。
基于GAN的转换可以简单地被视为一种噪声通道。

信息发生器产生一个长度比大的冗余信息′。
信道失真是由基于GAN的转换引入的错误，并应用二进制对称信道（BSC）来举行表述。
其中，BSC是一个尺度的信道失真模型，它假设每个比特在信息中都是独立的，并以一个概率随机翻转。
丧失函数
为了包管解码信息的最小毛病，作者在模型练习中引入了两个重要丧失。
信息丧失为计算解码后的信息和天生的信息之间的丧失，其中利用2丧失，表示为 ：

图像丧失衡量编码图像和输入图像之间的相似度。
准确性的评估
白盒结果

R表示该信息注入了通道编码的冗余信息，N表示该信息没有注入任何冗余信息
结果表明，FakeTagger在部分合成方面体现良好，如身份互换和脸部再现。
准确率最佳为97.3%，最差为95.7%。
不外，在团体合成中的最佳结果只有95.2%。

颠末STGAN处置惩罚后的性能，如去掉头发、加上胡子、戴上眼镜、改变肤色
在面部特征方面，FakeTagger对轻易受到肤色改变的影响。
由于与其他三种属性编辑相比，改变肤色的利用区域更大，强度也更剧烈。
总体而言，FakeTagger在对四种类型的DeepFake举行信息恢复时达到了平均95%以上的准确率，但是对利用区域和输入图像的大小很敏感。
别的，注入的冗余信息在提高FakeTagger的性能方面有着关键的作用。
黑盒结果

DeepFake利用是未知的
结果体现，FakeTagger的平均准确率凌驾了88.95%，证明白在黑盒情况中的有用性。
与其他三个DeepFake相比，FakeTagger在团体合成中体现良好。
而基线在黑盒中的信息检索准确率只有不到60%。
鲁棒性的评估
作者采用了四种在制作DeepFake视频中广泛出现的扰动，即压缩、调解大小、模糊和高斯噪声。
输入图像大小为256×256，被利用的面部属性为「胡子」。

鲁棒性评估结果，压缩质量衡量压缩的强度范围从100到0
当扰动的强度增加时，FakeTagger保持了一个小的颠簸范围，比如压缩率、调解大小的部分。
在四种类型的DeepFake中，团体合成对四种扰动攻击更为敏感，特殊是在压缩和添加高斯噪声方面。
因此，思量到对扰动的鲁棒性，FakeTagger可以很好地应用在现实当中。
作者简介
研究团队成员分别来自武汉大学、中国教诲部空天信息安全与可信计算教诲部重点实验室、阿里巴巴团体、波士顿东北大学和新加坡南洋理工大学。
一作为通讯作者汪润，武汉大学国家网络安全学院特聘副研究员，硕士生导师。
2018年12月结业于武汉大学国家网络安全学院，得到信息安全专业博士学位。
2019年-2021年在新加坡南洋理工大学从事博士后研究工作（合作导师 LIU Yang 教授）。
2021年2月到场武汉大学国家网络安全学院。
研究方向包罗人工智能安全、对抗样本的攻击与防御、DeepFake、边沿AI、数据驱动安全、软件与体系安全等。
重要研究结果已先后发表在国际顶级学术期刊和集会上，其中以第一作者或通讯作者身份在CCF推荐的A类顶级期刊和集会论文6篇，包罗IEEE TMC, ACM Multimedia, IJCAI等。
应邀担任IEEE Transactions on Reliability, IEEE TNNLS, IEEE TCSVT等国际重要学术期刊审稿人。
二作为徐爵飞，卡耐基梅隆大学CyLab研究员，专门研究模式辨认、机器学习、计算机视觉和图像处置惩罚。
2009年结业于上海交通大学，后就读于卡内基梅隆大学，得到电子与计算机工程和机器学习硕士学位。
2018年得到卡内基梅隆大学电子与计算机工程博士学位。多次得到顶会最佳论文奖。
参考资料：
https://arxiv.org/abs/2009.09869