一种基于部分欺骗音频检测的基于临时深度伪造位置方法的高效嵌入

AN EFFICIENT TEMPORARY DEEPFAKE LOCATION APPROACH BASED EMBEDDINGS FOR PARTIALLY SPOOFED AUDIO DETECTION

摘要：

部分伪造音频检测是一项具有挑战性的任务，在于需要在帧级别上准确地定位音频的真实性。
时间性深度伪造定位( TDL )可有效地捕获特征和位置信息。包括嵌入相似性模块和时间卷积操作。 为了有效地集中位置信息，提出了时间卷积操作来计算相邻帧之间的帧特异性相似度，并动态地选择信息丰富的邻居进行卷积。

结论： TDL方法在ASVspoof2019部分伪造数据集上优于基线模型，并且在跨数据集实验中也表现出色。具体来说，TDL在帧级别的真实性预测中表现优异，能够准确识别真实语音。

背景：

随着人工智能生成内容（AIGC）技术的快速发展，尤其是在语音合成和语音转换等应用中，伪造音频的安全威胁日益严重。现有的检测方法大多集中在完全伪造的音频上，而对部分伪造音频的研究相对较少。部分伪造音频是指在真实语音中插入合成语音片段，这种攻击方式可以轻易地改变句子的语义。

在大多数数据集和挑战中，一个重要的场景被忽略，即一个真实的语音语句被合成的语音片段污染，导致部分欺骗 (PartialSpoof)。
在整个PartialSpoof发展领域，先有了两个数据集（一个叫 PartialSpoof ），使用 SELCNN网络增强语音的准确性，之后是有人使用 Wav2Vec2作为前端，ECAPA-TDNN作为后端，在ADD 2022 Track 2中取得了第一名。
上面方法并不能精确地定位特定的片段，有人将之前的语音级部分伪造语音数据集标签扩展到帧级，并提出了相应的基于W2V2的对抗策略来增强帧级检测能力。
TDL——Wav2Vec2作为前端，后端集中于细腻地定位虚假语音片段：第一次使用嵌入相似度模块（嵌入空间并得到高质量的嵌入相似度向量）；然后，我们提出了时间卷积操作来从嵌入向量中定位区域。从嵌入中计算每个时间位置的局部相似性。获得一个特定于帧的权重来指导卷积进行时间敏感的计算。

内容成果 ：

TDL方法主要包括两个核心模块：

嵌入相似性模块（Embedding Similarity Module） ：该模块旨在生成一个嵌入空间，以便有效区分真实帧和伪造帧。通过这种方式，可以获得高质量的嵌入相似性向量。
时间卷积操作（Temporal Convolution Operation） ：该操作用于计算相邻帧之间的帧特定相似性，并动态选择信息丰富的邻居进行卷积，从而有效集中于位置信息。

1.使用Wav2Vec - XLS - R从原始音频中提取帧级特征；

2. 设计了一个嵌入相似度模块来在嵌入空间中分离真实帧和合成帧，在嵌入层面增强真假区分的识别；

3.为了捕获位置信息，采用时间卷积操作，通过关注相邻帧之间特定帧的相似性；

4.使用1D卷积层和全连接层对帧级标签进行下采样，以计算二进制交叉熵；

一、 W2V2 前端

过在掩码特征编码器上解决对比任务进行训练，

首先，不同长度的语音信号通过由七个卷积神经网络( CNN )层组成的特征提取器。

随后，使用包含24层、16个注意力头、嵌入大小为1024的Transformer网络获得上下文表示。

二、嵌入相似度模块（ Embedding Similarity Module， ESM）

目的：嵌入相似性模块的主要目的是在嵌入空间中有效区分真实帧和伪造帧。通过增强真实和伪造音频帧之间的相似性和差异性，该模块能够提高模型的识别能力。

首先，使用W2V2（Wav2Vec 2.0）模型提取音频的特征。W2V2能够从多样的真实语音数据中学习到丰富的特征表示。

嵌入向量生成：提取的特征经过一个卷积模块（由两个1D卷积层组成），将嵌入维度从1024降到32，并进行L2归一化，生成嵌入向量。

相似性计算：使用余弦相似性来测量两个嵌入向量之间的相似度。通过计算真实帧之间、伪造帧之间以及真实帧与伪造帧之间的相似性，确保真实帧在不同位置之间相似，而伪造帧在不同位置之间也相似，但真实帧与伪造帧之间则应保持不相似。余弦相似度来度量两个嵌入向量的相似度:

损失函数：设计了两个损失函数（L_Real_ESM 和 L_Fake_ESM），以最大化真实帧和伪造帧之间的距离，从而提高模型的泛化能力。为了增加嵌入空间中真假帧之间的距离，提高泛化能力，我们计算了真帧之间、假帧之间以及真假帧之间的余弦相似度；确保来自不同位置的真实帧表现出相似性，来自不同位置的虚假帧表现出相似性，而真实帧和虚假帧彼此不相似性；使得不同位置的真实帧和虚假帧相似：