声学分析者Quoraishee自测语音克隆:噪声掩盖抖动差异,安静暴露底噪过少
Shafik Quoraishee利用自己的声学分析背景克隆了自己的语音并对比检测指标。在背景噪声条件下,克隆语音的jitter(周期长度微变)与真人统计上无法区分,但shimmer(峰值高度微变)更稳定;在安静环境下,克隆语音反而因为底噪过少而暴露。加州大学伯克利分校博士生Sarah Barrington指出,没有任何单一测量指标能判定录音真假,检测能力在不同克隆工具之间也不通用。
语音克隆检测面临一个根本困难:没有哪一项声学指标能单独判定一段录音是真是假。有声学分析背景的Shafik Quoraishee用自己做了一次对照实验,结果恰好说明了为什么这个问题如此棘手。他录制了二十四句话,用一款免费开源工具克隆同样内容,然后比较两组音频的jitter(声带振动周期长度的微小变化)和shimmer(振动峰值高度的微小变化)。
在开着暖气的房间里录制的句子,克隆版的jitter与他的真人录音在统计上无法区分,但shimmer比真人更稳定。在安静环境下,克隆语音反而因为底噪过少而暴露——十二句话全部显示出比真人更干净的信号特征,即使经过模拟电话通话的降质处理仍然如此。换句话说,背景噪声恰好掩盖了克隆在jitter上的差异,而安静环境则暴露了克隆在底噪上的破绽。两种条件各泄露不同的信息,但没有任何一种单一指标能同时覆盖所有情况。
加州大学伯克利分校博士生、研究AI语音克隆的Sarah Barrington进一步指出,这种困难比实验数据暗示的更深。AI检测模型可以针对某一家克隆公司的工具签名进行调优,但这种能力往往无法迁移到其他供应商的工具上。频谱分析可以揭示特定克隆工具的痕迹,但不存在一项对所有工具都有效的通用测量。Barrington说,人们会期待立刻看到破绽,事实绝非如此。
目前最有前景的方式之一可能嵌入在克隆技术本身。Google等公司会在生成的音频中隐藏不可听的水印——这些改动极其微小,人耳察觉不到,但检测器可以读取,而且会跟随音频文件传播。不过水印并非万无一失:足够大的后期处理可以抹掉标记,部分开源工具的水印功能也是可选的。Barrington把好的水印比作一扇上了锁的门,说它能挡住99%的坏情况,剩下的1%只能靠音频取证技术跟着克隆工具一起进化。
电话通话还会进一步削弱检测能力,因为它会压缩或降质语音中的关键取证细节,使克隆更难被发现。Quoraishee在安静房间里的实验即使经过模拟电话处理后仍然能看出差异,但这只是他个人声音和单一开源工具的结果;实际欺诈中使用的商业系统可能产生完全不同的声学特征。检测与克隆之间的这场竞赛,目前没有任何一方拥有确定性的优势。