Facebook最新语音算法曝光!自监督语音识别,错误率低至2.43%

发布时间:2024-02-06 13:30

 2019-11-06 15:16:55

\"Facebook最新语音算法曝光!自监督语音识别,错误率低至2.43%_第1张图片\"

 

智东西11月6日消息,Facebook近日公开自动语音识别(ASR)领域的wave2vec机器学习算法细节,可以使用原始音频作为训练数据并提高准确性。

wave2vec于今年年初问世,经过一年打磨,Facebook基于wav2vec的模型实现了2.43%的单词错误率,准确率高于Deep Speech 2、监督迁移学习(Supervised Transfer Learning)等主流算法。以下是外媒相关报道的原文编译。

一、自动语音识别的新方向

自动语音识别(ASR)不仅是Apple Siri之类的语音助手的基础部分,还是Nuance Dragon之类的听写软件以及Google Contact Center AI这样的客户支持平台的基础部分。它使机器能够解析关键短语和单词的发音,并使它们能够通过语调和音调来区分人。

正因如此,ASR是Facebook研究的重点领域,Facebook的对话技术被用于支持Portal的语音识别,并且该技术也用于对平台上的内容进行分类。为此,Facebook在今年早些时候的InterSpeech会议上详细介绍了wave2vec,一种新颖的机器学习算法,通过使用未经转录的原始音频作为训练数据来提高ASR准确性。

Facebook表示它在常见的Benchmark测试中取得了最高分数,并且使用的训练数据少了两个数量级。同时与领先的Deep Speech 2相比,错误率降低了22%。

Wav2vec最初是作为开源建模工具包Fairseq的一个拓展包发布的。Facebook表示,他们计划用wav2vec让关键词识别和声音检测技术拥有更好的数据表现,并且希望通过打破现有准则来改进他们的系统。

Facebook研究科学家兼软件工程师Michael Auli,Siddhartha Shah,Alexei Baevski和克里斯蒂安·菲根(Christian Fuegen)在博客文章中提到,“Wav2vec代表了ASR领域的一大进步,并且是语音识别领域一个充满希望的研究方向,尤其是对于那些缺乏大量语音数据的AI系统训练。”

二、减小数据量,降低人工成本

正如Auli和团队成员在论文中说的,ASR系统通常在音频序列上以频谱图(spectrograms)和相应的文本进行训练。因此要获得这些样本,就需要手工标记大量音频数据,这将花费宝贵的时间和资源。相比之下,wav2vec是自监督(self-supervised)的,这意味着它可以将未标记数据和少量标记的数据结合起来使用。

\"Facebook最新语音算法曝光!自监督语音识别,错误率低至2.43%_第2张图片\"

 

▲wav2vec的运作流程范例

Wav2vec首先训练一个模型,以区分真实数据和干扰项样本,这可以帮助它学习训练的音频数据的数学表示形式。

有了这些表示形式,wav2vec可以通过剪辑和比较,从干扰物种分辨出准确的语音声音。

Wav2vec每秒执行数百次这样的操作,从而成为自身的转录器(transcriber),并且自动生成不正确版本的语音示例以测试系统并评估性能,从而无需手动注释训练数据。

三、少150倍训练数据,错误率降低22%

Facebook AI团队使用LibriSpeech(公共领域有声读物的一个语料库)数据集上不到1,000个小时的未标记语音示例对wav2vec进行了培训。然后再使用WSH1(《华尔街日报》大声朗读的集合)语料库中大约81小时带标签语音示例进行培训。

训练结果令人印象深刻。在Deep Speech 2上,Facebook基于wav2vec的模型实现了2.43%的单词错误率,而普通系统使用12,000小时(超过150倍)的转录数据训练后的单词错误率为3.1%,相比之下,wav2vec的错误率降低了22%。wav2vec训练的模型与缺少预训练的模型相比,单词错误率还可以提升30%。

\"Facebook最新语音算法曝光!自监督语音识别,错误率低至2.43%_第3张图片\"

 

▲wav2vec与其他模型的单词错误率对比

根据Auli及其小组的研究表明,自监督技术可以将ASR功能扩展到转录语音资源有限语言中去。他们写道:“自监督不仅在语音领域,几乎在每个领域都在加速发展。以无标签培训数据为规则愈加成为主流。

结语:“自监督”算法为ASR注入新活力

全球有许多语言并没有英语、中文等主流语言那样庞大的语料库,因此自动语音识别技术的发展就会存在困境,而wav2vec自监督算法让该领域看到了新的突破方向。

Facebook在AI语音技术上的发力,与其本身的业务有着密切关系。未来,我们期待ASR领域能有更多新的突破。

原文来自:Venturebeat

ItVuer - 免责声明 - 关于我们 - 联系我们

本网站信息来源于互联网,如有侵权请联系:561261067@qq.com

桂ICP备16001015号