语音算法笔记（1）——基于深度学习的语音算法综述

声明：本专栏文章为深蓝学院《语音算法：前沿与应用》课程个人学习笔记，更多学习资源请咨询深蓝学院相关课程。

发展历史

机器阶段

Wolfgang von Kempelen‘s speaking machine 发声机器（语音合成 Mama Papa Haha）

Thomas Edison's 留声机

Radio Rex玩具 用户喊Rex，小狗从房子里出来 （语音唤醒，工作原理：电磁铁对500hz频率敏感，Rex词接近500hz）

模型阶段——更加科学、系统

Audrey 数字语音识别器（贝尔实验室，1952）模板匹配：训练集特征提取，存入模板集，测试集特征提取，和模板集比对

1970年代：逐渐使用统计学模型而不是语音学模型

1980年代：HMM模型，神经网络（神经网络输出因子序列，再输入HMM模型）

2010年代：算力和数据的提高，神经网络效果提升

2014年：端到端模型大规模应用在语音算法上

应用阶段

1990年代：Dragon Dictate，第一款语音识别商用软件，售价很高，不能很好分词，用户需要说完每个词之后有停顿

1997年：Dragon NaturallySpeaking，售价下降，不需要用户停顿，需要用户提供45min音频训练

2000年代：语音输入进入windows，mac等

2008年：google语音搜索（依托强大算力）

2011年：Siri on 苹果iphone4s

2014年：亚马逊智能音箱Echo（由近场->远场，体验感上升）

课程目标

基础理论

实际问题（VAD、噪声、延时等）

课程大纲

语音识别

语音转化成文字（较高噪声、远场、随机交谈）

应用：语音搜索、语音输入、语音助手

主要内容：GMM-HMM 1980-2010、DNN-HMM 2010、端到端 2014、Attention/Transformer、无监督（解决数据问题）、生产系统、设备端（手机算力、内存限制，模型优化需求增加）

唤醒词检测

关键词检测（需要一直开着：尽可能降低计算量，提升准确率）

应用：智能音箱、语音助手、车载系统

主要内容：基于模板、HMM、DNN、一些tricks

说话人识别

1:N（N个人中找一个）  1:1（一个人的比对确认）

应用：智能音箱、小额付款

主要内容：I-vector、D-vector、X-vector、和人脸识别的区别和联系、一些tricks

语音合成

合成和语音克隆

应用：语音助手、电子书、玩具

主要内容：基于拼接、Wavenet 、一些tricks