发布时间:2023-01-28 09:30
声明:本专栏文章为深蓝学院《语音算法:前沿与应用》课程个人学习笔记,更多学习资源请咨询深蓝学院相关课程。
机器阶段
Wolfgang von Kempelen‘s speaking machine 发声机器(语音合成 Mama Papa Haha)
Thomas Edison's 留声机
Radio Rex玩具 用户喊Rex,小狗从房子里出来 (语音唤醒,工作原理:电磁铁对500hz频率敏感,Rex词接近500hz)
模型阶段——更加科学、系统
Audrey 数字语音识别器(贝尔实验室,1952)模板匹配:训练集特征提取,存入模板集,测试集特征提取,和模板集比对
1970年代:逐渐使用统计学模型而不是语音学模型
1980年代:HMM模型,神经网络(神经网络输出因子序列,再输入HMM模型)
2010年代:算力和数据的提高,神经网络效果提升
2014年:端到端模型大规模应用在语音算法上
应用阶段
1990年代:Dragon Dictate,第一款语音识别商用软件,售价很高,不能很好分词,用户需要说完每个词之后有停顿
1997年:Dragon NaturallySpeaking,售价下降,不需要用户停顿,需要用户提供45min音频训练
2000年代:语音输入进入windows,mac等
2008年:google语音搜索(依托强大算力)
2011年:Siri on 苹果iphone4s
2014年:亚马逊智能音箱Echo(由近场->远场,体验感上升)
基础理论
实际问题(VAD、噪声、延时等)
语音识别
语音转化成文字(较高噪声、远场、随机交谈)
应用:语音搜索、语音输入、语音助手
主要内容:GMM-HMM 1980-2010、DNN-HMM 2010、端到端 2014、Attention/Transformer、无监督(解决数据问题)、生产系统、设备端(手机算力、内存限制,模型优化需求增加)
唤醒词检测
关键词检测(需要一直开着:尽可能降低计算量,提升准确率)
应用:智能音箱、语音助手、车载系统
主要内容:基于模板、HMM、DNN、一些tricks
说话人识别
1:N(N个人中找一个) 1:1(一个人的比对确认)
应用:智能音箱、小额付款
主要内容:I-vector、D-vector、X-vector、和人脸识别的区别和联系、一些tricks
语音合成
合成和语音克隆
应用:语音助手、电子书、玩具
主要内容:基于拼接、Wavenet 、一些tricks