深度学习基础

深度学习历史

人工智能-让计算机模拟人类的行为方式

机器学习-让计算机从数据中学习到合适的行为

深度学习-利用深层次的神经网络来实现机器学习

深度学习简史

-人工神经元：1943年
-感知机：1958年
Professor’s perceptron paved the way for AI – 60 years too soon
-反向传播：
1960年：Gradient Theory of Optimal Flight Paths

1974年：Beyond regression：new tools for prediction and analysis in the behavioral sciences

1986年：Learning representations by back-propagating errors
-CNN， RNN， LSTM：1980年～2000年

CNN雏形：Neocognitron: A Self-organizing Neural Network Model for a Mechanism of Pattern Recognition Unaffected by Shift in Position

LeNet-5: GradientBased Learning Applied to Document Recognition

这些技术已经存在数十年，但是近年深度学习才开始受到广泛关注，因为深度学习模型常常包含大量参数，为了更好的训练参数，需要1.大量数据；2.计算资源
大数据2009年才开始提出（ImageNet），现在我们每分每秒都在产生大量数据。
差不多同一时间（2009年）计算资源也开始能够满足训练神经网络。GPU开始被用来训练神经网络–>现在使用GPU集群

ImageNet Large Scale Visual Recognition Challenge（ILSVRC）
最早的突破，2012年ALexNet，一种特殊的卷积神经网络
-GANs：2014年；生成图片，转换风格
GAN生成图片：Generative Adversarial Nets

-AlphaGo（深度强化学习）：2016年

-BERT: Pre-training of Deep Bidirectional Transformers for
Language Understanding 2018年

-Fathers of Deep Learning Revolution 图灵奖：Yoshua Bengio； Geoffrey Hinton； Yann LeCun：2018年