2019-07-02

卷积神经网络的发展

1968 Hubel & Wiesel 猫脑实验

Hubel和Wiesel干了一件事，他们将猫麻醉后，把电极插到其视觉神经上连接示波器，并给它们看不同的图像，观察脑电波的反应。他们发现猫看到鱼的图片神经元不会兴奋。但是却意外发现，切换幻灯片的时候猫的神经元会兴奋，也就是图片的边缘会引起猫咪神经元的兴奋。

由于这项发现，Hubel和Wiesel一起获得了1981年的诺贝尔奖。这项发现不仅在生物学上留下浓墨重彩的一笔，而且对20年后人工智能的发展埋下了伏笔。

1980 Neocognitron

日本科学家福岛邦彦提出了neocognitron，其目标是构建一个能够像人脑一样实现模式识别的网络结构从而帮助我们理解大脑的运作。并且他提出现在卷积在用的一系列前向传播的标准方法。
其网络结构：

Neocoginitro主要贡献：

1. 将脑神经科学的结构在做了计算机模拟；
2. 提出了现在CNN常用的step-by-step的filter；
3. 使用ReLU来给网络提供非线性；
4. 采用平均池化来做downsampling；
5. 保证了网络的平移不变性；
6. 实现了稀疏交互。

基本上大部分现代CNN的结构在这个模型上都已经得到了体现。

1990 BP for CNN

Yann Lecun将反向传播应用到了类似Neocoginitro的网络上来做有监督学习，实现一个手写数字识别的神经网络。
其网络结构：

这里共有四层隐层和一层输出，其中H1和H3都是卷积层，而H2和H4都是downsampling( 降采样：降低数据采样率或分辨率的过程)层。这篇论文最重要的是它简化了卷积操作，便于将反向传播应用到CNN上，并且利用它解决了一个现实世界中的问题。

1998 LeNet-5

Gradient-Based Learning Applied to Document Recognition，依然是Yann Lecun提出的，手写数字识别从此进入工业，比如银行支票识别等等。网络结构：

可以看出来，LeNet-5的结构和现在用的CNN网络结构已经非常接近了。这里网络层数加深到了7层，其中两层卷积两层池化。
LeNet-5标志着卷积神经网络的开端，因为当时计算机算力的限制，所以其使用了复杂的局部连接。并且当时并没有使用softmax和交叉熵，而是使用了欧式径向基函数和均方误差。

2006 Jake Bouvrie

Notes on Convolutional Neural Networks(2006 Jake Bouvrie), 其明确了我们在优化神经网络时对权重更新的一些手段。

2012 AlexNet

Imagenet classification with deep convolutional neural networks(Alex Net)。
AlexNet的出现可以说是标志着神经网络的复苏和深度学习的崛起。

网络结构：

此网络特色：

• 使用了ReLU作为激活函数；
• 使用了数据增强；
• 使用了mini-batch SGD；
• 在GPU上训练；
• 实现了Dropout层来避免过拟合。

2015 ResNet

Deep residual network (ResNet)，第一个在ImageNet图片分类上表现超过人类水准的算法。
网络结构：

ResNet的特点：

• 残差block；
• 堆叠式结构；
• 深度的突破与终结，其最多可以达到1000多层，不过随着层数的增加，网络的效果并不会变得越来越好。

以上大致就是卷积神经网络发展比较重要的一些时点、事件。

AI