【DL】一些經典的神經網路架構總結
LeNet-5
相關文獻： Gradient-based learning applied to document recognition
共有 7 層，2個（卷積層+降取樣層）+2個全連線層+1個高斯連線層。
《Gradient-based learning applied to document recognition》
AlexNet
相關文獻： ImageNet Classification with Deep Convolutional Neural Networks
AlexNet
是
ILSVRC
競賽 2012 年第一名，5個（卷積層+池化層）+3個全連線層。
The first convolutional layer filters the
224×224×3 input image
with
96 kernels of size 11×11×3 with a stride of 4 pixels
（this is the distance between the receptive field centers of neighboring neurons in a kernel map）。 The second convolutional layer takes as input the （
response-normalized and pooled
） output of the first convolutional layer and
filters it with 256 kernels of size 5 × 5 × 48
。
The third， fourth， and fifth
convolutional layers
are connected to one another without any intervening pooling or normalization layers。 The third convolutional layer has
384 kernels of size 3 × 3 × 256
connected to the （normalized， pooled） outputs of the second convolutional layer。 The fourth convolutional layer has
384 kernels of size 3 × 3 × 192
， and the fifth convolutional layer has
256 kernels of size 3 × 3 × 192
。
The fully-connected layers have
4096 neurons
each。
《ImageNet Classification with Deep Convolutional Neural Networks》
ZFNet
相關文獻： Visualizing and Understanding Convolutional Networks
ZFNet
是
ILSVRC
競賽 2013 年第一名。
《Visualizing and Understanding Convolutional Networks》
GoogLeNet 與 VGGNet
GoogLeNet
是
ILSVRC
競賽 2014 年第一名，
VGG
是
ILSVRC
競賽 2014 年第二名。
GoogLeNet
給出了
Inception
結構，
Inception
歷經了
V1、V2、V3、V4
等多個版本的發展，不斷趨於完善。
[1] - VGGNet
相關文獻： Very Deep Convolutional Networks for Large-Scale Image Recognition
如下表所示，網路結構 D 就是著名的
VGG-16
，網路結構 E 就是著名的
VGG-19
。
《Very Deep Convolutional Networks for Large-Scale Image Recognition》
[2] - GoogLeNet
2014年9月的《Going deeper with convolutions》提出的
Inception V1
，將全連線，甚至卷積中的區域性連線，全部替換為稀疏連線。相比之前的網路結構，
GoogLeNet
非常大膽地嘗試了更小的卷積核，如下所示。
GoogLeNet
的完整網路架構圖詳見論文。
《Going deeper with convolutions》
《Going deeper with convolutions》
2015年2月的《Batch Normalization： Accelerating Deep Network Training by Reducing Internal Covariate Shift》提出的
Inception V2
，加入了BN（Batch Normalization）層，並且使用 2 個 3*3 替代 1 個 5*5 卷積。
《Batch Normalization： Accelerating Deep Network Training by Reducing Internal Covariate Shift》
2015年12月的《Rethinking the Inception Architecture for Computer Vision》提出的
Inception V3
，提出了卷積分解，將7*7分解成兩個一維的卷積（1*7， 7*1），3*3也是一樣（1*3， 3*1），這樣的好處，既可以加速計算（多餘的計算能力可以用來加深網路），又可以將 1 個 conv 拆成 2 個 conv ，使得網路深度進一步增加，增加了網路的非線性。
2016年2月的《Inception-v4， Inception-ResNet and the Impact of Residual Connections on Learning》提出的
Inception V4
，利用殘差連線（Residual Connection）來改進v3結構，將 Inception模組 和 ResidualConnection 結合，使得訓練加速收斂更快，精度更高。
ResNet
ResNet
是
ILSVRC
競賽 2015 年第一名。
ResNet
結構看起來就感覺有很多冗餘
相關文獻： Deep Residual Learning for Image Recognition
《Deep Residual Learning for Image Recognition》
《Deep Residual Learning for Image Recognition》
《Deep Residual Learning for Image Recognition》
DenseNet
相關文獻： Densely Connected Convolutional Networks
如下圖所示，
DenseNet
的每一層的輸出都會作為後面所有層的輸入，提升了網路層級間資訊流與梯度流的效率。
《Densely Connected Convolutional Networks》
《Densely Connected Convolutional Networks》
GBD-Net
GBD-Net
是
ILSVRC
競賽 2016 年第一名。
相關文獻： Crafting GBD-Net for Object Detection
The effectiveness of GBD-Net is shown through experiments on three object detection datasets，
ImageNet, Pascal VOC2007 and Microsoft COCO
。 This paper also shows the details of our approach in
wining the ImageNet object detection challenge of 2016
， with source code provided on craftGBD。
SENet
SENet
是
ILSVRC
競賽 2017 年第一名。
相關文獻： Squeeze-and-Excitation Networks
Squeeze-and-Excitation Networks
formed the foundation of our
ILSVRC 2017
classification submission which
won first place and reduced the top-5 error to 2.251%
， surpassing the winning entry of 2016 by a relative improvement of ∼25%。
Models and code are available at
https：//
github。com/hujie-frank/
SENet
。
SENet 的 Squeeze-Excitation 模組在普通的卷積（
單層卷積
或複合卷積）由輸入 X 得到輸出 U 以後，對 U 的每個通道進行全域性平均池化得到通道描述子（Squeeze），再利用兩層 FC 得到每個通道的權重值，對 U 按通道進行重新加權得到最終輸出（Excitation），這個過程稱之為
feature recalibration
，透過引入 attention 重新加權，可以得到抑制無效特徵，提升有效特徵的權重，並很容易地和現有網路結合，提升現有網路效能，而計算量不會增加太多。
《Squeeze-and-Excitation Networks》
《Squeeze-and-Excitation Networks》
————————————————
也有其他人總結過類似的文章，可供參考
https：//
blog。csdn。net/shinef/ar
ticle/details/100587245
https：//
zhuanlan。zhihu。com/p/58
776542
https：//
blog。csdn。net/weixin_41
770169/article/details/84985254
https：//
blog。csdn。net/ft_sunshi
ne/article/details/90950048
https：//
my。oschina。net/u/876354
/blog/1637819