使用TensorFlow需要掌握的模型架构

封面图片：Artiom Vallat

深度神经网络灵活的结构注定了其架构的千姿百态。几乎每天都有新的架构诞生。不过对于使用TensorFlow的工程师来说，这几个架构需要特别留意。原因很简单——它们被内置在TensorFlow中。

以下给出各个网络与官方文章链接。如何在TensorFlow中使用它们可以参考官方文档中的使用说明：https://www.tensorflow.org/api_docs/python/tf/keras/applications

VGG

深度卷积神经网络早期经典结构，使用3×3小卷积核，并通过尽可能的增加深度来提升表现。作者为牛津大学的Karen Simonyan等人。

官方论文：Very Deep Convolutional Networks for Large-Scale Image Recognition (ICLR 2015)

ResNet

大名鼎鼎的残差网络，ILSVRC & COCO 2015图像分类竞赛第一名。这个架构不用多说，几乎每个已经入门的深度学习图像工程师都在项目中接触过。通过独特的跳跃连接打通梯度流动的阻碍，使得极深度网络的训练成为可能。作者为微软亚洲研究院的何凯明等人。

官方论文：Deep Residual Learning for Image Recognition (CVPR 2015)

学习笔记：残差网络解决了什么问题

Inception V3/V4

将5×5的大卷积核运算打散为3×3的小卷积核运算。作者为Google的Christian Szegedy。

官方论文 v3：Rethinking the Inception Architecture for Computer Vision (CVPR 2016)

将残差网络与Inception结合起来，又叫Inception-ResNet。作者依旧为Google的Christian Szegedy。

官方论文 v4：Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning (AAAI 2017)

Xception

在Inception中引入depthwise separable convolutions。

官方论文：Xception: Deep Learning with Depthwise Separable Convolutions (CVPR 2017)

DenseNet

不但要像ResNet一样连接，还要稠密起来。

官方论文：Densely Connected Convolutional Networks (CVPR 2017)

MobileNet v1/v2/v3

轻量级网络的经典之作。

官方论文 v1：MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications

官方论文 v2：MobileNetV2: Inverted Residuals and Linear Bottlenecks (CVPR 2018)

官方论文 v3：Searching for MobileNetV3 (ICCV 2019)

学习笔记：图解MobileNetV2中的Bottlenecks

NASNet

深度神经网络的架构工程令人奔溃！如何能够使用计算机搜索架构？作者是来自Google的Barret Zoph。

官方论文：Learning Transferable Architectures for Scalable Image Recognition (CVPR 2018)

EfficientNet

模型缩放的大统一方案。

官方论文：EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks (ICML 2019)