使用TensorFlow需要掌握的模型架构

天下模型千千万,这几个必须掌握

使用TensorFlow需要掌握的模型架构

封面图片:Artiom Vallat

深度神经网络灵活的结构注定了其架构的千姿百态。几乎每天都有新的架构诞生。不过对于使用TensorFlow的工程师来说,这几个架构需要特别留意。原因很简单——它们被内置在TensorFlow中。

以下给出各个网络与官方文章链接。如何在TensorFlow中使用它们可以参考官方文档中的使用说明:https://www.tensorflow.org/api_docs/python/tf/keras/applications

VGG

深度卷积神经网络早期经典结构,使用3×3小卷积核,并通过尽可能的增加深度来提升表现。作者为牛津大学的Karen Simonyan等人。

官方论文:Very Deep Convolutional Networks for Large-Scale Image Recognition (ICLR 2015)

ResNet

大名鼎鼎的残差网络,ILSVRC & COCO 2015图像分类竞赛第一名。这个架构不用多说,几乎每个已经入门的深度学习图像工程师都在项目中接触过。通过独特的跳跃连接打通梯度流动的阻碍,使得极深度网络的训练成为可能。作者为微软亚洲研究院的何凯明等人。

官方论文:Deep Residual Learning for Image Recognition (CVPR 2015)

学习笔记:残差网络解决了什么问题

Inception V3/V4

将5×5的大卷积核运算打散为3×3的小卷积核运算。作者为Google的Christian Szegedy。

官方论文 v3:Rethinking the Inception Architecture for Computer Vision (CVPR 2016)

将残差网络与Inception结合起来,又叫Inception-ResNet。作者依旧为Google的Christian Szegedy。

官方论文 v4:Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning (AAAI 2017)

Xception

在Inception中引入depthwise separable convolutions。

官方论文:Xception: Deep Learning with Depthwise Separable Convolutions (CVPR 2017)

DenseNet

不但要像ResNet一样连接,还要稠密起来。

官方论文:Densely Connected Convolutional Networks (CVPR 2017)

MobileNet v1/v2/v3

轻量级网络的经典之作。

官方论文 v1:MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications

官方论文 v2:MobileNetV2: Inverted Residuals and Linear Bottlenecks (CVPR 2018)

官方论文 v3:Searching for MobileNetV3 (ICCV 2019)

学习笔记:图解MobileNetV2中的Bottlenecks

NASNet

深度神经网络的架构工程令人奔溃!如何能够使用计算机搜索架构?作者是来自Google的Barret Zoph。

官方论文:Learning Transferable Architectures for Scalable Image Recognition (CVPR 2018)

EfficientNet

模型缩放的大统一方案。

官方论文:EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks (ICML 2019)