您的位置  > 互联网

杜夏德:卷积神经网络运行过量是什么意思?

参加者:杜查德

这是作者关于神经网络的系列文章之一,他在其中详细介绍了卷积神经网络。 卷积神经网络广泛应用于图像识别、视频识别、推荐系统和自然语言处理。 如果您想浏览本系列文章,可以点击阅读原文查看原文网址。

与神经网络一样,卷积神经网络由具有可学习权重和偏差的神经元组成。 每个神经元接收多个输入,对输入进行加权求和,将它们传递给激活函数,并用输出进行响应。 整个神经网络都有一个损失函数,我们为神经网络开发的所有技巧和窍门仍然适用于卷积神经网络。

那么,卷积神经网络与神经网络有何不同?

卷积神经网络溢出

这是什么意思?

1. RGB 图像的示例(称为“输入图像”)

在神经网络中,输入是向量,但在卷积神经网络中,输入是多通道图像(本例中的图像有3个通道)。

卷积

2. 用滤波器对图像进行卷积

我们使用 5×3×5 的滤波器在整个图像上滑动,在滑动过程中,我们收集滤波器和输入图像的 patch 之间的点积。

3.看起来像这样

对于收集的每个点积,结果是一个标量。

那么当我们用这个滤波器对完整图像进行卷积时会发生什么?

4. 就是这样!

大家可以想一下这个“28”是从哪里来的。 (提示:此图像上有 28×28 个独特的位置可以放置滤镜)

现在,回到卷积神经网络

该卷积层是卷积神经网络的主要构建块。

5. 卷积层

卷积层由一组独立的滤波器组成(本例中为 6 个)。 每个滤波器独立地与图像进行卷积,最终得到 6 个形状为 28×1×28 的特征图。

假设我们有一个顺序卷积层。 那么会发生什么呢?

6. 序列卷基础层

所有这些过滤器都是随机初始化的,并成为我们的参数,稍后将由该网络学习。

这是经过训练的网络的示例:

7.训练好的网络中的过滤器

看看最上面的过滤器(这些是我们的 5×3×5 过滤器。)通过反向传播,它们将自身调整为边缘的色块和斑点。 当我们深入其他卷积层时,这些滤波器正在对前一个卷积层的输入进行点积。 因此,他们采用这些较小的色块或边缘,并用这些较小的色块和边缘制作更大的色块。

看图 4,将这个 28×1×28 网格想象为 28×28 个神经元。 对于特定的特征图(与滤波器卷积的图像上接收到的输出称为特征图),每个神经元仅连接到输入图像的一小部分,并且所有神经元都具有相同的连接权重。 那么,再次回到卷积神经网络和神经网络之间的区别。

卷积神经网络中的一对概念:参数共享和局部连接

参数共享,权重由特定特征图中的所有神经元共享。

局部连接的思想是每个神经元仅连接到输入图像的一个子集(与所有神经元完全连接的神经网络不同)。

这有助于减少整个系统中的参数数量,从而提高计算效率。

为了简单起见,这里不讨论补零(零)的概念。 有兴趣的可以自行阅读相关资料。

池化层

池化层是卷积神经网络的另一个构建块

池化

其功能是通过逐渐减小表示的空间尺寸来减少网络中参数和计算的数量。 池化层在每个特征图上独立运行。

最大池化

卷积神经网络的典型架构

卷积神经网络的典型架构

我们已经讨论了卷积层(用 CONY 表示)和池化层(用 POOL 表示)

RELU只是应用的非线性特征,类似于神经网络。

该FC与卷积神经网络末端的神经元层完全连接。 全连接层中的神经元连接到先前层中的所有激活,如常规神经网络中所示,并且以类似的方式表现。

希望您现在能够理解卷积神经网络的这种架构。 这种架构有很多变体,但如前所述,基本概念是相同的。

©本文由机器之心编译。 转载请联系本公众号获取授权。

✄------------------------------------------------

加入机器之心(全职记者/实习生):

贡献或寻求报道:

广告及商务合作: