首页»学习  »   正文

直观地学习并理解用于深度学习的卷积

直观地学习并理解用于深度学习的卷积

近年来,功能强大、功能多样的深度学习框架的出现,使得将卷积层实现到深度学习模型成为可能,这是一项极其简单的任务,通常只需一行代码即可完成。

然而,理解卷积,尤其是第一次理解卷积,常常会让人感到有些困难,因为内核、过滤器、通道等术语都是相互叠加的。然而作为一个概念的卷积是迷人地强大的、高度可扩展的。

在这篇文章中,我们将分解卷积操作的机制,一步一步地将其与标准的完全连接的网络联系起来,并探索它们如何建立强大的视觉层次结构,使其成为图像的强大功能提取器。

2D卷积:操作

2D卷积本质上是一个相当简单的操作:从一个内核开始,这只是一个小的权重矩阵。该内核在2D输入数据上“滑动”,与当前输入的部分进行元素相乘,然后将结果汇总为单个输出像素。

直观地学习并理解用于深度学习的卷积

标准卷积

内核为其滑过的每个位置重复此过程,将2D特征矩阵转换为另一个2D特征矩阵。输出特征基本上是输入特征的加权和(权重是内核本身的值),其大致位于输入层上输出像素的相同位置。

输入特征是否落在这个大致相同的位置内,直接由它是否在产生输出的内核区域中确定。这意味着内核的大小直接决定了在生成新输出特征时合并了多少(或几个)输入特征。

这与完全连接的层形成鲜明对比。在上面的例子中,我们有5×5 = 25个输入特征,3×3 = 9个输出特征。如果这是一个标准的完全连接层,你将拥有一个25×9 = 225个参数的权重矩阵,每个输出特征都是每个输入特征的加权和。卷积允许我们只使用9个参数进行此转换,用每个输出特征,而不是查看每个输入特征,只查看来自大致相同位置的输入特征。

一些常用的技术

在我们继续之前,有必要研究在卷积层中常见的两种技术:Padding和Strides。

Padding:如果你看到上面的动画,请注意在滑动过程中,边缘基本上被修剪掉,将5×5特征矩阵转换为3×3特征矩阵。边缘上的像素永远不会位于内核的中心,因为内核没有任何东西可以扩展到边缘之外。这并不理想,因为我们通常希望输出的大小等于输入。

直观地学习并理解用于深度学习的卷积

相同的Padding

Padding非常聪明地解决了这个问题:用额外的假像素填充边缘(通常值为0,因此经常使用的术语“零填充”)。这样,滑动时的内核可以允许原始边缘像素位于其中心,同时延伸到边缘之外的伪像素,产生与输入相同大小的输出。

Striding:通常在运行卷积层时,你需要一个尺寸小于输入的输出。这在卷积神经网络中是常见的,其中当增加信道数量时,空间维度的大小减小。实现此目的的一种方式是通过使用pooling层(例如,取每2×2网格的平均值/最大值来将每个空间维度减半)。另一种方法是使用stride:

直观地学习并理解用于深度学习的卷积

stride的想法是跳过内核的一些滑动位置。1的步幅意味着选择一个像素分开的滑动,所以基本上每个滑动都作为标准卷积。2的步幅意味着分开2个像素的滑动,在此过程中跳过每个其他滑动,缩小大约2倍,3的步幅意味着每2个滑动跳过,大约缩小3倍,依此类推。

更现代的网络,例如ResNet架构,完全放弃了内层的pooling层,在需要减小输出尺寸时,有利于stride卷积。

多渠道版本

当然,上面的图仅涉及图像具有单个输入通道的情况。实际上,大多数输入图像都有3个通道,而且这个数字只会随着网络的深入而增加。一般来说,我们很容易把渠道看作是整体形象的一个视角,强调某些方面,而不强调其他方面。

直观地学习并理解用于深度学习的卷积

大多数时候,我们处理具有三个通道的RGB图像

直观地学习并理解用于深度学习的卷积

过滤器:内核的集合

因此,这是术语之间的关键区别派上用场的地方:术语之间的关键区别就派上了用场:而在1通道的情况下,术语过滤器和内核是可互换的,在一般情况下,它们实际上是非常不同的。实际上,每个过滤器都是内核的集合,对于该层的每个输入通道都有一个内核,并且每个内核都是惟一的。

卷积层中的每个过滤器都会产生一个且只有一个输出通道,它们就是这样做的:

直观地学习并理解用于深度学习的卷积

过滤器的每个内核在其各自的输入通道上滑动,产生每个的处理版本。一些内核可能具有比其他内核更强的权重,以更多地强调某些输入通道而不是其他内核(例如,过滤器可能具有比其他内核具有权重更大的红色内核通道,因此,对红色通道特征的差异的响应比其他更多)。

直观地学习并理解用于深度学习的卷积

然后将每个通道处理的版本汇总在一起形成一个通道。过滤器的每个内核生成每个通道的一个版本,过滤器作为一个整体生成一个整体输出通道。

最后,还有偏项。这里偏项的工作方式是每个输出过滤器都有一个偏项。到目前为止,偏差被添加到输出通道以产生最终输出通道。

直观地学习并理解用于深度学习的卷积

对于单个过滤器,任何数量的过滤器的情况都是相同的:每个过滤器使用它自己的、不同的内核集处理输入,并使用上面描述的过程处理标量偏差,从而生成一个输出通道。然后将它们连接在一起,生成总体输出,输出通道的数量就是过滤器的数量。通常在将这个作为输入传递给另一个卷积层之前应用非线性,然后这个卷积层重复这个过程。

2D卷积:直觉

卷积仍然是线性变换:

即使卷积层的机制简化,要将它与标准的前馈网络联系起来仍然是很困难的,而且它仍然不能解释为什么卷积可以扩展到图像数据,并且对图像数据的处理效果要好得多。

假设我们有一个4×4输入,我们想将其转换为2×2网格。如果使用前馈网络,我们将4×4输入重新整形为长度为16的向量,并将其传递到具有16个输入和4个输出的密集连接层。可以看到一个层的权重矩阵W:

直观地学习并理解用于深度学习的卷积

总而言之,有64个参数

尽管卷积内核操作起初看起来有点奇怪,但它仍然是一个带有等价变换矩阵的线性变换。如果我们在重构的4×4输入上使用大小为3的内核K来获得2×2输出,则等价变换矩阵将是:

直观地学习并理解用于深度学习的卷积

这里只有9个参数

注意:虽然上面的矩阵是一个等价的变换矩阵,但实际操作通常为一个非常不同的矩阵乘法。

那么整个卷积仍然是一个线性变换,但与此同时它也是一种截然不同的变换。对于具有64个元素的矩阵,只有9个参数本身可以多次重复使用。每个输出节点只能看到选定数量的输入(内核中的输入)。没有任何其他输入的交互,因为它们的权重设置为0。

将卷积运算视为权重矩阵的一个hard prior是有用的。在此情境中,先验是指预定义的网络参数。例如,当用预训练的模型进行图像分类时,你使用预训练的网络参数作为先验参数,作为最终密集连接层的特征提取器。

从这个意义上说,与其他选择相比为什么两者都如此高效,存在一个直接的直觉。与随机初始化相比,迁移学习的数量级有效,因为你只需要优化最终完全连接层的参数,这意味着你可以在每个类只有几十张图像的情况下获得出色的性能。

在这里,不需要优化所有64个参数,因为我们将它们中的大多数设置为零(并且它们将保持这种方式),其余的我们将转换为共享参数,从而导致仅优化9个实际参数。这种效率非常重要,因为当你从MNIST的784输入移动到真实世界的224×224×3图像时,就会有超过15万个输入。尝试将输入减半到75000个输入的密集层仍然需要超过100 亿个参数。相比之下,整个 ResNet-50有大约2500万个参数。

因此将一些参数固定为0,并且将参数绑定可以提高效率,但与迁移学习案例不同,我们知道先验很实用,因为它适用于大量的一般图像集,我们怎么知道这会带来什么好处呢?

答案在于先前引导参数学习的特征组合。

局部性

在本文前面的部分,我们讨论过:

  • 内核仅组合来自小的局部区域的像素以形成输出。也就是说,输出特征仅看到来自小局部区域的输入特征。
  • 内核在整个图像中全局应用以生成输出矩阵。

因此,随着反向传播从网络的分类节点一路而来,内核有一个有趣的任务:学习权重,只从一组本地输入生成特性。此外,由于内核本身应用于整个映像,因此内核学到的特性必须足够通用,可以来自映像的任何部分。

如果这是任何其他类型的数据,例如应用程序安装的分类数据,这将是一场灾难,因为你的应用程序安装数量和应用程序类型列彼此相邻,并不意味着它们具有与应用程序安装日期相同的任何本地,共享功能和使用的时间。

当然,这四个可能有一个潜在的更高级别的功能(例如,找到人们最想要的应用程序),但这使我们没有理由相信前两个参数与后两个参数完全相同。这四个可能是任何(一致的)顺序,并且仍然有效!

然而,像素总是以一致的顺序出现,并且附近的像素影响像素,例如,如果所有附近的像素都是红色,则很可能像素也是红色的。如果有偏差,这是一个有趣的异常,可以转换成一个特征,所有这些都可以通过比较一个像素与其相邻像素,以及其所在位置的其他像素检测出来。

而这个想法实际上是许多早期计算机视觉特征提取方法的基础。例如,对于边缘检测,可以使用Sobel边缘检测滤波器,具有固定参数的内核,就像标准的单通道卷积一样运行:

直观地学习并理解用于深度学习的卷积

对于包含非边缘的网格(例如背景天空),大多数像素都是相同的值,因此该点内核的总输出为0。

对于具有垂直边缘的网格,存在差异边缘左侧和右侧的像素,内核计算该差异为非零,激活并显示边缘。内核一次只能处理3×3网格,检测局部尺度上的异常,但是当应用于整个图像时,足以在图像中的任何位置检测全局范围内的某个特征。

因此,深度学习的关键不同之处在于,我们要问这样一个问题:我们能学到有用的内核吗?

对于在原始像素上操作的早期层,我们可以合理地期望相当低级别的特征检测器,如边缘、线等。

深入学习研究的整个分支专注于使神经网络模型可解释。其中最强大的工具之一是使用优化的特征可视化。核心思想很简单:优化图像(通常用随机噪声初始化)以尽可能强烈地激活滤波器。这确实具有直观意义:如果优化的图像完全被边缘填充,那就是过滤器本身正在寻找并被激活的强有力证据。使用这个,我们可以查看学习过滤器,结果令人惊叹:

直观地学习并理解用于深度学习的卷积

从GoogLeNet的第一卷积层开始,对3个不同的通道进行特征可视化。注意,虽然它们检测不同类型的边缘,但它们仍然是低级边缘检测器。

直观地学习并理解用于深度学习的卷积

来自第2和第3卷的通道12的特征可视化

这里要注意的一件重要事情是卷积图像仍然是图像。从图像左上角开始的小像素网格输出仍然位于左上角。因此,你可以在另一个卷积层(例如左侧的两个)上运行另一个卷积层,以提取可视化更深层次的特征。

然而,无论我们的特征探测器有多深,在没有进一步改变的情况下,它们仍将在非常小的图像块上运行。无论你的探测器有多深,你都无法从3×3网格中探测到面部。接下来就应该引入接受域了。

接受域

任何CNN架构的基本设计选择是从网络的开始到结束,输入大小越来越小,而信道的数量越来越多。如前所述,这通常通过跨步或汇集层来完成。局部性决定了输出可以看到前一层的输入。感知字段确定输出可以看到的整个网络的原始输入的哪个区域。

至于跨步卷积,是我们只处理固定距离的幻灯片,并跳过中间的幻灯片。从不同的角度来看,我们只将输出保持固定的距离,并删除剩余的。

直观地学习并理解用于深度学习的卷积

3×3卷积,步幅2

然后,将非线性应用于输出,并且按照惯例,然后在顶部堆叠另一个新的卷积层。即使我们将具有相同局部区域的相同大小(3×3)的内核应用于跨步卷积的输出,内核也将具有更大的有效感受域:

直观地学习并理解用于深度学习的卷积

这是因为跨步层的输出仍然代表相同的图像。与其说是裁剪,不如说是调整大小,唯一的问题是输出中的每一个像素都代表了一个更大的区域(其中的其他像素被丢弃了),该区域与原始输入的大致位置相同。因此,当下一层的s内核对输出进行操作时,它对从更大区域收集的像素进行操作。

直观地学习并理解用于深度学习的卷积

如我们在mixed3a层中看到的那样,接受域的这种扩展允许卷积层将低级特征(线,边)组合成更高级别的特征(曲线,纹理)。

随后是一个汇集/跨步层,网络继续为更高级别的功能(部件,模式)创建探测器,正如我们在mixed4a中看到的那样。

与输入224×224相比,通过网络上的第5个块,网络上图像大小的重复减少导致输入大小仅为7×7。此时,每个单个像素表示32×32像素的网格,这是非常大的。

与早期的层相比,激活意味着检测边缘,在这里,微小的7×7网格上的激活是一个高级别的特征,例如鸟类。

整个网络从少量过滤器(GoogLeNet为64)检测低级特征,到大量过滤器(最终卷积为1024),每个过滤器都在寻找极其特定的高级特征。接下来是最终的汇集层,它将每个7×7网格折叠成一个像素,每个通道都是一个特征检测器,其接受域相当于整个图像。

与标准的前馈网络相比,这里的输出简直令人惊叹。标准前馈网络将从图像中的每个单个像素的组合产生抽象特征向量,这需要训练大量的数据。

带着先验知识,CNN从学习非常低层次的特征检测器开始,随着其接受域的扩展,跨层学习如何将这些低层次的特征组合成逐步提高的层次特征;不是每个像素的抽象组合,而是概念的强大视觉层次结构。

通过检测低层特征,并使用它们在视觉层次上检测高层特征,它最终能够检测整个视觉概念,如人脸、鸟类、树木等,这使得它们在处理图像数据时如此强大而高效。

关于对抗性攻击的一点提示

在CNN构建的视觉层次结构中,假设他们的视觉系统与人类相似是非常合理的。它们在处理真实世界的图像方面非常出色,但它们也有一些缺陷,这强烈表明它们的视觉系统并不完全像人类。最主要的问题:对抗性的例子,这些例子被特别修改以愚弄模型。

直观地学习并理解用于深度学习的卷积

对于人类而言,两幅图像显然都是大熊猫。对模型而言则不是

如果被篡改的那些是人类会注意到的,那么对抗性的例子是没什么问题的。但这些模型很容易受到样本的攻击,某些样本只是被轻微篡改过,这使模型可能会悄然失效,而这对于从自动驾驶汽车到医疗保健等应用来说非常危险。

对抗攻击的强大功能目前是一个非常活跃的研究领域,解决方案会改善CNN架构,使其变得更安全,更可靠。

结论

CNN是允许计算机视觉从简单应用扩展到复杂产品和服务的模型,它们可能是未来计算机视觉的关键方法,或者引发一些新的突破。无论如何,有一件事是肯定的:它们是令人惊叹的,是许多当今创新应用的核心,非常值得人们去深刻理解。

欢迎关注ATYUN官方公众号,商务合作及内容投稿请联系邮箱:bd@atyun.com

发表评论