首页»学习  »   正文

深度学习词汇表(五)

深度学习词汇表(五)

hello,亲爱的伙伴们,没错又是我,一期一会的深度学习词汇表又来了~

传送门在此:

深度学习词汇表(一)

深度学习词汇表(二)

深度学习词汇表(三)

深度学习词汇表(四)

噪音对比估计Noise-contrastive estimation (NCE)

噪声对比估计是一种采样损失,通常用于训练具有较大输出词汇量的分类器。在大量可能的类上计算softmax开销非常大。使用NCE,我们可以通过训练分类器从“真实”分布和人工生成的噪声分布中区分样本,从而将问题简化为二分类问题。

限制玻尔兹曼机(Restricted Boltzmann Machine)RBM

RBMS是一种概率图模型,可以解释为随机人工神经网络。RBNs以无监督的方式学习数据的表示。RBN由可见层和隐藏层以及这些层中每一个二元神经元之间的连接组成。RBNs可以通过对比发散(梯度下降的近似值)得到有效的训练。

循环神经网络Recurrent Neural Network (RNN)

RNN通过隐藏状态或内存建模顺序交互。它可以有N个输入,也可以有N个输出。例如,输入序列可以是一个句子,输出为每个单词的词性标记(N-to-N)。输入可以是一个句子,输出是句子的情感分类(N-to-1)。输入可以是单个图像,输出可以是与图像描述(1到n)对应的单词序列。在每个时间步长,RNN根据当前输入和先前的隐藏状态计算一个新的隐藏状态(“内存”)。“重复”的原因是,在每一步都使用相同的参数,并且网络根据不同的输入执行相同的计算。

循环神经网络Recursive Neural Network

递归神经网络是循环神经网络到树型结构的推广。在每个循环中应用相同的权重。和RNN一样,递归神经网络也可以通过反向传播进行端到端的训练。虽然可以将树结构作为优化问题的一部分来学习,但是递归神经网络通常应用于已经有了预定义结构的问题,如自然语言处理中的解析树。

ReLU激活函数

线性整流函数(Rectified Linear Unit, ReLU)的简称,又称修正线性单元,是一种人工神经网络中常用的激活函数(activation function),通常指代以斜坡函数及其变种为代表的非线性函数。它们由f(x) = max(0,x)定义,ReLUs相对于tanh这样的函数的优势在于它们趋于稀疏(它们的激活很容易设置为0),并且它们较少受到消失梯度问题的影响。ReLUs是卷积神经网络中最常用的激活函数。ReLU存在多种变化,如泄漏ReLU、参数ReLU (PReLU)或光滑的softplus逼近。

残差网络ResNet

深度残差网络赢得了ILSVRC 2015年挑战赛。这些网络通过跨层栈引入快捷连接来工作,允许优化器学习“更简单”的剩余映射,而不是更复杂的原始映射。这些快捷连接类似于高速公路层,但它们是独立于数据的,不会引入额外的参数或训练复杂性。在ImageNet测试集中,ResNets的错误率达到3.57%。

均方根反向传播RMSProp

RMSProp是一种基于梯度的优化算法。它类似于Adagrad,但是引入了一个额外的衰减项来抵消Adagrad学习速度的快速下降。

Seq2Seq模型

Seq2Seq,全称Sequence to Sequence。它是一种通用的编码器——解码器框架,可用于机器翻译、文本摘要、会话建模、图像字幕等场景中。Seq2Seq并不是GNMT(Google Neural Machine Translation)系统的官方开源实现。它与标准RNN的不同之处在于,在网络开始产生任何输出之前,输入序列被完全读取。通常,seq2seq模型是使用RNNs实现的,作为编码器和解码器。神经机器翻译是seq2seq模型的一个典型例子。框架的目的是去完成更广泛的任务,而神经机器翻译只是其中之一。

也许你们已经厌倦了,但是相信我,这一切很快就要结束了,再坚持一下ღ( ´・ᴗ・` )。

欢迎关注ATYUN官方公众号,商务合作及内容投稿请联系邮箱:bd@atyun.com

发表评论