【值得收藏的深度学习思维导图】全面梳理基本概念与11大模型关系
http://mp.weixin.qq.com/s/qR1qagsS9YVxNye5DWG23Q
深度学习11大概念：激活函数、反向传播算法、学习率、梯度下降等
深度学习11大概念：激活函数、反向传播算法、学习率、梯度下降等
1. 激活函数。它根据一个输入或输入集，定义输出。主要有7大类：Relu、Sigmold/Logistc、Binary、Tanh、Softplus、Softmax、Maxout，当然还有其他。
2. 反向传播算法
这是在人工神经网络用于计算每个神经单元在接受一批数据后带来的误差的影响的一种方法，它计算损失函数的梯度，通常在梯度下降优化算法中使用。它也被称为误差的反向传播，因为误差是在输出中进行计算，然后通过神经网络曾反向分布。
3. 学习率
神经网络通常根据权重由梯度下降进行训练。这意味着，我们会使用反向传播来计算损失函数的误差，与每个权重进行对比，将之从权重中减掉。然而，如果你真的尝试了，权重将会变化太多，每次迭代，这将使他们“过度纠正”，损失实际上会增加/派生。所以在实践中，人们通常将每个派生乘以一个称为“学习率”的小值，然后将其从相应的权重中减去。
4. 梯度下降
是用于查找函数最小值的一阶迭代优化算法。为了使用梯度下降找到函数的局部最小值，人们会在当前点向负数面调整函数的梯度（或近似梯度），如果相反，如果朝正数方向进行调整，则接近该函数的局部最大值。该程序随后被称为梯度上升。
5.权重初始化，分为三种：全零初始化、少量随机数字初始化和变量校准初始化。
6. 神经单元
7. 输入层
8. 隐藏层
9. 巴斯正则化
10. 梯度下降和损失（最小化）目标（最大化）函数
**
- 正则化**
架构：LSTM、GAN、Auto-ENcoder、CNN、RNN
架构这一部分，列举了LSTM、GAN、Auto-ENcoder、CNN、RNN和具体策略，其中策略部分又包括参数初始化和优化。
1. 前向
是一种人造神经网络，其中单元之间的连接不形成循环。在这个网络中，信息只从一个方向移动，从输入节点向前移动，通过隐藏节点（如果有的话）和输出节点。网络中没有周期或循环。
2. LSTM
3. GAN
4. Auto-Encoder
这是一种人工神经网络，用于无监督学习有效地编码。
5.CNN（卷积神经网络），它们被用于图像和视频中，可以进行识别、推荐系统和自然语言处理。
6. RNN（循环），可以使用网络内部的记忆，来处理连续的输入。
7. RNN（递归）
7. 策略：参数初始化和优化