多层感知器

若每个神经元的激活函数都是线性函数，那么，任意层数的MLP都可被约简成一个等价的单层感知器。[5]

实际上，MLP本身可以使用任何形式的激活函数，譬如阶梯函数逻辑Sigmoid函数，但为了使用反向传播算法进行有效学习，激活函数必须限制为可微函数。由于具有良好可微性，很多S函数，尤其是双曲正切函数（Hyperbolic tangent）及逻辑函数，被采用为激活函数。

在深度学习的最新发展中，线性整流(ReLU)更频繁地被用来克服与S函数相关的数值问题。

两个历史上常见的激活函数都是 S函数，形式是

${\displaystyle y(v_{i})=\tanh(v_{i})}$ 和 ${\displaystyle y(v_{i})=(1+e^{-v_{i}})^{-1}}$。

第一个是个双曲正切函数，值域为 -1 到 1；第二个是个逻辑函数，形状很相似但是值域为 0 到 1。令 y_i 为第 i 个节点（神经元）的输出，而 v_i 是输入连接的加权和。也有其他的激活函数，例如线性整流函数，径向基函数（用于径向基函数网络，另一种监督神经网络模型）。

MLP由三层或更多层非线性激活节点组成(一个输入层和一个具有一个或多个隐藏层的输出层)。由于多层互连是完全连接的，所以一层中的每个节点都以一定的权重 w_ij 连接到下一层的每个节点。

MLP 在感知器中进行学习，通过每次处理数据后改变连接权重，降低输出与预测结果的误差量。这是有监督学习的一个例子，通过反向传播来实现，反向传播是线性感知器中最小均方算法的推广。

我们可以将输出节点 j 的第 n 个数据点的误差表示为 ${\displaystyle e_{j}(n)=d_{j}(n)-y_{j}(n)}$，其中 d 是目标值，y 是由感知器预测的值。调整节点权重的方式是，尝试通过修正节点权重最小化输出的整体误差

${\displaystyle {\mathcal {E}}(n)={\frac {1}{2}}\sum _{j}e_{j}^{2}(n)}$.

使用梯度下降，每个权重的修正量为

${\displaystyle \Delta w_{ji}(n)=-\eta {\frac {\partial {\mathcal {E}}(n)}{\partial v_{j}(n)}}y_{i}(n)}$

其中 y_i 是前一个神经元的输出，η是学习率。η需要精心挑选，保证权重可以快速收敛而不发生震荡。

式中的导数取决于局部场 v_j。场是变化的。很容易证明输出节点的导数可以简化为

${\displaystyle -{\frac {\partial {\mathcal {E}}(n)}{\partial v_{j}(n)}}=e_{j}(n)\phi ^{\prime }(v_{j}(n))}$

其中 ${\displaystyle \phi ^{\prime }}$ 是激活函数的导数。${\displaystyle \phi ^{\prime }}$是不变的。对于隐藏节点的权重变化，分析更加困难，但是可以看出相关的导数是

${\displaystyle -{\frac {\partial {\mathcal {E}}(n)}{\partial v_{j}(n)}}=\phi ^{\prime }(v_{j}(n))\sum _{k}-{\frac {\partial {\mathcal {E}}(n)}{\partial v_{k}(n)}}w_{kj}(n)}$.

代表输出层的第k个节点的权重变化会影响这个导数。因此，为了改变隐藏层权重，输出层权重根据激活函数的导数而改变，因此该算法代表激活函数的反向传播[6]。