MLP

多层感知机（MLP）是一种人工神经网络（ANN）的一种，也称为多层前馈网络（MLFN）、深度前馈神经网络（DFNN）、回归神经网络（RNN），是机器学习中一种有监督学习算法。MLP由输入层、输出层和一个以上的隐藏层构成，每一层由一组神经元组成，隐藏层可有多个，当然也可以没有。

MLP的输入信号从输入层传入第一个隐藏层，神经元从输入层接收输入信号，通过局部激活函数（也称激励函数）来运算，激励函数可以保证每一层输出信号经过变换以后不管输入信号多大，样本空间映射都处于一个可控制的范围内，决定了输出信息的范围并维持其唯一性，从而保证模型的准确性和稳定性以及可学习性。

隐藏层和隐藏层之间采用权重变换，权重对模型的性能至关重要，应尽量使网络能得到良好的收敛效果。MLP模型的权重表征是一个非线性系统，因此利用梯度下降法来训练权重参数，求解一定的损失函数或者误差函数。训练过程中，不断更新权重（更新权重不需要手动设置，而是自动实现），使得网络的误差最小（即损失函数最小），让网络能够按照设定的目标达到预期的性能。

MLP在机器学习任务中有很强的适用性，将其用于分类任务的时候，使用的激励函数一般选择sigmoid函数等单位阶跃函数，sigmoid函数可以将输入信号压缩映射到（0，1），然后输出层使用概率输出，根据概率确定分类结果，也可以使用多个sigmoid函数，以及sigmoid函数组合实现多分类。另一个更简单的方法是单层神经网络（SLFN），可以通过修改激励函数的函数形式以及网络结构来实现不同的训练方法，使MLP能够处理非线性特征数据。

MLP由于其好用性、性能稳定，有几十年的历史，被广泛地应用在分类任务、回归任务、故障诊断任务（发电机状态监控）以及贝叶斯估计等方面。MLP具有计算复杂度高、训练耗时长，训练过程中模型过拟合，解决方案包括Dropout、L1正则化和L2正则化等众多准确性性能优化技术。