转载——关于bp神经网络

阅读量：5330 次

发布时间：2019-06-14

本文共 3199 字，大约阅读时间需要 10 分钟。

一、BP神经网络的概念

BP神经网络是一种多层的前馈神经网络，其主要的特点是：信号是前向传播的，而误差是反向传播的。具体来说，对于如下的只含一个隐层的神经网络模型：

(三层BP神经网络模型)

BP神经网络的过程主要分为两个阶段，第一阶段是信号的前向传播，从输入层经过隐含层，最后到达输出层；第二阶段是误差的反向传播，从输出层到隐含层，最后到输入层，依次调节隐含层到输出层的权重和偏置，输入层到隐含层的权重和偏置。

二、BP神经网络的流程

在知道了BP神经网络的特点后，我们需要依据信号的前向传播和误差的反向传播来构建整个网络。

1、网络的初始化

假设输入层的节点个数为

$n$ ，隐含层的节点个数为

$l$ ，输出层的节点个数为

$m$ 。输入层到隐含层的权重

$\omega_{ij}$ ，隐含层到输出层的权重为

$\omega_{jk}$ ，输入层到隐含层的偏置为

$a_j$ ，隐含层到输出层的偏置为

$b_k$ 。学习速率为

$\eta$ ，激励函数为

$g\left ( x \right )$ 。其中激励函数为

$g\left ( x \right )$ 取Sigmoid函数。形式为：

$g\left ( x \right )=\frac{1}{1+e^{-x}}$

2、隐含层的输出

如上面的三层BP网络所示，隐含层的输出

$H_j$ 为

$H_j=g\left ( \sum_{i=1}^{n}\omega _{ij}x_i+a_j \right )$

3、输出层的输出

$O_k=\sum_{j=1}^{l}H_j\omega _{jk}+b_j$

4、误差的计算

我们取误差公式为：

$E=\frac{1}{2}\sum_{k=1}^{m}\left ( Y_k-O_k \right )^2$

其中

$Y_k$ 为期望输出。我们记

$Y_k-O_k=e_k$ ，则

$E$ 可以表示为

$E=\frac{1}{2}\sum_{k=1}^{m}e_k^2$

以上公式中，

$i=1\cdots n$ ，

$j=1\cdots l$ ，

$k=1\cdots m$ 。

5、权值的更新

权值的更新公式为：

$\left\{\begin{matrix} \omega _{ij}=\omega _{ij}+\eta H_j\left ( 1-H_j \right )x_i\sum_{k=1}^{m}\omega _{jk}e_k\\ \omega _{jk}=\omega _{jk}+\eta H_je_k \end{matrix}\right.$

这里需要解释一下公式的由来：

这是误差反向传播的过程，我们的目标是使得误差函数达到最小值，即

$min E$ ，我们使用梯度下降法：

隐含层到输出层的权重更新

$\frac{\partial E}{\partial w_{jk}}=\sum_{k=1}^{m}\left ( Y_k-O_k \right )\left ( -\frac{\partial O_k}{\partial w_{jk}} \right )=\left ( Y_k-O_k \right )\left ( -H_j \right )=-e_kH_j$

则权重的更新公式为：

$w_{jk}=w_{jk}+\eta H_je_k$

输入层到隐含层的权重更新

$\frac{\partial E}{\partial w_{ij}}=\frac{\partial E}{\partial H_j}\cdot \frac{\partial H_j}{\partial \omega _{ij}}$

其中

$\begin{matrix} \frac{\partial E}{\partial H_j}=\left ( Y_1-O_1 \right )\left ( -\frac{\partial O_1}{\partial H_j} \right )+\cdots +\left ( Y_m-O_m \right )\left ( -\frac{\partial O_m}{\partial H_j} \right )\\ =-\left ( Y_1-O_1 \right )\omega _{jk}-\cdots-\left ( Y_m-O_m \right )\omega _{jk}\\ =-\sum_{k=1}^{m}\left ( Y_k-O_k \right )\omega _{jk}=-\sum_{k=1}^{m}\omega _{jk}e_k \end{matrix}$

$\begin{matrix} \frac{\partial H_j}{\partial \omega _ij}=\frac{\partial g\left ( \sum_{i=1}^{n}\omega _{ij}x_i+a_j \right )}{\partial \omega _ij}\\ =g\left ( \sum_{i=1}^{n}\omega _{ij}x_i+a_j \right )\cdot \left [ 1-g\left ( \sum_{i=1}^{n}\omega _{ij}x_i+a_j \right ) \right ]\cdot \frac{\partial \left ( \sum_{i=1}^{n}\omega _{ij}x_i+a_j \right )}{\partial \omega _ij}\\ =H_j\left ( 1-H_j \right )x_i \end{matrix}$

则权重的更新公式为：

$\omega _{ij}=\omega _{ij}+\eta H_j\left ( 1-H_j \right )x_i\sum_{k=1}^{m}\omega _{jk}e_k$

6、偏置的更新

偏置的更新公式为：

$\left\{\begin{matrix} a_j=a_j+\eta H_j\left ( 1-H_j \right )\sum_{k=1}^{m}\omega _{jk}e_k\\ b_k=b_k+\eta e_k \end{matrix}\right.$

隐含层到输出层的偏置更新

$\frac{\partial E}{\partial b_k}=\left ( Y_k-O_k \right )\left ( -\frac{\partial O_k}{\partial b_k} \right )=-e_k$

则偏置的更新公式为：

$b_k=b_k+\eta e_k$

输入层到隐含层的偏置更新

$\frac{\partial E}{\partial a_j}=\frac{\partial E}{\partial H_j}\cdot \frac{\partial H_j}{\partial a_j}$

其中

$\begin{matrix} \frac{\partial H_j}{\partial a_j}=\frac{\partial g\left ( \sum_{i=1}^{n}\omega _{ij}x_i+a_j \right )}{\partial a_j}\\ =g\left ( \sum_{i=1}^{n}\omega _{ij}x_i+a_j \right )\cdot \left [ 1-g\left ( \sum_{i=1}^{n}\omega _{ij}x_i+a_j \right ) \right ]\cdot \frac{\partial \left ( \sum_{i=1}^{n}\omega _{ij}x_i+a_j \right )}{\partial a_j}\\ =H_j\left ( 1-H_j \right ) \end{matrix}$

则偏置的更新公式为：