[基础知识] 多层网络的后向传播


1 一个有单隐层的多层神经网络

上图是一个多层神经网络,包含一个输入层$${x_k}=\{x_1,…,x_K\}$$、一个隐层$${h_i}=\{h_1,…,h_N\}$$以及一个输出层$${y_j}=\{y_1,…,y_M\}$$组成。为了清晰表示,我们分别使用k,i,j作为输入层单元、隐层单元以及输出层单元的下标。我们分别使用$$u_i$$和$$u_j’$$分别表示隐层单元和输出层单元的网络输入。

接下来需要推导出学习输入层和隐层之间权重$$w_{ki}$$的更新公式,以及隐层和输出层之间权重$$w’_{ij}$$的更新公式。假设所有的计算单元(例如,隐层和输出层中的单元)都使用逻辑斯蒂函数$$\sigma(u)$$作为链接函数。因此,作为隐层中的一个单元$$h_i$$,它的输出定义如下:

$$h_i=\sigma(u_i)=\sigma(\sum_{k=1}^K w_{ki}x_k)$$ 公式1

同样地,对于输出层中的一个单元$$y_i$$,其输出被定义为:

$$y_j=\sigma(u_j’)=\sigma(\sum_{n=1}^N w_{ij}’h_i)$$ 公式2

继续阅读

[基础知识] 反向传播(一)

单个单元的学习算法

1展示了一个人工神经元(单位)。$$\{x_1,…,x_K\}$$为输入变量,$$\{\omega_1,…,\omega_K\}$$为权重,$$y$$是一个标量输出,$$f$$是链接函数(也被称为:激活/决策/转移函数)。


1 一个人工神经元

该单元以下列的方式工作:
$$y=f(u)$$

其中,$$u$$是一个标量数字,是神经元的网络输入(或“新输入”)。$$u$$的定义如下:

$$u=\sum_{i=0}^K \omega_i

继续阅读