Skip to main content

word2vec参数学习解释 (一)

本周主要阅读了Xin Rongword2vec Parameter Learning Explained的第一部分,主要介绍了连续词袋模型中一个单词上下文的情况。下周将介绍多个单词模型、Skip-Gram模型以及一些优化方法等。敬请期待~

摘要

Mikolov等人提出的word2vec模型和应用在最近几年吸引了大量的关注。

继续阅读

[基础知识] 多层网络的后向传播


1 一个有单隐层的多层神经网络

上图是一个多层神经网络,包含一个输入层{x_k}=\{x_1,…,x_K\}、一个隐层{h_i}=\{h_1,…,h_N\}以及一个输出层{y_j}=\{y_1,…,y_M\}组成。为了清晰表示,我们分别使用k,i,j作为输入层单元、隐层单元以及输出层单元的下标。我们分别使用u_iu_j’分别表示隐层单元和输出层单元的网络输入。

继续阅读