词向量 (Word2Vect)

基本思路

使用单词的上下文（相邻单词）构建语义（词向量）

记全文$V$中共有$T$个单词，第$i$个位置的单词记为$w_i$，其语义由k个参数$\theta$组成的向量$u_w$表达：

• 作为center word时，单词构成的矩阵为$V_{nr\_words\times k}$
• 作为outside word时，单词构成的矩阵为$U_{nr\_words\times k}$

使用点乘计算两个单词的相近程度，$p(w_{t+j}|w_t)$表示在$t$位置为$w_t$的前提下，$t+j$位置为$w_{t+j}$的概率，可以由相近程度计算 (设中心词为c, 外部词为o)：

$$P(o|c)=softmax(u_o^T{v}_c)=\frac{\exp (u_o^T{v}_c)}{{\sum }_{w\in V}\exp (u_w^T{v}_c)}$$

定义单词上下文窗口的大小为$m$，则全文所有单词的“自洽程度”定义为各个单词在其上下文中出现的概率的积：

$$Likelihood=L(\theta )=\prod _{t=1}^T\prod _{-m\le j\le m}P(w_{t+j}|w_t;\theta )$$

训练的目标就是为每个单词找到合理的词向量$\theta$，使得总自洽程度$L(\theta )$最大化

代价函数

$$J(\theta )=-\frac{1}{T}\log L(\theta )=-\frac{1}{T}\sum _{t=1}^T\sum _{-m\le j\le m}\log P(w_{t+j}|w_t;\theta )$$

最大化$L(\theta )$，只需要最小化$J(\theta )$

代价函数的偏导数

$$\frac{\partial J}{\partial v_c}=U(\hat{y}-y)$$ $$\frac{\partial J}{\partial U}=v_c(\hat{y}-y{)}^T$$

推导：

$$\begin{array}{lc}J(\theta )& =-\log (P(O=o|C=c))=-\log \left(\frac{\exp u_o^T{v}_c}{\sum \exp u_w^T{v}_c}\right)\\ & =-u_o^T{v}_c+\log \left(\sum \exp u_w^T{v}_c\right)\end{array}$$ $$\begin{array}{lc}\frac{\partial J}{\partial v_c}& =-u_o+\frac{1}{\sum \exp (u_w^T{v}_c)}\cdot \sum \exp (u_w^T{v}_c)u_w\\ & =-u_o+\sum {\hat{y}}_w{u}_w\\ & =-Uy+U\hat{y}\\ & =U(\hat{y}-y)\end{array}$$

当$w=o$时：

$$\frac{\partial J}{\partial u_w}=-v_c+\frac{1}{\sum \exp (u_w^T{v}_c)}\cdot \exp (u_w^T{v}_c)v_c=-v_c+{\hat{y}}_w{v}_c=({\hat{y}}_w-1)v_c$$

当$w\ne o$时：

$$\frac{\partial J}{\partial u_w}=\frac{1}{\sum \exp (u_w^T{v}_c)}\cdot \exp (u_w^T{v}_c)v_c={\hat{y}}_w{v}_c$$

综合两种情况：

$$\frac{\partial J}{\partial U}=v_c(\hat{y}-y{)}^T$$

最小化代价函数——随机梯度下降 (Stochastic Gradient Descent, SGD)

优化

使用negative sampling替换softmax代价函数

计算softmax代价函数时需要对所有的$\exp (u_w^T{v}_c)$求和，计算量过大。 采用随机抽样的方法优化，任意选出一些不相关的词 (negative samples)计算损失。损失函数更新如下：

$$J_{neg-sample}(u_o,v_c,U)=-\log (sigmoid(u_o^T{v}_c))-\sum _{k\in \{Ksampledindices\}}\log (sigmoid(-u_k^T{v}_c))$$