BILSTM和CRF的那些事

最近看了黄老师的视频课，一下子觉得自己对这些内容又生疏了，于是找来看了看。现在记录一下
一、框架
框架的选择上，我看老黄选择的也是这张图，正好作者有点料，于是直接将链接添加链接描述附上。
这里有个点，这里的图很重要。注意，LSTM的输出中，每个字输出为label的概率。
二、LSTM的参数量

1. 参数量计算
2. LSTM的官方文档
3. LSTM的结构图如下
   
   lstm的计算公式为：
   
4. GRU的结构图为：
   
   图中的zt和rt分别表示更新门和重置门。更新门用于控制前一时刻的状态信息被带入到当前状态中的程度，更新门的值越大说明前一时刻的状态信息带入越少。重置门控制前一状态有多少信息被写入到当前的候选集 h~t 上，重置门越小，前一状态的信息被写入的越少。
   
   更新门是GRU的主要精髓。公式分析时，主要看更新门的写法
   注意：rt和zt都是从h(t-1)和xt得来的，其实包含了他们之间的相关性。

三、CRF的详细介绍

1. 参考这位大哥的博客博客，我找到了印象深处的英文解释添加链接描述。从而加深了对章一 中的理解。

2. 此外，我记得依靠模板，crf本身就可以用机器学习的方式（添加模板，U和B模板）来进行BIO学习。我的笔记里有。

3. BILSTM算出来的是 每个字为每个标签(BIO)的发射概率，CRF算出来的是 字与字之间的转移概率。

4. loss函数 是：最有路径 和全路径的函数。

5. 预测：维特比算法。

6. 维特比算法为什么不存在 最大熵模型的标注偏置问题？

   答：因为 维特比算法 的归一化 是 所有路径的全局归一化；最大熵模型的归一化 是从previous出发的局部归一化，局部归一化会造成局部问题，即 标注偏置问题，详情见https://www.bbsmax.com/A/D854D91p5E/。