预训练语言模型（三）：RNN和LSTMRNNLSTM
参考一个很全的总结：预训练语言模型的前世今生 - 从Word Embedding到BERT这儿对预训练模型又有了一点理解，也是之前在做VGG实验时在困惑的点，预训练模型在使用时可以有两种做法：一种是Frozen，将参数锁住，在下游应用时不再改变；另一种就是Fine-Tuning，即将参数初始化为预训练模型的参数，下游应用时仍然可以改变。好了进入正题：RNNRNN结构最大的特点就是融入了时序信息，其结构如下图所示：左侧部分称为RNN的一个timestep，对于每一个时刻 ttt ，输入的 xtx
