RNN循环神经网络

三部分

输入单元

隐藏单元

RNN 的数学公式

RNN 的核心是隐藏状态的更新公式： $h_t=tanh(W_{hh}⋅h_{t−1}+W_{xh}⋅x_t)$

• $h_t$ 是当前时刻的隐藏状态。
• $h_{t−1}$ 是前一时刻的隐藏状态。
• $x_t$ 是当前时刻的输入。
• $W_{hh}$ 和 $W_{xh}$ 是权重矩阵。

输出单元

通常是采用创建全连接层的方式连接到模型进行输出