深度学习(7) - 长短时记忆网络(LSTM)

• liu20130172 发布于
• 1485 收藏

长短时记忆网络是啥我们首先了解一下长短时记忆网络产生的背景。回顾一下零基础入门深度学习(5) - 循环神经网络中推导的，误差项沿时间反向传播的公式：我们可以根据下面的不等式，来获取的模的上界（模可以看做对中每一项值的大小的度量）：我们可以看到，误差项从t时刻传递到k时刻，其值的上界是的指数函数。分别是对角矩阵和矩阵W模的上界。显然，除非乘积的值位于1附近，否则，当t-k很大时（也就是误差传递很多个...