Recurrent neural network简介

最近看到一篇文章简单的介绍了RNN的概念。一般的CNN由input,hidden,output layer组成，每个layer之中的neuron没有联系，后一层的layer只跟前一层有关。这种方法的缺点是无法得到context信息，比如在一个视频中frame之间是有关联的，好比每个单词都要放在一个句子里面才容易理解。而RNN为了利用这种context，增加了每个layer之间的feedback，就是说hidden layer的neuron不仅跟前一层的有关，还跟上一次它自己的值有关，这样就仿佛给了它记忆的功能。RNN的应用包括语言翻译，图片注释等。