深度学习算法哪些适用于文本处理？

Question

深度学习算法哪些适用于文本处理

Answer 1

作者：梅洪源
来源：知乎

现在实践证明，对supervised-learning而言，效果较好的应该算是Recurrent Neural Network （RNN）吧，目前比较火的一类RNN是LSTM -- Long Short Term Memory。
对于这个model而言，最初的发明见于论文--Long Short Term Memory by Hochreiter and Schmidhuber，而之后较好的归纳和实现可以参考Frame Phoneme Classification with Bidirectional LSTM by Alex Graves，后者有比较清晰的back propagation的公式。
最近两年这个model在speech，language以及multimodal with vision等方面可谓是大展宏图，一再的刷新实验结果，重要工作可以参考：
Speech recognition with Deep Recurrent Neural Networks by Graves
Sequence to Sequence Learning with Neural Networks by Sutskever
Show Attend and Tell by Kelvin Xu
至于具体的实现，希望避免造轮子的可以参考这个非常famous的github：karpathy (Andrej) · GitHub，Andrej Karpathy最近发了很多很有趣的RNN的fun project，可以borrow一些代码。
希望自己造轮子的，可以选择用Theano或者Torch，用画data flow的方法来code整个structure，很简洁实用，我个人一直用Theano，给个好评。：）
当然啦，至于你要研究什么问题，还是具体问题具体分析的好。可以去搜搜有没有研究类似问题的paper，看看目前的最好的技术是什么。Deep Learning不一定是万能的啦。