CS224n笔记18 挑战深度学习与自然语言处理的极限

最后一课,总结了目前这两个领域中的难题,介绍了一些前沿研究:快16倍的QRNN、自动设计神经网络的NAS等。 深度学习已经漂亮地完成了许多单项任务,但如果我们继续随机初始化模型参数,我们永远也无法得到一个可以完全理解语言的系统。模型就像蒙住 […]

CS224n研究热点15 Neural Turing Machines

    这次讲座覆盖了来自DeepMind的两篇论文: 第二篇是第一篇的轻微改进,这里只关注抽象思想。 问题  目前的神经网络擅长模式识别和动态决策,但无法使用知识进行深思或推断。比如明明可以胜任电子游戏这么复 […]