简单有效的位置编码
去年流行了一阵相对位置编码，各种巧夺天工的设计层出不穷，各有各的数学解释。然而谷歌这篇文章指出，相对位置并不优于绝对位置。之所以看上去更优是因为位置信息被加到了每一层注意力矩阵上，增大了矩阵的秩。其实我当时看这些论文的时候就很疑惑，这些论文 […]
文章来源：
Author：hankcs
link：https://www.hankcs.com/ml/a-simple-and-effective-positional-encoding-for-transformers.html
下一篇：推荐几本好用的日语词典