层次分解位置编码

层次分解位置编码，让BERT可以处理超长文本-CSDN博客

绝对位置编码的外推性是一个明显缺点，但是层次分解可以使得绝对位置编码能外推到足够长的范围，同时保持还不错的效果。

公式一是用基底表示新的绝对位置编码向量，推导了一下已训练好的绝对位置编码向量和位置编码基底之间的对应关系，比较简单。这样就可以将已训练好的绝对位置编码向量和新的绝对位置编码向量进行对应，并且满足前n个新的绝对位置编码向量和已训练好的n个绝对位置编码向量一一对应