传统语言模型有个天生缺陷——只能从左往右读，就像你现在读这段文字一样，一个词一个词往下看，完全不知道后面会出现什么。人类可不是这么学语言的。看到"被告被判**_**"，大脑会根据上下文直接联想到"有罪"或者"无罪"，这就是双向理解在起作用。
Google搞出来的BERT（Bidirectional Encoder Representations from Transformers）终于让机器也有了这种能力。BERT的核心不是简单地双向阅读，而是用了一种叫掩码语言建模（Masked Language Modeling，MLM）的巧妙方法。
通过随机遮住15%的词，BERT反而比那些完整阅读文本的模型学得更好。这有点像做填空题学英语，只不过空是随机出现的，而且BERT要处理的是几十亿个句子。
这篇文章会把MLM的数学机制拆开来逐一讲解。从一个被遮住的句子开始，经过注意力计算、概率分布、梯度下降，看看这些数学操作到底怎么让BERT达到接近人类的语言理解能力。搞懂这些数学原理，对于想要调优BERT或者设计类似模型的人来说很关键。
看完之后你会明白，BERT做的不只是遮词这么简单——注意力机制里的√d_k缩放、80-10-10的掩码策略，这些看似细节的数学设计对性能影响巨大。
https://avoid.overfit.cn/post/dc093dcb26fe4e00b7d43c4715c91546