bertology

下载PDF摘要：基于变压器的模型已经在NLP的许多领域推动了最先进的技术，但我们对它们成功背后的原因的了解仍然有限。这是对流行的伯特模型的150多项研究的首次调查。我们将回顾关于BERT如何工作的知识现状，它学习了什么类型的信息，它是如何表示的，对它的约束目标和体系结构的常见修改，过度参数化问题和压缩方法。然后，我们......