#伯特

DeepMind说句法偏见“帮助伯特做得更好”
DeepMind Says Syntactic Biases ‘Helped Bert Do Better’(medium.com)
2020-5-30 5:50
NLP的研究人员已经知道，Google非常流行的BERT(Transformers的双向编码器表示)语言模型，基于大量数据进行训练，即使在不了解分层语法结构的情况下也能很好地执行句法语法判断任务。但它还能做得更好吗？这就是DeepMind和加州大学伯克利分校的研究人员在一项新的研究中开始发现的，该研究增加了句法偏见，......