#信息提取

GPT-3类模型中注意广度与信息提取的探讨
Discussion of Attention Span and Information Retrieval in GPT-3 Like Models(www.reddit.com)
2020-7-29 0:39
GPT-3最令人沮丧的限制之一是上下文窗口：2048BPES在您开始提示性编程时会很快用完，而且像BPES这样的黑客会有令人讨厌和微妙的副作用(例如，没有双关语或押韵；_；)。我们如何让未来的变形金刚拥有合理的上下文窗口和/或内存？ 下面我对打破密集注意力二次瓶颈的研究进行整理和归类(麦迪逊五月综述)： 请随时提出我......