#karpathy

Karpathy's MinGPT(github.com)
2020-8-18 2:29
A PyTorch重新实施GPT培训。MinGPT试图做到小巧、干净、易于解释和有教育意义,因为目前可用的大多数都有点杂乱无章。GPT不是一个复杂的模型,该实现大约有300行代码,包括样板和完全不必要的自定义因果自我关注模块。无论如何,所发生的一切都是将一系列索引放入一系列变压器块中,然后得出下一个索引的概率分布。剩......
2020-8-8 20:3
有关更多演讲和查看相应幻灯片的信息,请转到scaledml.org,选择[媒体档案]。在第五届年度可缩放机器学习大会上发表。