预测编码可以在任何神经网络上进行精确的备份

2021-06-04 05:44:41

下载PDF摘要:与神经科学和深度学习相交,为两个领域带来了福利和发展,几十年来,这有助于了解大脑中的学习作品,并在不同的AI基准中实现最先进的艺术形象。 Backpropagation(BP)是人工神经网络训练的最完整采用的方法,但是,由于其生物言言,通常批评(例如,缺乏参数的缺乏局部更新规则)。因此,依赖于预测编码(例如用于描述大脑中信息处理的框架)的生物学上的PLAUSIBLEREER RENGRES方法(例如,推理学习(IL))。最近的作品证明,IL可以近似于多层情感(MLP)的ACAINATIMATIN余量,并且在任何其他复杂模型上渐近地,并且零发散推断学习(Z-IL),IL的厌倦能够完全实现BP MLPS。然而,最近的目的还显示没有生物学似品的方法然而,该扫描器精确地复制了复杂模型上BP的重量更新。要填充Thispeap,请在本文中,我们通过直接定义它们的跟踪图来概括(IL和)Z-IL。据我们所知,这是第一种生物学上可信算法,其显示在任何神经网络上更新参数的方式等同于BP,因此是神经科学和深度学习的思宁研究的突破。