每个梯度下降模型都可以由SVM近似

2020-12-06 23:20:59

下载PDF摘要:深度学习的成功通常归因于其自动发现数据的新表示的能力,而不是像其他学习方法一样依赖手工的功能。但是,我们表明,通过标准梯度下降算法学习的深度网络实际上在数学上近似于内核机器,这是一种简单地存储数据并直接通过相似性函数(内核)将其用于预测的学习方法。通过阐明它们实际上是训练示例的叠加,可以大大提高深层网络权重的可解释性。网络体系结构将目标功能的知识整合到内核中。这种更好的理解应该导致更好的学习算法。

关于arXivLabs arXivLabs是一个框架,允许合作者直接在我们的网站上开发和共享新的arXiv功能。

与arXivLabs合作的个人和组织都已经接受并接受了我们的开放,社区,卓越和用户数据隐私价值。 arXiv致力于这些价值观,并且仅与遵守这些价值观的合作伙伴合作。

有一个可以为arXiv社区增加价值的项目的想法吗?了解有关arXivLabs以及如何参与的更多信息。

书目工具代码推荐