斯坦福大学MLSys研讨会系列

2020-12-09 20:00:18

加入我们的电子邮件列表,即可每周获悉演讲者和直播链接的通知!

机器学习正在推动计算领域的激动人心的变化和进步。机器学习的普遍性对人们如何构建和部署系统和应用程序意味着什么?在现实世界中部署机器学习系统时行业将面临哪些挑战?学术界如何应对这些挑战挑战?

在本系列研讨会中,我们希望了解机器学习系统的前沿以及机器学习如何改变现代编程堆栈。我们的目标是帮助组织ML系统中很棒的工作课程,以帮助将研究重点转移到有趣的问题上。

从2020年秋季开始,我们将在YouTube上星期四3-4 PT直播本研讨会系列的每个演讲,并从实时聊天中提问,随后还将在YouTube上提供演讲视频。请关注我们的频道,并每周收听一次精彩的讨论!

我和我的学生经常发现自己是"学科专家"需要创建用于计算机图形和视频分析应用程序的视频理解模型。不幸的是,像许多人一样,我们为一个聪明的研究生如何拥有大量未标记的视频集,一组经过预训练的模型以及他们想要检测/细分/分类哪些新颖对象或活动而感到沮丧,需要几天到几周的时间来创建和验证其任务的模型。在本次演讲中,我将讨论在针对图像和视频集合中的罕见事件和类别的特定情况,为数据的整理,训练模型和验证模型的迭代过程中我们面临的挑战。在这种情况下,我们发现关于不平衡数据集的培训以及通过主动学习进行数据获取的常规知识并不能带来最有效的解决方案。我将在图像和视频分析应用程序的背景下讨论这些挑战,并详细阐述我们对研究生如何拥有大量未标记视频数据,预训练模型和秒级超级计算能力的看法。规模弹性计算应该能够以交互方式迭代获取训练数据,训练模型和验证模型的周期。

贝叶斯优化已成为一种有效的方法,可以对昂贵的黑盒函数进行高效采样优化。这些功能没有封闭形式,例如可以通过运行复杂的经济模拟,通过实验室或市场中的实验或通过CFD模拟进行评估。用例出现在机器学习中,例如在调整ML模型的配置或优化强化学习策略时。工程方面的示例包括空气动力学结构或材料发现的设计。在本演讲中,我将介绍贝叶斯优化的关键思想,并讨论如何将其应用于调整ML模型。此外,我将分享一些在行业中开发贝叶斯优化服务的经验。记录

JAX是用于高性能机器学习研究和数值计算的系统。它提供了对Python + NumPy的熟悉以及硬件加速,以及一组可组合的函数转换:自动区分,自动批处理,端到端编译(通过XLA),通过多个加速器并行化等等。 JAX的核心优势在于它保证可以任意组合这些用户操作的转换,以便程序员可以编写数学运算(例如损失函数)并将其转换为ML程序的各个部分(例如矢量化,编译,批处理)梯度函数).JAX于2018年12月发布了开源版本(https://github.com/google/jax)。研究人员将其用于广泛的应用,从研究神经网络的训练动力学到概率编程,再到物理和生物学的科学应用。记录

Warning: Can only detect less than 5000 characters