#训练
Mountain Climbing Trained Me for Startup Life(entrepreneurshandbook.co)
2021-6-14 7:54
我醒来时醒来，我手里拿着一半的pb＆amp。我可能没有睡着了，要诚实，但灯光出去了片刻。当我来的时候，我记得我在哪里。我怎么忘记？我坐在海拔14,505英尺的墙上。我坐在连续的美国最高的山顶。
我怎么到这里了？如果我说我抵达山顶的话，我会撒谎。惠特尼与恩典。毕竟，我的两个徒步旅行的同伴只是抛弃了我。我记得听到他们抱......
Replicating GPT-2 at Home(bkkaggle.github.io)
2021-1-24 1:25几个月前，我开始从事一个研究项目，试图从头开始训练自己的，更有效的语言模型。我可以从Tensorflow Reseach Cloud访问128核TPUv3 Pod，并使用它来预训练一个价格为124 $ M的参数GPT-2模型，使其困惑度接近OpenAI的结果（我的预训练模型被训练了约1/8 $ th OpenAI为其......
Three mysteries in deep learning: Ensemble, knowledge and self-distillation(www.microsoft.com)
2021-1-20 12:14
在现在的标准技术下，例如过度参数化，批量标准化和添加残差链接，“现代”神经网络训练（至少用于图像分类任务和许多其他任务）通常非常稳定。使用标准的神经网络体系结构和训练算法（通常是带有动量的SGD），学习的模型不仅在训练精度方面，而且甚至在测试精度方面，都始终表现良好，无论训练过程中使用哪种随机初始化或随机数据顺序。例......
2021-1-19 1:59
下载PDF摘要：在深度学习中，模型通常对所有输入重用相同的参数，专家混合（MoE）对此提出质疑，而是为每个传入的示例选择不同的参数。结果是一个稀疏激活的模型-不需要大量的参数-但计算成本却是不变的。但是，尽管MoE取得了一些显著成功，但由于复杂性，通信成本和培训不稳定，阻碍了广泛采用-我们使用Switch Trans......
2020-12-21 1:51
在1960年代，弗吉尼亚理工学院教授Henry J. Kelley，斯坦福大学的Arthur E. Bryson和加州大学伯克利分校的Stuart Dreyfus等学者提出了反向传播理论。它是一种算法，后来被广泛用于训练神经网络，这种计算系统受到构成动物大脑的生物神经网络的模糊启发。由于廉价，功能强大的计算系统的出现......
Smash Training Retrospective(waleedkhan.name)
2020-12-12 0:58Smash Training是一个间隔重复训练的网络应用程序，我创建该应用程序是为了帮助我与Super Smash Bros. Ultimate进行比赛。我于2020年5月16日在Reddit上发布了它，受到热烈欢迎。截至2020年12月，它每月接收150-200个用户。我将其列为我最成功的项目！
在本文中，我将讨......
2020-11-10 2:53
下载PDF摘要：高效网络(EfficientNets)是一系列最先进的图像分类模型，基于高效缩放的卷积神经网络。目前，EfficientNet可以花费数天的时间进行培训；例如，在Cloud TPU v2-8节点上培训一个EfficientNet-B0模型需要23个小时。在本文中，我们探索了在具有2048个核心的TPU......
2020-8-2 14:41
狗的嗅觉感受器比人类的嗅觉感受器更强大，更准确。这使得某些训练有素的狗可以嗅出癌症、疟疾和病毒感染等疾病。
由汉诺威兽医大学、汉诺威医学院和德国武装部队进行的一项新的研究发现，如果训练得当，狗能够区分感染SARS-CoV-2的人类唾液样本和未感染的样本，总体成功率为94%。
研究人员表示，希望这种检测方法有朝一日能用......
2020-7-28 13:48
这是我训练经纪人扮演超级马里奥兄弟的Python源代码。利用本文提出的最近策略优化算法(PPO)，提出了一种新的策略优化算法--PPO(Proximal Policy Optimization)算法。
谈到性能，我的PPO培训的代理可以完成29/32级，这比我一开始预期的要好得多。
请注意，PPO是OpenAI提出的......
2020-7-6 16:29
Epoxy使用弱监督和预先训练的嵌入来创建模型，该模型可以以编程交互速度(小于1/2秒)进行训练，但可以保持训练深度网络的性能。该存储库为Epoxy提供了一个简单的概念验证实现(我们的实现大约是100LOC，包括文档字符串)。
在弱监管下，用户编写为数据生成标签的噪声标签函数。从历史上看，我们观察到这些标签函数通常精......
Long-term exercise impacts genes involved in metabolic health(medicalxpress.com)
2020-6-29 5:49
长达数十年的耐力训练改变了人体骨骼肌中对新陈代谢健康非常重要的基因的活性。这是根据瑞典卡罗林斯卡学院和美国圣地亚哥大学的研究人员在“细胞报告”杂志上发表的一项新研究得出的结论。未经训练的人的性别差异也随着长期训练而大幅减少。这一结果可能对代谢性疾病的预防有一定的意义。众所周知，一生进行的运动训练可以带来许多健康益处，......
