在2021年4月6日,我们有一个通配符TLS证书意外到期。当证书到期时,它是令人尴尬的,但我们觉得在这里分享我们的故事很重要,希望其他人也可以参加我们的学习并改善其系统。如果您或您的组织使用证书监控,这可能是一个良好的提醒,以检查这些系统中的空隙。过期的证书在史诗中的许多面向内部服务中使用。事实上,太多了。尽管我们努力监控我们的过期证书,但我们没有完全涵盖使用证书的每个区域。遵循证书的到期和更新后,一系列意外的事件展开,扩展了停机。我们在这篇文章中有更多细节。像我们的身份和身份验证系统等核心组件受到影响,这些服务触及整个生态系统中的许多其他服务。看到或报告了以下影响:
史诗账户登录失败的任何产品都使用这种身份验证,包括Fortnite,Rocket League,HouseParty,Epic Online Services或Epic Games Store
史诗般的游戏启动器中的意外行为从内容没有加载到脱机模式不起作用
这篇文章旨在为您提供关于发生的事情的详细洞察,我们所学的内容以及我们将来要采取的步骤。
过期证书造成了跨内部后端服务到服务通话和内部管理工具的大部分中断
意外,大量的流量增加到史诗般的游戏发射器,扰乱了史诗般的游戏发射器和内容分发功能的服务
作为自动缩放的一部分,将引用无效工件和资产的史诗般的游戏商店网站的版本不正确,降低史诗般的游戏商店体验
Warning: Can only detect less than 5000 characters
Warning: Can only detect less than 5000 characters