Internet Archive表示,它正在使用Cloudflare重新配置的Always On缓存工具来改进其Wayback Machine归档

2020-09-18 19:17:22

网站在设计上是分散的和流动的,但所有这些混乱和短暂的东西会让网站很难不间断地保持正常运行和在线。这就是互联网档案馆的退票机功能多年来如此宝贵的原因,它保留了被遗忘已久的页面的历史。现在,通过与互联网基础设施公司Cloudflare的合作,它的深刻记忆将有助于确保你访问的网站永远不会宕机。

自2010年以来,Cloudflare提供了一项名为Always On的功能,它可以缓存网站的静态版本,以便在停机时为访问者提供服务。Always On是Cloudflare的原创产品之一;该公司首席技术官约翰·格雷厄姆-卡明(John Graham-Cumming)表示,为其提供动力的基础设施将进行重新设计。在思考如何将其现代化时,团队有了一个想法:为什么不使用Wayback Machine,这个现有的爬行和缓存巨头,来永远开机?互联网档案馆已经提供了一个应用程序编程接口,这将使Cloudflare很容易获取它需要的东西。

格雷厄姆-卡明说:我们与他们合作,确保他们同意我们这样使用它。这就像是,是的,这对每个人都有效,所以让我们来做吧。如果您访问使用Cloudflare的网站并且该网站处于脱机状态,我们将显示Wayback Machine存档中的最新版本。";

互联网档案馆表示,他们很高兴有机会与Cloudflare进行永远在线的合作。该组织最近扩大了对整个网络的网站可靠性和技术完整性的关注。今年2月,它宣布了一个与Brave浏览器合作的项目,如果用户遇到404错误,该项目将提供网站的最新缓存。多年来,一些浏览器扩展已经提供了这一功能,但互联网档案馆表示,将其完全集成到浏览器中并通过Always On提供它是一个积极的步骤。

与Cloudflare的合作还将使Wayback Machine能够找到更多可以抓取的网站,这对互联网档案馆来说是一个福音。二十多年来,Wayback Machine已经尽可能多地将公共网络存档,每天向语料库添加超过10亿个URL。该档案总共包含超过4680亿个网页和超过45PB的数据。但是,即使有了Wayback Machine用来爬行的所有信号、列表和来源,互联网档案馆仍然在寻找寻找它遗漏的网站的方法。Always On提供了一个,因为Cloudflare拥有广泛而广泛的客户基础。

CloudFlare为2500多万个站点提供服务,域运营商需要选择与Wayback Machine一起使用Always On。这项服务对Cloudflare用户一直是免费的,并将继续免费。但互联网档案馆创始人布鲁斯特·卡尔(Brewster Kahle)和Wayback Machine主管马克·格雷厄姆(Mark Graham)表示,他们的基础设施将能够处理从Always On开始的额外查询和数据提取。

卡尔说:我们只是想让网络变得更可靠。我们想要一个强大的基础设施,我们可以成为其中的一部分,但我们并不是全部。我们希望多个参与者以所有不同的方式一起工作。我们不会是一个非常好的内容分发网络,也许Cloudflare不一定是最好的网络档案。

Kahle说,与Cloudflare的合作在早期测试中非常有建设性,他希望看到更多跨越他所说的.com,.org界限的合作。

不过,Wayback Machine的格雷厄姆强调,任何合作或项目最终都必须服务于互联网档案馆的核心使命。他说:我们一直在寻找更多的方法,以便更好地将更多的公共网络存档。这是另一个我们要保存和提供的网络资源来源--希望是永远的,当然是终身可用的。只要我们还在,我们就会继续做这件事。

可能是你想要的那种罕见的奉献,作为你网站的保险单。

🏃🏽‍♀️想要最好的健康工具吗?看看我们Gear团队挑选的最好的健身跟踪器、跑步装备(包括鞋子和袜子)和最好的耳机