纽约时报A / B如何测试他们的头条新闻

2021-03-11 10:03:23

纽约时报是一个大问题。正如他们告诉他们的广告商,NYT是年轻,丰富的思想领袖的第1新闻来源:

然而,它很少吸引福克斯新闻的那种密切审查。这完全合理!福克斯新闻是一个荒谬的小丑表演,值得每一次批评它得到。

但我对nyt仍然好奇。它描绘了世界的某些照片 - (在我的圈子里)这最终是默认图片,无论您是否同意它。

我想了解更多关于这张照片的信息。因此,在接下来的几周内,我将在纽约时报发布一系列帖子,从他们的头版刮下数据并从官方API中删除。

这首第一篇文章是关于A / B测试:NYT如何测试不同的头条新闻以及它们如何随时间变化。

好的,看它是2021-如果纽约时报不是A / B测试头条新闻,那将是令人震惊的。

当时还使运行所谓的A / B测试在其主页上的数字头条上的实践:一半的读者将看到一个标题,另一半将看到替代标题,约半小时。在测试结束时,时间将使用引物吸引更多读者的标题。

脚本每五分钟运行一次。我在2021年2月13日开始这样做,所以以下是基于三周的数据。

正如所承诺的那样,NYT实际上是A / B测试他们的头条新闻。大约29%的文章有多个头条新闻,并且为单个文章(到目前为止)观察到的最大标题是八个。

很多这些标题变化都很漂亮 - 在文章发布后,NYT修复大写或标点符号错误是常见的。

有时它似乎副本编辑不能完全下调他们的想法:应该“在”中资本化?

其他时候,NYT改变了头条新闻,因为故事演变了。这是一个伟大的故事在头条新闻中讲述:

但大多数标题互换显然是A / B测试寻找更多点击。这是一篇关于拜登的治疗风格的文章,具有漂亮的戏剧性标题开关:

如果您正在尝试促进订婚,那种改变的唯一原因是。它的工作!这篇文章在标题交换后几个小时内闯入了“最近似观看”的名单(支持我的理论是自由主义者喜欢阅读Trump)。

但并非所有A / B测试都有此类成功。这是一个肯定失败的A / B测试(你可能不得不眯着眼睛看到较小的屏幕上的微小蓝色Smide):

我希望这个失败并没有阻止Kooky Nyt编辑器后面的“跳跃的Jehohaphat!” NYT绝对可以使用更多的错误兔子isms。

但总体而言,这些A / B测试有一种模式:标题随着时间的推移,头条新闻往往会变得更加戏剧性。借此文章关于Cuomo的性丑闻:

在第一次交换中,Cuomo遭到攻击,在第二次交换中,他不再修改他的计划,他道歉。

它有效:由于标题变化,我们可以看到这篇文章攀登“最近似的”图表。

特朗普开始寻求寻求保守党,并声称G.O.P的领导。但在最终的标题特朗普有一个命中名单,正在射击警告。并熟悉,夸斯修辞将本文推荐到“最近似的”列表中。

好的最后一个例子:这篇关于奥普拉的采访的这种热门文章:

我实际上看了这次采访 - 所有两个小时 - 我可以告诉你,前两个头条新闻是更好的事情摘要。是的,Meghan确实揭示了她所考虑的自杀,但它在面试中是一个五分钟的插曲,这更加努力。例如,这些头条新闻没有提及种族主义在Meghan的痛苦中扮演的角色 - 这是一个比她的自杀思想更多的屏幕时间。

在某些A / B测试后,上面的文章更受欢迎 - 但这通常是真的吗?

我嘎吱作响,事实证明,A / B测试的NYT文章在“最受欢迎”列表中的排名可能更有80%。而且令人惊讶的是,更多的标题测试与更多的订婚相关联:

警告:标题计数和接合是相关的,但谁知道导致运行的方式。对我来说,你是一个有道理的是,你的标题越多,你的文章就越有可能得到共享/喜欢/单击。但是,NYT也可能花费更多时间调整已经受欢迎的文章。 (虽然,轶事,我看过的许多文章都在物品在最X的图表上落地之前有大量的标题掉。)

我很惊讶纽约州的最短的头条线。大多数文章不是A / B测试,并且大多数是A / B测试的大多数都有两个头条新闻。

我也认为NYT编辑告诉他们的员工以六个可能的头条新闻提交所有草稿,以及一些自动化系统将在第一个小时内测试所有六个。但显然这不是真的 - 尽管数据表明更多A / B测试会提高接触。

一个可能的解释:62%的NYT的收入来自订阅,只有27%来自广告(并且广告收入下降到一年)。这意味着视图与订阅同样重要 - 以及满名列的前页可能会吓离潜在的订阅者。

NYT可能比BuzzFeed更束缚,但我们应该记住它不是中立观察者。 作为上面的示例,A / B测试的头条新闻绘制了比现实更戏剧性的图像。 频繁的纽约读者最终会思考世界越来越令人震惊,比真正的令人震惊。 在下一个帖子中,我将研究NYT的首页,具体: 最有可能(最不可能的)出现在首页上的内容 如果我的自由级EC2实例没有掉过,您可以自己浏览实时标题数据: