在遗留行业中放弃Excel for Python

最近我一直处于反思状态，可能是因为这是非常多事的一年的结尾。变化无处不在，技术是推动者。

关于这一点，我一直在思考我自己在再保险行业中技术驱动型变革方面的经验，从2017年至今，我一直在该公司担任分析师。

在这短短的三年中，我观察到了数据分析方法的巨大变化。基于Excel的模型，似乎似乎是最先进的，突然变得太慢和太僵硬了。与第三方数据源的集成曾经是一种奢侈，如今已成为一种规范。分析人员开始利用脚本来完成许多通常由人工或在电子表格中执行的劳动密集型任务。

启用此更改的是一套可访问的Python驱动工具。这些技术正在迅速取代旧的做事方式，迎来了新一轮的再保险模型和支持它们的人才。

诚然，以下观察确实来自一个非常特殊的行业。但是我相信，这里讨论的更广泛的趋势也将适用于其他传统公司和行业。

如果您对从Excel过渡到Python感到好奇，但对再保险不感兴趣，请跳至第3节。

大多数人都了解保险，但很少有人听说过它听起来颇具异国情调的表亲：再保险。因此，在我开始之前，这里有一个简短的介绍：

正如个人将风险转移给保险公司以换取保费一样，保险公司也必须通过将部分或全部债务转移给一个或多个再保险公司来减轻风险。这使保险公司能够在发生诸如飓风之类的重大事件时保护自己，这会影响到许多单独的保单持有人。没有再保险公司，保险公司将无法幸免于难，并且更会规避风险，最终影响最终消费者。

再保险计划有多种形式，以适应再保险的需要。我会为您保留详细信息，但足以说明所有潜在的再保险计划都必须首先进行分析。用行业术语来说，这是“为交易定价”的过程。

对于每笔交易，经纪人都会从保险公司收集相关数据，并将其作为“提交”发送给潜在的再保险公司。承销分析师有责任解析此数据，将其输入基于Excel的模型中并产生一个数字。

该数字（损失率）代表预期损失除以总保费，通常在10％至150 +％之间。 LR高于100％意味着溢价不足以弥补我们根据模型预期的损失。换句话说，我们会无所适从地写这笔交易。

实际上，再保险公司的定价门槛要远远低于100％，因为它们还有其他资金流出需要考虑，例如经纪（中介费）和G＆amp; A（一般和管理费用）。

关键是，Excel是使承销团队能够评估新业务的关键软件。在整个公司中，不同的团队使用不同的模型，每个模型具有不同的流程和不同的定价障碍。但是一个共同的主题是，所有模型都基于Excel电子表格。这就是行业运作的方式。每个人都使用Excel。

在一个臭名昭著的时代，一个根本的变化正在发生。此更改是对新业务需求的响应，其中包括：

渴望遵循软件开发最佳实践的更快的模型和强大的代码库

首先，表达复杂的再保险交易需要结构细节，相互联系的公式和限制性假设的标签。这是一团糟，很难理解。有很多数据？还有更多标签和公式可以添加到模型中。性能急剧下降，浪费大量时间等待膨胀的电子表格最终打开。

其次，如果您要查询外部数据或实现用户定义的功能，则必须使用VBA编程语言。根据Stack Overflow的一项调查，VBA在所有语言中排名“最可怕”，这完全总结了我的感受。开发环境不是用户友好的，语法令人困惑，不支持单元测试-我可以继续。

第三，Excel是脆弱的。视图和逻辑混合在一起，很难对错误进行故障排除。另外，模型不会放入源代码管理中，因此您无法还原旧版本。带有数十个选项卡的海量电子表格经常崩溃而没有警告，这给承销分析师（如我自己）感到沮丧。

在再保险的三年中，我目睹了对新工具的迫切需求。而且，从我观察到的结果来看，很明显该工具将由Python提供支持。

作为具有编程技能的技术承销分析师，我是最早构建并从下一代定价工具中受益的人之一。这些工具分为两大类：

两种选择均提供增强的分析功能，同时仍可满足非技术或半技术最终用户的需求。

第一类新技术是基于扩充的。您可以使用Python代替将VBA代码添加到Excel电子表格中。这要归功于PyXLL这样的第三方Excel插件，它将Python数据分析的功能带入了不起眼的电子表格中。

当您打开Excel时，该外接程序使您的Python代码可以作为函数或宏进行访问。这意味着您可以在自己选择的开发环境中编写Python代码，添加单元测试，与第三方库集成并推送到源代码控制。

PyXLL促进了我们构建再保险模型的方式的一步变化。具体来说，以下是在使用Python扩充模型之前和之后我们的设置的外观：

我们使用了基于Excel电子表格的模型，其中包含许多选项卡，其中包含复杂的公式，无尽的数据透视表和难以理解的VBA代码。

VBA的混乱局面被重新编写成独立的Python模块，每个模块执行不同的功能。

Excel电子表格现在只是一个视图，因此它很轻巧并且可以快速打开。

无法看到错误。 “调试”意味着手动分解冗长的Excel公式。

最初创建模型时所做的假设限制了我们，但添加新功能的能力却很少。

使用PyXLL，我们建立了完全由Python代码支持的包销定价模型。我们能够以前所未有的水平表达交易的结构复杂性。而且，我们能够添加基于模拟的定价技术，而仅凭电子表格是无法做到的。

不能低估PyXLL对我们建立模型以及最终定价业务的影响。

这导致我们转向第二种技术，该技术正在改变我们执行承保数据分析的方式…

再保险风险评估和定价的第二种新颖方法是通过Python笔记本启用的。这些是基于Web的文档，可以包含叙述性文字，实时代码，图表和视觉效果，以及数据分析的结果。

Python笔记本全都涉及协作，可视化和快速迭代。它们是一种以最少的设置和开销来执行代码的方法，使新程序员可以更轻松地在Excel之外浏览数据。我最喜欢的笔记本电脑部件之一是访问数据的便捷性，无论是从文件，SQL数据库还是外部资源。

让我们看看使用和不使用Python笔记本的数据分析项目对我来说是什么样子：

手动查询SQL数据库并将数据复制到Excel。通过重新查询SQL并复制新数据来保持数据新鲜。

放入一个csv文件，直接连接到内部SQL数据库，或使用第三方API检索外部数据。

使用Excel函数，数据透视表和VBA代码执行分析。功能很快变得笨拙并且难以排除故障。

通过关闭Excel并让您的同事知道电子表格可供他们使用，与同事进行协作。

将表格结果和图表复制到Word或Powerpoint中，并根据需要添加书面叙述。

我第一次使用笔记本是在JupyterLab创建的交互式开发环境中。如今，“ Jupyter笔记本电脑”一词已成为基于Web的笔记本电脑应用程序的同义词（例如：笔记本电脑的Kleenex）。

最近，我发现了Deepnote，由于一些关键特性，我现在在Jupyter之前推荐它，包括实时内联协作，内置变量浏览器和交互式绘图。 Deepnote与其他第三方服务（例如GitHub和S3）的集成也非常方便。

所有这些都说明：Python笔记本电脑实现了快速数据分析，这使Excel电子表格的功能相形见war。而且，它们是初学者友好的。我亲眼目睹了感兴趣的企业用户如何开始在笔记本中编写代码，并在几个月内在自己的本地环境中进行编码。

但是，尽管定价功能有了明显的改进，但并不是每个人都急于采用支持Python的技术。缺乏创新的热情和固执源于两个相关的抱怨：

我们没有足够的资源。根本没有足够的承销商具备必要的编程技能，也没有足够的具有软件开发背景的内部人员来为其提供支持。

我们不想失去对模型开发的控制。没有足够的编程资源，承保团队必须依靠其他团队或外部承包商的外部帮助。对于习惯于立即使用Excel / VBA工作流的个人而言，模型开发链中增加的这一步骤极具吸引力。

归根结底，在Excel工作表中进行更改很容易。了解公式是可以实现的；但是学习编码很困难。我一次又一次地观察到，将熟悉的Excel电子表格换成使用Python的开发环境是如何立即引起观察者的目光的。

对技术缺乏了解意味着管理层缺乏信心和支持。如果没有买入，就不会协调努力来租用或培训支持该技术所需的资源。将旧有的系统和庞大的模型添加到组合中，再保险专业人士在学习和采用新技术方面发展出保护性的能力也就不足为奇了。

最终会有突破吗？我认同。我认为，接受技术变革的再保险公司将引领该行业进入承保的新时代。

几十年来，再保险行业一直使用Excel进行数据分析。定制的基于电子表格的模型是常态，承销商依靠其输出来决定是否签定交易。

在担任承销分析师期间，我目睹了从Excel过渡到新的基于Python的工具的转变的开始，这些工具包括Excel插件（例如PyXLL）和Python笔记本（例如Deepnote）。这些工具可增强数据分析功能，高性能工具，强大的代码库和协作开发环境。最终结果是，承销商可以更快地做出更好的决策。

现在，让我们想象一下，由于技术的这一步变化，再保险业将如何发展。

首先，这些交易：我预测，随着我们对它们进行定价的能力增强，再保险结构将变得越来越复杂。

基于Python的模型将不再需要依靠Excel电子表格中的近似值，而可以解释复杂结构术语的细微差别。这将使承销商能够更准确地预测交易是否会造成亏损。同样，经纪人将在组织覆盖方面更好地满足其客户的确切需求。这将导致更多定制的再保险计划，进而需要更多定制的定价技术。

其次，人们：我相信，将来，所有高性能的承销商都需要了解编程的基础知识。

赞赏软件开发的业务用户是一个危险的人，他们了解应用程序和实施。它们现在很少见，但不会持续很长时间。我相信，由于易于使用的基于Python的工具为承保功能提供了新功能，因此编程技能将成为所有新员工的必备条件。

最后，该行业：我预计再保险行业将利用技术进行快速风险转移。 自助服务门户和始终在线的投资组合仪表板已经取代了经纪人会议等高度互动的交互方式。 数据清理脚本和自动化任务可实现几乎端到端的建模-无需人工！ 很快，提交的内容将被自动处理，从而解放了包销分析师来审查关键细节并进行了更深入的数据分析。 而且，作为花了三年时间在Excel电子表格中工作的人，我只能说–这是流血的时间！ 谢谢阅读！ 我最近辞去了我的再保险工作，以建立自己的公司。 目前，我正在使用PeerWyse，该应用程序可为您显示LinkedIn连接的薪资估算。 看看您的薪水如何累积！