对研究试验的审查发现他们被操纵以夸大AI性能

2021-04-04 08:50:24

ai为医疗保健获得了很多炒作,有些人认为它将取代医生。本文研究了已发布的证据表明。他们发现医疗AI研究仍处于初期阶段,我们需要进一步的高质量研究,以更好地了解AI'在医疗保健中的作用。

最近的医疗保健一直在很多关注🔍。有些人担心炒作是通过证据支持的。

要知道AI算法是否导致健康结果的真正改善,我们需要运行良好的科学研究来备份。

他们确定了所有公布的同行评审研究论文,使AI算法与临床医生进行了评估并评估它们。

这些指导方针评估的研究质量对于产生科学研究非常重要,我们可以信任。更好的科学是可以更可靠地再现的科学,因此是&#39的更好近似;真相'在手头的问题背后。

这些指南由专家面板达成一致。他们使我们能够以标准化方式测量纸张的科学质量,通过评分方法,分析和结果(共配)和预测模型(三脚架)

总共有81篇论文,其中只有9个是前瞻性研究。所有研究都在医学成像领域。

研究设计通常意味着AI性能被夸大了。例如,人类比较组平均仅为4名医生(太小!)。通常,专家和非专家表现在一起合并 - 使专家组平均执行更糟。

纸张的报告质量通常相当低,分数低分数和三脚架清单。论文经常在摘要中比临床医生更好,而不包括适当的警告。

大多数研究没有公开可用的代码或数据。这提出了各种科学家可以复制研究的问题 - 科学的关键原则。

他们只看过截至2019年6月至2019年6月的论文。从那时起,事情就发生了公平的金额。

这些调查结果大概表明医疗AI的研究领域是早期阶段。当然,有很多令人兴奋的承诺,但我们应该被带走。如果研究人员和媒体炒作他们的发现,患者的期望可能会变得与现实中的不对准,最终可能会造成伤害。

设计和报告医疗AI研究中存在一些额外的挑战。自本研究已发布以来,已公布更新的AI特定指南,以帮助指导未来的高质量研究。我们也写了一份关于这个问题的摘要。