谁在专家组中做出最准确的决定?
进行预测或诊断时,专家并不总是彼此同意。那么,我们如何找出小组中的哪位专家做出了最佳,最准确的决定?马克斯·普朗克人类发展研究所和莱布尼兹淡水生态与内陆渔业研究所的一个跨学科研究团队开发了一种简单的方法来识别最准确的专家,并在各个小组中成功地对其进行了测试。他们的发现发表在《科学进展》上。
乳房X光照片上的肿块是否表示乳腺癌?塞尔维亚会在2025年加入吗?五年后德国还会发生更多洪灾吗?医生,科学家和专家所做的诊断和预测通常会产生深远的影响。而且在很多情况下,只有几年之后,才有可能说出哪位专家最常做出正确的选择。
马克斯·普朗克人类发展研究所和莱布尼兹淡水生态与内陆渔业研究所的一个跨学科研究小组开发了一种简单的新方法,可用于从一组专家中确定最佳决策者,而不必知道他们是否过去或现在的决定是正确的还是不正确的。麦克斯说:“提供专家组内所有决策中至少有一半是正确的(这在专家组中通常是这样),并且每个人做出约20个是/否决策,这种方法被证明是行之有效的。”沃尔夫,莱布尼兹(Leibniz)淡水生态与内陆渔业研究所研究员,也是该研究的合著者。
该方法是在对集体智慧的洞察力的基础上开发的。它基于一个简单的假设:一组专家中做出与其他人的决策最为相似的决策的个人也做出了最佳决策。对于是/否的决定,可以通过数学建模轻松地确认该假设。为了测试该方法是否也适用于真实人群,研究人员分析了已发表的预测和诊断,这些预测和诊断由不同领域的各个小组进行。
例如,研究人员检查了100位放射科医生的诊断。在2000年代初期,放射科医生对155名妇女的乳房X线照片进行了解释,以确定她们是否患有乳腺癌。研究小组分析了数据,以确定放射科医生的决策与其他人的决策平均最相似。由于他们可以获得有关155名筛查妇女健康状况的后续信息,因此研究人员还能够确定哪些放射科医生做出了最准确的诊断,从而做出了最好的诊断。他们与使用新的统计方法识别出的放射线医师相同。
“一次又一次地证明了,在各自领域中表现出色的专家在类似方面是优秀的,而表现欠佳的专家则在非常不同的方面表现不好。在这种观察的基础上,我们开发了这种新方法并对其进行了测试。各个领域,”马克斯·普朗克人类发展研究所自适应理性中心的首席作者兼研究员拉尔夫·库弗斯(Ralf Kurvers)说。
除放射科医生的诊断外,研究团队还分析了40名皮肤科医生所做的皮肤癌诊断。90位预报员在在线平台Good Judgment Project上做出的地缘政治预测;以及一个简单的常识测试的结果,其中要求100名参与者识别两个城市中的较大城市。
“我们相信决策的相似性和准确性之间的关系可以成为实践的有效工具。该方法可用于改善医学诊断,环境风险分析和商业环境中的集体和个人决策过程,”作者斯蒂芬·赫尔佐格(Stefan Herzog),也是自适应理性中心的研究员。