Deep Dive
Shownotes Transcript
数据侦探们正在系统之外工作，以维护科学的诚实。但是，有没有更好的方法来防止科学不端行为和欺诈？要查看节目文字记录，请访问 bit.ly/unx-transcripts了解更多信息，请访问 http://vox.com/unexplainable这是一个查看节目文字记录和阅读更多关于我们节目主题的好地方。还可以给我们发邮件！[email protected]我们会阅读每一封邮件。通过向 Vox 提供经济上的资助来支持 Unexplainable！bit.ly/givepodcasts了解更多关于您的广告选择的信息。请访问 podcastchoices.com/adchoices</context> <raw_text>0 通过 Brooks Running 和全新的 Ghost Max 2，感受您的最大潜能。它们是您应得的鞋子，旨在简化您的步幅并帮助保护您的身体。在超高堆叠的超级舒适的氮气注入缓震层上享受舒适的着陆，让您每天的每一步都轻松自如。Brooks Ghost Max 2。您知道，从技术上讲，它们是一种自我保健形式。Brooks，让我们一起奔跑吧。访问 brooksrunning.com 了解更多信息。
本期节目由 Shopify 提供赞助。无论您销售多少商品，Shopify 都能帮助您完成任务，无论您如何赚钱。从启动您的在线商店阶段，一直到我们刚刚达到百万订单的阶段。无论您处于哪个阶段，Shopify 都能帮助您发展壮大。在 shopify.com/special offer（全部小写）注册每月 1 美元的试用期。网址是 shopify.com/special offer。
今年夏天，新闻中有很多关于科学存疑的报道。接下来，一位哈佛学者被指控在一项关于诚实的研究所中伪造研究结果。六月有一则这样的报道，然后是七月。斯坦福大学校长因对其研究的完整性担忧而辞职。一项独立审查认定他没有进行科研不端行为，但发现“他撰写的五篇科学论文存在严重缺陷”。
同样在七月，《自然》杂志发表了一篇关于随机对照试验问题的文章，这基本上是科学研究的黄金标准。一位研究人员在其研究的 40% 以上的医学试验中发现了有缺陷的数据。因此，所有这些报道都在某种程度上提到了科学不端行为，即研究人员伪造数据或歪曲事实。
这让我好奇，科学中的不端行为有多普遍？因此，科学不端行为比您想象的要普遍得多，普遍得多。这是 Stephanie M. Lee。她为《高等教育纪事报》撰稿。她调查科学中存在问题的部分。所以是欺诈和不端行为。
她说，在她职业生涯中，她遇到的一些数字描绘了这个问题的图景。例如，来自这个博客的一个数字，该博客记录了因问题而被撤回的论文。这个博客叫做《撤稿观察》。因此，《撤稿观察》表示，现在每年有近 5000 篇论文被撤稿。当然，并非所有这些撤稿都是因为欺诈。它们只是其中的一些真实的错误。但是很多……
是欺诈。需要明确的是，这是每年发表的约 250 万篇论文中的 5000 篇。
所以在某些方面，这似乎并不算太糟糕。但随后 Stephanie 告诉我一些其他原因，让我们怀疑可能存在更多欺诈行为。例如，2009 年进行的一项调查，研究人员询问科学家关于他们的研究实践。他们特别询问科学家是否曾经以某种方式篡改过他们的数据。大约 2% 的人承认至少一次伪造、篡改或修改过数据，这并不好。
这有点糟糕。例如，如果从这项小型调查中推断，2% 的科学家就是很多科学家，例如数万名科学家。即使调查中的科学家没有承认实际伪造数据……多达三分之一的人承认从事其他有问题的研究实践，这些实践并非在编造数字，而是处于研究实践的灰色地带，虽然可能没有明确……
总的来说，这些数字是对科学不端行为的不完善衡量标准，对吧？例如，这些科学家可能并非都诚实地回答了调查问卷，或者《撤稿观察》只能追踪实际被撤回的论文。因此，我们可能永远无法准确知道已发表文献中存在多少科学不端行为。
但是当 Stephanie 深入研究我们已知的科学不端行为案例时，她看到了更大的图景。整个科学体系中的一些主要缺陷，例如我们防御体系中的裂缝，不端行为会从中溜走。她实际上在今年夏天报道了一个相当大的新闻，这在某种程度上揭示了这些缺陷。我认为，通过这个案例，我们可以了解科学出了什么问题，并且
还可以帮助我们了解如何防止不端行为被发表。这是 Unexplainable。我是 Bird Pinkerton。本周节目中，我们将讨论如何解决科学不端行为？♪
我应该先介绍一下这篇论文吗？我们的故事始于一篇论文，一篇 2012 年发表的论文，当时受到了广泛关注。哈佛商学院教授 Francesca Gino 说，我们在错误的地方签署表格。她使用模拟纳税申报表进行测试，看看表格布局的一小处改动（将签名行从底部移到顶部）是否会对人们的行为产生重大改变。
确实如此。就是这样。我们不应该在底部签名，而应该在顶部签名。就这么简单。这篇 2012 年的论文实际上包含了由来自著名院校的一群不同合著者进行的三项研究。
但它们都归结为一个结论。在表格顶部而不是底部引用会导致表格中更诚实的报告。关于这篇论文，需要了解的一件重要事情是，它经历了正常的科学检查。具体来说，它经历了同行评审，即科学家
该领域的其他科学家会查看一篇论文。他们会查看草稿，以确保它为该领域增加了新的信息。他们会检查研究设计，以确保其合理性。他们会寻找研究逻辑中的问题，对吧？作者可能忘记解决的问题。他们通常不会查看原始数据或检查统计数据或重复实验。但是这个过程仍然需要几周时间。
所以这是这篇论文经历的审查。然后在同行评审之后，它在一个有信誉的地方发表了。《美国国家科学院院刊》，这被认为是一份非常有声望的期刊。最近发表在《纽约客》上的一篇文章实际上表明，对这篇论文的草稿有一些疑问。但是，记者没有理由不报道这一发现，或者人们没有理由不相信它。
因此，人们认真对待了这些结果。我购买租房保险的那家公司聘请了一位合著者担任顾问，以告诉他们如何减少其表格中的欺诈行为。政府也对此产生了兴趣。据报道，加拿大政府花费了数千美元试图更改其纳税申报表。这似乎是科学进展得很好的一个例子，对吧？例如，一项研究成果对世界产生了影响，被引用了数百次。
但事实证明，这篇论文实际上存在严重缺陷。俗话说，这辆公共汽车的车轮在 2020 年开始脱落。到 2020 年，已经进行了几次尝试来复制这项研究的结果。基本上，人们试图看看他们是否可以再次获得相同的结果。这些尝试失败了。然后，最初的合著者试图复制这篇论文。而这次新的尝试也失败了。他们无法重现结果。
这种情况确实会发生。论文并非总是可以复制，原因与蓄意欺诈无关。论文无法复制还有许多其他原因。但是这次复制失败确实引起了某些人的注意，因为它附带了一些额外信息。除了发布他们失败的复制报告外，他们还在完成 2012 年的研究时发布了原始数据。
当您阅读论文时，您无法始终访问科学家正在使用的原始数据。即使是同行评审者也并非总是可以访问原始数据。相反，读者会看到一些表格和数据图表中的结果，这些数据已经以某种方式进行了分析。但是在这项复制失败之后，原始数据可供任何人查看。最终，这些数据引起了名为 Data Colada 的团队的注意。
Data Colada 由三位商学院教授组成，分别是加州大学伯克利分校的 Leif Nelson、宾夕法尼亚大学的 Joe Simmons 和西班牙阿萨德商学院的 Iri Simonson。这些人有点像……
数据侦探义警。自 2013 年以来，他们一直在运营这个名字很奇怪的博客 Data Colada，他们深入研究论文的数据，寻找问题，基本上是寻找分析缺陷甚至欺诈的证据。他们基本上寻找似乎异常的结果或统计分析，并且他们寻找
获取任何公开的或作者提供的数据，然后根据他们认为合适的方式进行分析。因此，当 2012 年论文的作者为了复制过程而公开他们的数据时，Data Colada 团队决定比同行评审者通常更仔细地分析它。他们基本上对论文的一部分进行了类似于“CSI Excel”的分析。当 Data Colada 查看研究中的数据时，他们发现了一些奇怪的东西。
一半的数据在一个 Excel 电子表格中使用一种字体，而另一半数据则使用另一种字体。这似乎很可疑，好像某些数据是在不同时间添加的。但是数据本身也很奇怪。例如，当他们将其绘制在图表上时，Data Colada 的人认为它看起来更像是由随机数生成器生成的，而不是实际从人们那里收集的。因为它看起来不像您期望从这种数据中获得的标准钟形曲线是准确的。
中间有很多数据，然后极端值较少。总而言之，他们的帖子表明这项研究存在严重问题，其中一些数据可能是伪造的或篡改的。因此，在 2021 年，他们发表了他们对这项实验的担忧。
这一发现被报道出来。因此，您会看到标题为……一项有影响力的关于不诚实的研究所是不诚实的。以及……这是心理学中最具讽刺意味的研究欺诈吗？但是 Data Colada……他们并没有就此止步。在接下来的几年里，他们继续检查这篇论文，并开始查看该论文的一位合著者所做的其他研究。这位合著者是哈佛商学院教授 Francesca Gino。
他们最终查看了四项研究，所有这些研究都是由 Gino 博士共同撰写的，所有这些研究都经过了同行评审，都在优秀的期刊上发表……
但他们在所有这些研究的数据中都发现了问题，有证据表明它们可能被篡改过。他们在 2021 年秋季向哈佛大学通报了他们的担忧。哈佛大学的人员进行了自己的审查。他们起草了一份长达一千多页的报告。他们发现了篡改数据的证据，并联系了发表这些研究的期刊。因此，此时，所有四篇论文都被撤回了。
他们还将 Gino 博士停职，这意味着她被剥夺了薪水，以及她在哈佛大学的教学和研究职务，并且从六月中旬开始立即生效。
哈佛商学院拒绝就此事发表评论，Gino 博士也没有回复我要求她说明情况的电子邮件。但她正在起诉哈佛大学和 Data Colada 诽谤和性别歧视，并要求赔偿 2500 万美元。她说，我将直接引用她网站上的话，她说：
有一件事我很确定。我没有犯学术欺诈。我没有操纵数据以产生特定结果。我没有伪造数据来支持任何结果。我没有犯我被指控的罪行，就是这样。Gino 在她的网站上概述了一些辩护。她认为哈佛大学在调查她时没有遵循其通常的程序，并且 Data Colada 没有给她机会回应他们的担忧。
她和其他人对 Data Colada 的方法论提出了异议，她还提出了一些其他观点。她说，总的来说，让她难以证明自己清白的是，这些研究的许多记录都是用纸张收集的，然后将这些纸质记录手动转移到电子表格中。在这个过程中可能发生了错误
这个过程。这个故事仍在继续。关于这里发生了什么以及谁做了什么，很可能会有更多反驳和反驳。需要明确的是，至少对于那篇 2012 年关于不诚实的论文，另一位合著者也因其参与而受到严格审查。因此，人们关注的不仅仅是 Gino 博士。
但是，无论哪一位学者对这些论文中的异常现象负责，我认为这里更重要的故事是所有这些告诉我们关于科学的整体情况。科学机构，如同行评审和期刊监督，实际上并没有建立起来检测不端行为的迹象。检测到这些论文中数据问题的最主要原因是，三位拥有博客的研究人员决定更仔细地研究。
如果没有 Data Colada，我们就不会进行今天的这场谈话。他们的长时间研究促使哈佛大学对此进行调查，这些论文现在开始被撤回，所有这一切都发生了。所以我想知道，科学本来就应该是这样运作的吗？
Stephanie 说，对于某种意义上的自由职业者和业余爱好者数据侦探来说，成为我们对抗科学不端行为的最后一道防线并不罕见。
但她还说，这不是某种正式的制度。许多数据侦探，如 Data Colada，并没有为此工作获得报酬。据我了解，这对他们来说是一项充满爱的工作。他们都是商学院教授，他们进行自己的研究。但他们也有兴趣确保他们的领域保持诚实。所以这是他们基本上在业余时间做的事情。像任何义警一样，Data Colada 的人并非普遍受到赞扬。
有些人指责他们追逐名利，说他们缺乏客观性或有偏见，倾向于寻找错误。也就是说，这样做也有风险。例如，很难指责你的专业同行。一些数据侦探实际上是匿名运作的。正如我们提到的，在这个特定案例中，Data Colada 感谢他们所做的所有工作，
是一场诉讼。他们与之交谈过的律师估计，他们的辩护费用可能在 50,000 美元到 600,000 美元之间，具体取决于诉讼进行的程度。到目前为止，他们的雇主只同意支付部分诉讼费。整个故事让我好奇，第一，为什么人们会以这种方式冒着风险为科学服务。第二，有没有更好的方法来寻找科学中的不端行为？
Data Colada 没有与我们交谈，但在休息之后，我们确实与另一位数据侦探谈论了她为什么这样做，以及系统应该如何改变。本期节目由 Shopify 提供赞助。无论您销售多少商品。
Shopify 都能帮助您完成任务，无论您如何赚钱。从启动您的在线商店阶段，一直到我们刚刚达到百万订单的阶段。无论您处于哪个阶段，Shopify 都能帮助您发展壮大。在 shopify.com/special offer（全部小写）注册每月 1 美元的试用期。网址是 shopify.com/special offer。如果您喜欢数据，请被抓住。
Elizabeth Bick 曾经是一位普通的微生物学家，从事普通的微生物学工作。然后有一天，几年前，她正在查看一些科学论文。具体来说，她正在查看其中的照片。
她注意到有人在两篇不同的论文中使用了相同的照片。所以是同一张照片，只是上下颠倒了。他们旋转了它。在生物学论文中，照片不仅仅是插图，对吧？它们可以是实验结果的一部分。例如，它们可以显示细胞的行为，或者显示指示组织中蛋白质存在的印迹，对吧？
科学家使用这些照片得出结论，如果照片在关于疾病的论文中，或者在药物试验的报告中，这些结论可能会产生重要的后果。仅仅复制粘贴一张照片并将其用作两个不同实验的结果是不正常的。对于人类的照片来说，上下颠倒的照片非常明显。但是对于科学照片来说，这些印迹是细胞的特写。这种事情不太容易看到。
除非你像 Elizabeth 一样。我认为我适合这个工作，因为我一直都能看到重复的浴室瓷砖。所以，你知道，如果你有浴室瓷砖，它们有时会有图案，对吧？就像大理石一样，但它是假的。或者地板木板，层压地板显然不是真正的木材。它们是木材的照片。所以我总是会发现，哦，这块木板或这块瓷砖与那块木板或瓷砖相同。所以……
第二篇论文中上下颠倒的复制印迹
让 Elizabeth 生气。在第一次生气或沮丧之后，我逐渐习惯了这个想法。我只是想知道这种情况发生的频率有多高？我们可以以科学的方式发表这个吗？因此，她利用自己发现模式和重复的能力，对大量期刊中所有相关图像进行了系统性审查。所以最后，我寻找了 20,000 篇论文。需要明确的是，在您的业余时间作为爱好，您查看了
20,000 篇论文。这令很多人感到惊讶。但我只看了图片。我没有阅读论文。
所以没什么大不了的。毕竟，如果她记得的话，她只会下班回家，在晚上做几个小时的工作。然后在周末，如果我有空闲时间并且没有其他义务，我可能会总共花一整天的时间来做这件事。大约两三年时间里，我做了很多个小时。如果你问自己，
为什么有人会这样做。Elizabeth 说，为了了解问题的规模并让人们承认这个问题，她必须做到如此彻底。我觉得我看到了这个问题
但我需要把它写成一篇科学论文，因为如果我只是开始喊叫，这是一个问题，谁会相信我？这需要以科学的方式完成。我需要了解有多少篇论文，这些论文的百分比是多少。因此，她做了这个巨大的研究项目。她得到了另外两个人，期刊的主编，来支持她的发现，并且
他们写了一篇包含结果的论文，该论文于 2016 年发表。我发现 4% 的论文，即 20,000 篇论文中的 4%，包含这些重复内容。对于数学不太好的人来说，那就是大约 20,000 篇论文中的 800 篇。所以有 800 篇论文的图像存在重复或某种形式的照片处理。
Elizabeth 说，对于这些图像中的一半来说，这可能只是一个意外。但这仍然有数百篇论文似乎存在真正的问题。这让她非常沮丧。这让她非常沮丧，以至于 Elizabeth 最终成为了一名全职数据侦探。例如，她现在有一个 Patreon，人们在那里为她的工作众筹。她为那些认为论文存在数据问题和错误的人提供咨询。
所以她现在实际上正在为她改善科学和发现数据问题的努力获得经济补偿，而不是在工作后或周末的业余时间做这些事情。但是尽管有这些回报，这项工作的风险似乎非常真实。所以我个人得到了……
愤怒的电子邮件或诉讼威胁。这是一个巨大的风险，因为我们大多数人，无论是为了生计还是为了爱好而批评其他论文的人，我们每天都在做这件事
没有保护。美国的律师非常昂贵。所以，你知道，我没有钱来为自己辩护，很多其他人也没有。即使您在大学工作，大学也可能会说，好吧，你知道，您做这项工作。这不是我们付钱给您做的工作。所以我们不会保护您。Elizabeth 之前曾被公布个人信息。因此，人们在网上分享了她的个人信息，以便更容易在离线状态下针对她。
她在 Twitter 上受到骚扰。我不禁想知道，鉴于这些风险，她为什么还要继续下去。我确实想过停止，是的。我从未真正卷入过真正的诉讼。我收到了一些威胁。但是，我的意思是，也许我太天真了。我只是认为，这只是威胁。你可以回信给我。
你知道，一封信说，除非你删除这些博客文章，否则你将起诉我。但我从未像我应该那样认真对待它。我一直坚持下去。是的，有些人会因为我批评他们的工作而感到不安。但总的来说，我觉得很多科学家都支持我的工作。知道其他人欣赏它对我有很大帮助。所以 Elizabeth 继续前进，但这似乎不可持续。
正如我提到的，Data Colada 没有回应我的采访请求，但在他们的一个博客文章中，他们写了一些东西，对我来说总结了这个问题。引用：“解决科学欺诈问题不应留给少数匿名且感到沮丧和害怕的举报人和一些感到沮丧和害怕的博主来根除。
欺诈的后果是集体承受的，因此消除欺诈应该是集体努力。对我来说，这也是 Stephanie Lee 报道中的重要教训。例如，如果我们想弄清楚如何减少科学不端行为……
我们不能依赖一个系统，在这个系统中，像 Data Colada 团队或 Elizabeth Bick 这样的人必须冒着生命危险。从表面上看，科学生态系统似乎建立了一种多重制衡的方式，对吧？以确保不会发生这样的事情，或者发生的事情比应该发生的要少得多。但是当您分别检查每个部分时，
以及每个部分中的激励措施，您会开始发现，该系统实际上在很大程度上没有动力去根除不端行为和欺诈行为。那么我们现有的系统有哪些问题？我们先从同行评审开始。这是我们之前提到的系统，论文会被发送给该领域的其他人。
这应该是一种评估论文的方法，但同行评审者并没有因为他们的时间和劳动而获得报酬。这样做并没有专业上的荣耀。你只是觉得你应该做一些这样的事情。那么这些条件会产生什么？它们不会创造一个环境，让人们有动力花上数小时仔细检查数据电子表格，检查字体或查看行驶里程的分布。
所以想法可能是，如果我们向同行评审者付费怎么办？或者如果同行评审可以写在您的简历上怎么办？
或者如果期刊也雇用统计专家作为他们的员工，在论文发表之前对论文进行非常深入的数字审查，我认为这也会有所帮助。我们不能假设世界上每个同行评审者都拥有 Elizabeth 发现照片中模式的能力，或者像 Data Colada 一样擅长在 Excel 电子表格中找出问题。对。
那么为什么不聘请像 Data Colada 和 Elizabeth Bick 这样的人在期刊工作，并享受随之而来的所有保护和薪水呢？一些期刊实际上已经开始这样做，包括《科学》杂志。一个好处是，您有希望在论文发表之前发现错误，而不是之后。但我们也可以改进论文发表后的情况。所以期刊……
一旦论文发表，他们就没有动力太仔细地检查他们已经发表的内容，因为撤稿有点令人尴尬，而且会让他们看起来好像一开始就没有尽职尽责。我们也没有真正激励人们进行复制工作来检查事情是否属实。相反，研究人员主要有动力确保他们的论文以某种方式令人兴奋。科学界有很强的动力发表大量研究，但
在很短的时间内获得引人注目的结果，因为这是获得终身教职、获得资助以及在您所在领域晋升的途径。所以也许科学需要稍微改变一下它的优先级。
然后还有一些建议，例如公开更多数据甚至建立新的机构。如果有一个科学领域的国税局怎么办？如果有一些机构，某个实体只是……
一直对随机论文进行大规模审计。仅仅是这个机构有一天可能会敲你的门，这会不会激励你，这位科学家，更诚实或更谨慎，更仔细地进行你的研究？你必须弄清楚谁会资助这样的事情，但它仍然比教授和自由职业者自己工作有更多的机构支持。如果我们开始改变激励措施
结构，这将有助于整个领域朝着更好的方向发展。需要对系统的各个部分进行彻底的反思，而不仅仅是一个或两个个人行为者，当然，他们也应该承担责任。如果我们进行这些系统性改变，我们仍然无法准确知道有多少不端行为存在，但我们至少可能知道我们正在更好地防止不端行为。
但是当我看到像 2012 年关于不诚实研究的混乱事件或 Stephanie 报道的其他被撤回的论文这样的案例时，这一切都让我有点不安。操纵数据有很多诱因。如果我们依赖数据侦探义警来发现这些问题，我开始怀疑这说明了科学的现状。例如，在我从事这项工作时，我确实有过这样的一刻……
我是否应该担心所有科学？Stephanie 和 Elizabeth 都很快地说不。这里的结论并非所有科学都是欺诈。我们需要科学来解决，你知道，气候变化、污染、饥饿，
大流行病。我们需要科学来解决这些问题。信息不应该是不信任任何科学，所有科学家都是腐败、邪恶和欺诈的。我总体上确实信任科学，但是……我们一直以来都是默认信任，并没有真正激励足够的验证。所以我们需要两者兼顾。为每天在科学中发生的纠正和错误留出空间。
信任但求证？“信任但求证”是个更好的口号。Stephanie M. Lee是《高等教育纪事报》的高级记者。她撰写了这篇报道，你可以在《高等教育纪事报》上找到她持续的报道。我强烈推荐。
另外，请注意：Data Colada 最初是由一位名叫 Zoe Ziani 的研究人员提供的线索，然后她与 Data Colada 团队合作。因此，你可以在她的博客上阅读更多关于她的参与和整个过程的信息。我们会在文字记录中添加链接。
Kelsey Piper 也在 Vox.com 上发表了一些关于此主题的精彩文章。搜索“指出科学研究造假是否构成诽谤”以了解更多信息。总的来说，如果你想了解更多信息，各个媒体都对此主题进行了大量的深入报道。例如，Planet Money 就有一篇不错的文章。《纽约客》和《纽约时报》也都有相关文章。
本期节目由我和 Bird 制作，Brian Resnick 参与制作。Brian 与 Meredith Hodnot 一起编辑了这篇文章，Meredith Hodnot 也负责我们的节目。Noam Hassenfeld 创作了音乐。Christian Ayala 负责混音和声音设计。Serena Solon 负责事实核查。而且，我真的要特别感谢 Serena Solon。事实核查是一项容易被忽视的任务，所以，Serena，再次感谢你！并且
最后，Manning Nguyen 更多地来到办公室，这让我非常高兴。还要特别感谢 Jillian Robbins 的帮助。
本播客和所有 Vox 内容都是免费的，部分原因是来自读者和听众的捐赠。如果你愿意，可以访问 vox.com/give 进行捐赠。如果你想让我无比快乐，请给我们留下评论或写邮件告诉我们你的想法或问题。我们的邮箱是 [email protected]。而且，我真的无法充分表达我有多么喜欢收到你们的来信。Unexplainable 是 Vox Media Podcast Network 的一部分。我们下周再见。