Episode 151: Witold Więcek discusses statistics and academic research
46:14 Share

注意：本集录制于2022年8月。在最新的《阐明》中，Matt与Witold Więcek讨论了研究人员在利用统计学时遇到的困难。许多学术领域都需要大量依赖统计学，无论是经济学、心理学、社会学、语言学、计算机科学还是数据科学。这意味着许多来自不同背景的人都需要学习基础统计学，以便研究他们正在研究的任何问题。但正如我们在本播客中讨论的那样，统计推理对于初学者来说很容易出错，而且不怀好意的人也很容易以无法察觉的方式篡改它。他们可以直接伪造数据，可以挑选数据，可以不断改变他们正在检验的假设，直到找到一个得到他们所拥有数据的趋势支持的假设。那么我们应该怎么做呢？我们不能放弃统计学；它只是一个过于有用的工具。Witold Więcek认为，研究人员必须注意“p值篡改”。统计显著性，学术出版的黄金标准，很容易被不择手段的研究或动机推理所保证：从统计学角度来说，如果我们不断向数据提出更多问题，即使是噪声也可能看起来像信号。现代统计工作流程要求我们根据检验的假设数量调整结果，或遵循贝叶斯推理的原则。作为一种更广泛的策略，Więcek建议每个大量使用统计论证的研究项目都引入一位外部顾问，他们可以以对抗性的方式有效地压力测试这些论证，因为他们不是主要团队的成员。这是一次很棒的谈话！我希望您喜欢它。Matt Teichman主持，在Acast上播出。更多信息请访问acast.com/privacy。</context> <raw_text>0 您好，欢迎收听《阐明》，一个意想不到的哲学播客。我是Matt Teichman，今天和我一起的是Witold Wienczyk，芝加哥大学发展创新实验室的咨询总监。他来这里讨论学术研究中的统计学。Witold Wienczyk，欢迎。

嗨，谢谢你邀请我。我不得不说，这是一个我非常关心的问题。有一件事一直困扰我，可以说过去20、25年里，在我们的大众媒体中，似乎存在一种过度自信的语言竞赛。

人们会说，这项研究表明X、Y、Z，而这可能只是一次实验。你不能在一项实验之后就断定某件事是真的。而且，你知道，“表明”这个词通常是为那些你所说的东西实际上是真的的情况保留的。这在哲学上被称为事实预设。

我觉得我们到处都能看到这种情况。人们不是说，“哦，有一项研究，结果暗示了X、Y、Z”，而是说，“好吧，我们现在知道了X、Y、Z”。我们会说，“我不知道。我们真的有理由以非常强的确定性得出结论吗？”总之，我想知道——你是否也在我们的媒体文化中注意到这一点，即人们不愿承认我们不知道任何事情，以及一种表现得无所不知的压力？

我认为这个问题有几个层次。首先，超越任何媒体对科学事实的描述的一个普遍观点是，语言与统计知识（我想我们在这里主要讨论的是统计知识）以一种相当不完美的方式相互作用。你所描述的反面，也是我特别讨厌的一点是，

标题中没有证据出现。在口语中，我们会说，“但目前没有证据表明X”，人们通常会认为这意味着实际上存在负面证据。有证据表明情况并非如此。而不是证据的缺乏。我们讨论科学的方式是如此……

善于混淆各种相互冲突的主张。然后你描述的是确定性程度，这也很难用普通的谈话来表达。但我认为除了日常语言之外，从科学和科学家的实践角度来思考这一点也很有趣。

或者，既然我们将在这次谈话中大量涉及经济学，让我们做一个供给方分析。因为如果我考虑媒体标题的需求方，你会认为

先验的事情，好吧，说“研究表明”或“研究表明”是相同数量的信息位。那么，为什么我们会偏好其中一个呢？所以，如果我们从科学事实的供给方出发，似乎显然存在一个非常竞争激烈的市场来突破噪音。而且

它可能突出了学术界的一个普遍趋势，即有更多的科学事实，也有更多的科学家在与更多的噪音竞争。所以，如果有一种情况，我们可以对结果非常有信心，那么它就会获得更多的点击量。因此，人们会感到压力，要表现得好像我们已经得到了一个可靠的结果。是的，现在创造和

原子化的科学事实更有价值，因为有些媒体专门从事这种产品的创造，对吧？但这并没有，说这并没有真正回答为什么在文化上我们确实有媒体专门将原子化的科学事实包装成人们会点击的东西，对吧？我对这个问题没有很好的看法，但这

很有趣的是，你可以对整个过程进行几乎是保守的或反动的批判，因为科学正因为假设普通人应该对科学感兴趣而变得商品化和流行。所以这可能有点鸡生蛋的问题。我们假设人们关心科学事实。

或者也许我们假设人们应该关心科学事实。然后，科学家的作用，更确切地说，慢慢地变成了这些原子化事实的供应者，这些事实以一种

最低公分母的方式进行包装，以便尽可能方便地让媒体新闻的普通消费者接触到。这可能与20世纪20年代的科学模式不同，尽管当时也存在通俗科学的概念。

当时公众对辩论过程的干预可能较少，也许是因为人们觉得他们没有必要对科学家之间正在争论的事情发表意见？我仍然从科学家的角度来思考这个问题，而不是从需求的角度。一个试图猜测如何使他们的产品最具吸引力的人。

好吧，在我攻读博士学位时，我发现有一件事是，尤其对初级研究人员，也包括博士生来说，都面临着巨大的压力，要求他们总是要有突破。坦率地说，这让人筋疲力尽。你能每三分钟就取得一次突破吗？研究生群体中的每个人都能彻底改变一切吗？在我看来，不可能。

有一种感觉，那就是，“好吧，我们必须为每个职位获得最好的，我们必须为我们最新的期刊发表最好的文章。”而最好的等于根本性的突破，因为这是我们过去所享受的东西。

突破与建立在一些先前成果基础上、稍后可能更有用且抱负更适中的有趣论文的作用是什么？是的。这让人想起你和你听众可能知道的奥尔特加·加塞特（Ortega y Gasset）的假设，他是一位二战前的西班牙哲学家，关于科学是如何……

通过实际的小发现或添加小事实，而不是每百年进行一次哥白尼式的革命，以累积的方式进行的。我认为现在的人们更

赞成这种思维模式，因为学术界比一百年前大得多，每个发现的博士数量也在稳步增长。这听起来很轻率，但这是人们实际绘制出来的东西，因为

任何单一发现的投入都在变得越来越异质化和体量越来越大。因此，你只需要更多的人来产生这些投入。但这里有一个有趣的哲学张力，对吧？因为我们仍然在科学模式下运作，从审美角度来说，科学是在某种突破和飞跃中前进的。与此同时，

不仅科学的环境发生了变化，而且这种知识生产的定制化思维方式也发生了变化。就其实践、工作实践而言，它正变得越来越僵化和规定化。

也许我们可以为那些没有听说过弗雷德里克·泰勒的人解释一下，泰勒主义是指20世纪初发生的一种现象，当时许多个体制造过程被机械化，装配线被发明出来，以便在工厂里大规模生产产品。是这样吗？你在这里暗示的是，学术研究更像是现在从工厂里出来的。

是的，你可以以完全算法的方式制作论文，特别是硬科学的论文。科学已经被商品化成一种产品，而这种产品在生产这些论文方面创造了一些效率，对吧？我们所有与学术界互动过的人都看到过，那些超级成功的教授每年发表25到30篇论文。当然，关于谁真正撰写了这些论文，还有一个单独的讨论。但你不会真的想象20世纪初的旧科学模式中，任何科学家，无论多么聪明，每年都能创作30到40件作品。这是一个生产线，它的简短版本。

所以你认为也许我们现在谈论的这种现象之间存在某种相似之处，即新的研究人员感到压力，要求他们在发表的每一篇论文中都要改变一切，以及我们开始讨论的问题，即报道当前科学的人们往往感到压力，夸大我们应该对结果给予的信心程度。这来自同一个地方吗？是的。所以，

我们稍微谈了一下科学和科学产品的供给方。现在，为了回答这个问题，也许最好简要回顾一下需求方。正如我们之前所说，如果我接收一些科学事实、科学信息，那么我应该更倾向于

更确定的信息而不是不太确定的信息，这并非先验的显而易见。这是一个不完美的类比，但作为人类，作为物种，我们被设计成渴望不确定性，如果我们考虑多巴胺是如何工作的，人们是不确定性的消费者。没错。我首先想到的是跳伞。就像你不想知道自己是否肯定能活下来，并且想冒险，对吧？这是冒险的冲动。是的。而

在光谱的悲伤端是老虎机，对吧？以及为什么人们沉迷于赌博。对。我知道我会留住我的钱，但是，不知道我是否会留住我的钱更有趣。那么，为什么这个，问这个问题有点奇怪，但是当涉及到我们体验科学知识时，无论是在

作为学术界试图找出事情的人，还是作为试图找出信息的消费者方面，为什么这个原则不适用呢？我们真的渴望确定性吗？我们讨厌模棱两可吗？我觉得从心理学角度来看，这是一个尚未解决的问题。是的。

对。似乎在不同的情况下，有时我们渴望不确定性。在其他情况下，我们惊恐地逃离不确定性。弄清楚何时发生哪种情况，可能有点棘手。因此，我认为对这个问题真正有效的批判是从供给方（我称之为供给方）和制度方面开始的。是什么让我们这样做？而我觉得这件事很奇怪，也许我们现在正在从……

关于科学的一般性观点转向讨论统计学，那就是在利用统计推理和实验统计分析的科学中，有很多改进科学的倡议，但有趣的是，并没有那么多倡议来改进科学家。我的意思是，

我们非常关注诸如研究复制或使人们发表较不吸引人的结果的做法等方面。这很好。这是改进整体科学标准的制度性修正。但有趣的是，这仍然意味着科学领域基本上分为警察和研究强盗。这很有趣。

我对这个问题没有很好的看法，但有趣的是，要问是否存在学术界不同气质之间的一些内在差异，我们是否总是会有这种分歧。或者是否存在某种制度性激励，将那些在正常情况下能够平静面对不确定性的人变成某种确定性和科学真理的兜售者？我不知道。实际上，你怎么看？

是的，我不确定在全球范围内的情况。我必须说，根据我的经验，这些社会习俗至少在不同的学科之间确实存在差异。举个例子，当我学习哲学时，我认为人们普遍期望任何发表论文的人都应该对他们提出的论点非常、非常、非常有信心。你到处都能看到这种情况。在会议上，你会看到人们基本上说，

在我之前，过去2500年来，每个人都错了。我终于明白了。我们现在完成了，因为我明白了。但是，你知道，最近我对计算机科学越来越感兴趣，至少在编程语言理论的演讲中，人们的态度要谨慎得多。他们会说，“哦，你知道，我有一个关于构造的新想法。这是它的工作原理。实际上，昨晚，我认为我从数学上证明了它在每种情况下都会失败。但也许你们可以帮我修复它。”

我不确定从这两种情况下可以得出什么结论，但这至少向我暗示，存在巨大的变化潜力。我认为这里有一个有趣的结论，即这个问题可以通过制度来解决，并且在不同领域的文化上非常具体。我认为这里要说的是，这已经在你的例子中体现出来了，你最初可能会认为这与科学的硬度有关。所以，

我学习过数学，在数学中，有人带着颠覆现有知识的态度出现是很正常的，而且这也不是什么夸夸其谈的事情，有些事实是真的，有些事实是假的，你必须以绝对的信心来呈现它们。有趣的是，但是

一些处于硬度光谱中间的东西，我在过去几年里与之进行了很多互动，那就是经济学，它有会议，对我来说，当人们向我描述它们时，听起来像是决斗，以展示你的论文。而且肯定存在一种模式，必须表明你对所有事情都是绝对正确的，并且你考虑到了所有可能的

对你的论文的逻辑异议。我们这里说的不是一门特别硬的科学。我们说的是一些完全基于假设和模型的东西。所以正确与否并没有真正进入其中。是的。而且很难进行可重复的实验和实验室条件等等，我想，在经济学中这是另一个真正的困难。我会说演示并不映射到

你必须以最终正确的方式呈现任何事实，无论你有多不确定，以突破噪音。根据我在生物信息学和医学科学中作为统计学家的经验，这些对话不必那么激烈。是的，对。

谈话的这一部分让我想起一个有趣的例子，我知道我与发展创新实验室的迈克尔·克雷默（Michael Kremer）合作时直接了解了一些情况。正如你们中的一些人可能知道的那样，迈克尔是2019年诺贝尔经济学奖得主。他是一位非常有成就的发展经济学家，有趣的是，

几年前，在他获得诺贝尔奖之前，事实上，他的一项主要发现被发现是错误的。或者更准确地说，他的论文中发现有一些错误。

关于这个案例非常有趣的是，特别是它发生在经济学这样的学科中，正如我们所说，所有确定性的说法都必须以完全坚定不移的方式提出。迈克尔非常慷慨地为他的论文制作了更新。他重新做了他的分析。

他解释了他数据中的任何错误，并且只是刷新了他的分析。他与批评他研究的人合作，给予他们完全访问他数据的权限。结果，他从这场科学争议中脱颖而出，他的声誉得到了提升，正是因为人们与试图挑剔他们论文的人进行对话是如此罕见。我认为这个故事，对我来说……

有点像我们经常在媒体上听到的东西的比喻。这将是一个奇怪的比喻，但我忍不住想到它。国际关系中有很多关于为人们提供缓和冲突的“下坡路”的讨论。因此，当存在激烈的分歧时，解决办法是坐下来一起进行会谈，而不是升级冲突

冲突始终对双方都显而易见。这是一个奇怪的比喻，但似乎在学术界，人们完全没有意识到“下坡路”的存在。当你看到人们的研究结果受到批评时，就会一次又一次地看到这种情况，存在数据问题，或者有时他们被发现伪造了结果。有时这是更无辜的事情。但是

他们总是选择核选项。在这个比喻中，这真的很可怕。他们试图对指出错误的人进行人身攻击，并声称这绝对不是错误，等等。因此，似乎在我们的学术机构中，人们需要更多关于人们犯错以及……

正确的事情的实际案例。是的。我的意思是，如果有人指出你研究中的错误，我认为你首先应该感谢他们。因为，我不希望在我的研究中犯错误。但是，如果在你进行研究时，你内心深处的目标从应该是什么，即学习真相，变成了其他什么，例如获得你重要工作的很多赞誉，那么激励措施可能会一致，以至于你感觉你无法感谢这个人……

注意到你工作中的错误。我们一直在讨论在某种好的情况下会发生什么，即每个人都以良好的意图诚实行事，并且有人发表了包含真正错误的研究。另一个人指出了这个错误。然后他们所做的是，他们合作进行了一项后续研究来纠正这个错误。那么，如果每个人都不是那么好的撒玛利亚人，那么研究的例子是什么？

当指出错误时，最初的作者会坚持己见，或者也许数据是直接伪造的。首先也是最明显的是数据伪造。当涉及到统计分析时，这种情况并不经常发生，但你会惊讶地发现，随着人们可以使用越来越复杂的工具来伪造主张，他们会选择这种唾手可得的果实。

去年一个非常酷的例子是丹·阿里利的论文，“在开头还是结尾签名并不能减少不诚实行为”，这是一篇关于保险数据的分析。好吧，这篇关于不诚实行为的论文的结果是，至少部分数据是通过Excel中的随机数生成器完全伪造的。

哇。一旦有人绘制了他们的数据，很明显有人编造了这些数据。我必须说，他是这篇论文的三位作者之一，而且完全——我认为还没有确定是谁在这篇论文上伪造了数据。这只是一个例子，说明事情确实会发生，而无需真正指出任何人的错误。

但是，当你可以在选择数据进行分析时完全具有选择性时，你为什么要伪造数据呢？只要你能获得任何数据。通常很难证明人们参与了对输入的选择。你必须访问源数据才能证明这一点。

是否存在分析数据的技术？例如，你可以尝试测量其中的随机性水平，或者做一些事情来从数学上查看它是否可能不是经过挑选的？是的，这是你能做的最有趣的事情之一，我的意思是，如果你是一个无聊的人，这是你能做的最有趣的事情之一。这是一个安全的空间，让无聊的人真正沉迷其中。

有一整套关于税务记录等的取证分析分支，你将查看所报告值的分布，以及数字的分布。数学中有一个非常漂亮的定律，叫做本福德定律。那是所有数字都以1开头的那一个吗？

不，但它也是其中之一。是的，这是关于数字和数字的分布。据我所知，人们仍然不太明白为什么会发生这种情况，但很容易挑选出那些被人们伪造的东西。通常，当涉及到看似随机的数据伪造时，人们会无意中非常糟糕，因为他们会过度补偿

你可以和你的朋友们做一件非常酷的事情，让他们编造一系列正面和反面。通常情况下，你可以很好地检测到哪些正面和反面序列实际上是由抛硬币生成的，哪些是由人们编造的。区别在于，人们总是试图让它看起来更随机

而如果你开始抛硬币，很快你就会连续出现四、五或六个正面或反面。人们无法忍受这种非随机的随机性。无论如何，回到数据伪造，是的，存在选择性，这可能与编造你的数据一样严重。但更大的问题，因为它很普遍……

是人们在优化有趣结果的水平上，不是从现有数据集中挑选数据，而是寻找有趣的数据集。最近，人们可能已经看到了这个标题，所有主要媒体都报道了，支付给著名经济学家艾伦·克鲁格（Alan Kruger）10万美元，让他发表一篇关于优步的论文，这篇论文对乘坐叫车应用作为传统出租车的替代品得出了相当有利的结论。克鲁格因收钱撰写论文而受到广泛批评

我对某人收取10万美元撰写经济学论文这件事没有强烈的意见。你可以自己决定这是否构成利益冲突，或者它实际上是有益的，因为否则这篇论文就不会被写出来。但有趣的是，人们并没有真正注意到……

像这样的项目的资料方面，这在学术界越来越普遍，即公司向研究人员提供数据集，并且可能已经预料到人们将从这些数据集中得出什么样的结论。因此，即使没有任何有意识的研究不端行为或任何研究不端行为的意图，也存在

绝对有可能弄糟一些结果，因为信息的获取完全由私营部门控制。因此，我们已经研究了几种发表欺诈性研究的策略。一种是伪造原始输入数据。

另一种是进行挑选，这样你就可以获得真实的数据，但它经过精心策划，以便其中的统计趋势似乎是论文作者希望它成为的样子。除了这两种方法之外，还有什么其他方法可以伪造统计研究吗？例如，即使数据完美无缺？是的，对于统计学家来说，真正的乐趣开始了。

有些罪犯必须使用非常粗糙的工具，而有些人可以 undetected 地犯罪。现在我们在这个类别中。所以有时你必须惊叹于人们在误用统计学来证明某些事情方面的独创性。然而，可能与真正的罪犯一样，在99%的情况下，

人们仍在使用相当粗糙的工具来编造他们的结果。那么，如果我们假设你可以拥有完美的数据，并且你仍然可以得到你想要的任何答案，那该怎么办呢？这里第一个概念属于我们所说的研究者自由度。那么，我可以分析我的数据的多少种方式？

它们彼此略有不同，并可能导致不同的结论。现在，如果我给你一些关于新奇迹药物的数据，或者也许有一个新的，让我们编造一个，一个新的冥想应用程序已被10,000名用户下载，我们想证明它对人们有一些有益的结果。让你活得更久等等。

就是这样。是的。为什么只限制自己让你活得更久呢？为什么不呢？它让你赚更多的钱，或者让你睡得更久，或者让你睡得更短，这也有好处。或者它让你更放松，或者它让你下午更放松，或者它让你早上更放松。

这是自由度的一个方面。但是测量事情真的很麻烦。所以我们甚至不必费心测量所有这些事情。如果我们只测量一件事情，并且有这10,000人呢？好吧，我们找不到普通人群中放松水平的提高。为什么我们不询问40岁以上、是第二代移民的男性的放松水平呢？

你开始将你的统计样本细分为越来越细的子组，直到你找到一些东西。统计学的工作方式是，你最终一定会找到一些东西。所以你总是可以找到积极的主张

只要你不太在意你想提出什么样的积极主张。这很有趣，是的。听起来很荒谬，对吧？但这是许多学术领域如何使用统计学的一部分。许多实验心理学的主张都是这种类型的，其中收集了一些数据，事后做了一些假设，并且

结果发现它们实际上是正确的。所以我觉得在这方面被拉扯到两个方向，一方面，我觉得在尽可能公开地说明你试图检验的假设，并且只根据哪些可能的假设可以被你收集到的数据证实来确定任何事后的假设，这可能是不诚实的。

这感觉有点奇怪。感觉你只是在寻找胜利。但另一方面，难道没有一个合理的场景，你开始探索一种可能性，而这导致了死胡同，但随后它又让你有了与你最初的想法不同的真正有趣的发现吗？这正是科学发现的精神，对吧？绝对正确，以这种方式进行。像对意外持开放态度。是的。那么，在对意外持开放态度和做更怯懦的事情之间有什么区别呢？

一开始故意含糊其辞地说明你正在检查什么。因此，统计学家有一种应对方法，这现在终于成为许多期刊的标准做法，回到我之前构建的这个荒谬的例子，这叫做多重假设检验校正。因此，研究人员在这里理论上可以理解

继续检验任意数量的假设，但他们会进行数学或统计校正，或者他们会在计算中惩罚自己，因为他们没有检验一个假设，而是检验了20件事。统计学，好的一面是，在统计推断中，我们知道

随着假设数量的增加，我们获得虚假结果的可能性有多大。因此，我们知道根据我们检验的假设数量，需要进行什么样的校正。因此，我给出的关于多重假设和总是找到一些积极的主张然后发表的例子，已经被哥伦比亚大学的安德鲁·盖尔曼（Andrew Gelma）很好地提到了，他经常对这些问题有

相当引人入胜的看法，我鼓励人们将他视为分叉路径的花园，这是根据著名的博尔赫斯（Jorge Luis Borges）的故事，它基本上表达了研究人员的一个稍微更普遍的原则，即研究人员有

分析的多个阶段，然后他们总是可以决定向左走或向右走，向左走和向右走，向左走和向右走。如果你读过博尔赫斯的短篇小说，我们会通过增加这些选择来进入无限数量的宇宙。我想我现在可能把这个故事给搞砸了，我已经很多年没读过了。但重要的是要说，我们在这里谈论的是某种意义上的军备竞赛，其中一个做法是

例如，让人们纠正他们提出的假设数量，这只意味着他们将找到另一种方法来利用统计分析得出科学事实。因为这些决策点的数量是无限的。现代的做法是让人们通过以下方式保持诚实：

不仅要在同行面前，也要在他们自己面前，预先注册他们将要进行的分析类型。但这又回到了你提出的我认为非常精彩的问题，即这正在与科学发现的过程产生冲突。所以我们也必须允许这种张力存在。

迭代过程，让创造性过程进入数据分析。这可能要追溯到我们谈话的早期部分，当时我们谈到了科学中警察和强盗之间的分歧。我想这是一个悬而未决的问题，即你是否想激励人们不去违反法律。

或者你只是想让他们成为更好的公民？是的。所以，是否有针对研究人员的监狱，或者是否有救赎的可能性？或者我们只是创造一些规范，实际上能让犯罪减少？用这种方式来表达很有趣，但这些都是关于如何得出

良好科学的有效问题。现在我们拥有的机制似乎基本上是公开羞辱，然后这个人被解雇。这就是对犯欺诈行为的研究人员的惩罚。我认为这更像是天主教会的做法，我们只是假装问题不存在，直到问题变得非常严重。与此同时，我们只会

把这个人调到别的地方。是的，是的，是的，是的，对。或者拒绝某人的终身教职，然后他们开始在其他地方工作。是的，是的，只要不是我的问题，就不是问题的那种态度。所以有时人们被解雇是最好的事情，对吧？但这仍然不是一件好事。是的，绝对的。如果这是我们唯一的选择，我们说研究不端行为

这是一种二元论，只有一些坏苹果，而其他人则继续执行计划。所有灰色地带的情况，甚至是深灰色地带的情况，我们都不关心。但只有在千载难逢的情况下，才会有一些人被当作替罪羊。这似乎是一个糟糕的制度。是的。所以我们已经发现所有这些潜在的陷阱，等待着任何想要利用……

重型统计机器来得出，你知道，政策结论或科学研究的新方向或资金等等。一方面存在所有这些危险。另一方面，我们需要统计机器来帮助我们做出这些决定。这是不可避免的。那么，我们该如何继续？我们有什么办法来应对我们一直在讨论的这些各种形式的制度侵蚀？是的。

我认为任何上过统计学课程的人都会意识到统计学并没有教得很好，但是当人们开始与统计分析互动时，他们通常会被鼓励认为统计学是相对容易的事情。

我们试图简化这些问题，以便一个普通人——绝对没有冒犯的意思，我只是想到的第一件事——但一个普通的心理学研究人员可以发表他们的论文。因此，我们教授方法就像它们是相当标准的，你可以遵循流程图来进行你的分析。医学统计或实证经济学也是如此。

首先要说的是，我们必须把统计学当作一件非常困难的事情来对待。你必须放弃这种信念，认为任何人都可以做到这一点。当然，我会这么说，因为我是一个统计学家，我靠帮助那些不是统计学家的人做他们的统计工作来赚钱。要保持自己的业务运转，对吧？是的，我的意思是……

这就是我在这里的原因。但是，我完全承认我在这里的偏见。我认为在这些学术项目中拥有一位专门的统计学家，往往可以消除这些项目中许多研究不端行为的可能性。当然，如果高级研究人员有作弊的意图，欺诈行为仍然会发生。但我认为就而言

决心真正查明真相的研究小组。在我看来，统计学家、分析师是稍微外部的人员的模式，经常会解决很多分析问题，例如人们承受夸大说法、完成项目、满足拨款时间表等的压力，以及人们拥有很大的自负心。

将此过程外部化可能真的很好。所以我认为我们通常不会认为产生假设的研究人员和分析数据的人的角色是分开的。但是，拥有这种防火墙可能会解决很多问题，甚至是关于科学事实如何被包装成这种额外程度的信心的制度性问题

我们必须注入每一个被呈现的结果。这真的很有趣。我从未听过有人提出过这个建议，但这立即暗示了计算机科学中的一个类似之处。类似之处在于，在计算机科学的某些领域，你真的只想让那些致力于这项工作的人来做。一个例子是加密算法。如果你正在编写一个应用程序，让某人可以在他们的手机上使用，你不会想要编写该应用程序的人……

提出应用程序将使用的新的加密算法。这是一项非常棘手的工作。就像你想要那些花了一生的时间来掌握加密算法所有细微之处的专家一样，对吧？因为否则你的东西就不会安全。所以在某些领域，如果工作非常细致，而且很容易出错，而且风险很高，后果严重，如果你出错的话，你真的想有一个分工，让专家来做那部分工作，你只需要使用他们得出的结果。

在我看来，在纯粹的智力研究领域，也存在类似的情况，因为其中涉及大量的统计数据和数字运算，所以它非常棘手。它很容易出错。初学者会犯很大的错误。他们很难避免犯很大的错误。当这些巨大的错误发生时，后果将是可怕的。这可能是在这种情况下，分工合作会有所帮助的另一个情况。统计学家的一个非常有趣的悖论是，与经济学家不同，

找到一个顾问来完成你的项目。在这里，我们谈论的是人们找到一个顾问来试图破坏他们的项目。我们在这里谈论的智力态度是，我收集了一堆数据，我有一个假设。现在，我请某人以一种半对抗的方式来思考这个问题。如果有一个结果，那么这个结果是否在每个可能的

研究自由度假设的排列下都成立。是的，是的。Vytold Vientzek，非常感谢你来到这里。感谢你的邀请。这真的很好。Elucidations 博客已经迁移。我们现在位于 elucidations.now.sh 在博客上，您可以找到我们之前所有剧集的完整目录。如果您有任何问题，请随时在 Twitter 上联系我们 elucidationspod。再次感谢您的收听。

谢谢。