好书·新书｜剑指统计学“黑历史”的叛逆之作：伯努利的统计推断通向何种谬误？

将“书香上海”设为置顶星标

让书香与您常伴

《伯努利谬误：不合逻辑的统计学与现代科学的危机》

[美] 奥布里·克莱顿著

陈代云译

格致出版社

编者按：
在一个夏日午后，一群学者正和夫人们享用下午茶，一位女士声称，把茶加进奶里或把奶加进茶里，这两种不同的做法会使茶的味道不同。于是人们开始了检验，发现该女士每次都能准确猜中，她是如何做到的？······这个问题有着概率的影子。那么，统计学常用的显著性检验是完美的吗？p值真的是客观的数据吗？我们是否轻易地迷信了数据，又在数据中走向了谬误？本书作者颇具野心，大胆挑战百年来经由高尔顿、费雪等统计学大师的发展，早已深深扎根于各领域的频率主义思想。他认为，我们需要采用贝叶斯方法，即在使用不完整信息进行推理时，将先验知识纳入其中，从而解决危机。

以下内容摘编自《伯努利谬误：不合逻辑的统计学与现代科学的危机》的序：科学、统计学和哲学现在像以往一样彼此需要，在复制危机仍在蔓延的背景下尤其如此。每个人，不管其意识形态如何，都可能同意统计学在科学中的实践确实存在一些问题。现在也是进行坦率对话的好时机，因为统计语言正日益成为我们日常公共生活的一部分。因此，认识到统计学修辞可能会导致误用，使其自身成为一个紧迫的伦理问题，在这一点上，我们或许也能取得共识。怎么做则是另一回事。在科学中，作为复制危机的潜在解决方案，一些拟议的方法论改变已经获得了支持，但尚未出现明显的赢家。事实上，现在正在进行的讨论可以被看作自19 世纪以来统计学争论中那些哲学问题的生动再现。简而言之，在评估提议的方法论改变是否成功地解决了一个问题之前，需要首先确定所要解决的问题是什么，而这些决定揭示了科学知识创造过程的哲学承诺。因为统计方法是一种对测量误差和不确定性的认知作用进行解释的手段，无论是以观察中无法控制的随机噪声的形式来自“我们外部”，还是以世界状态有限信息的不确定性的形式来自“我们内部”，对“统计战争”（至少在频率主义者和贝叶斯阵线上）最合适的描述是，这是一场关于概率的本质和起源的争论。第一种观点将概率的范围限制在那些原则上我们可以根据经验制成表格的偶然波动中；第二种方法允许我们在考察一些新的观察结果前后，用概率反映对一个假设的信心程度。不幸的是，对于反对冲突的人来说，这里没有中立的选择。作为这些哲学承诺在实践中发挥作用的方式的一个简单解释，考虑目前关于统计和科学方法的争论可以分为三类：问题（1）：假设来自哪里，什么时候？如果一个特定的假设是在偷看了结果后构思出来的，或者是为了找到一个最适合现有数据的假设而被精心设计出来的，那么它可能被认为是“事后理论化”的可疑产物。应对这一问题的各种建议包括方法的预先注册，也就是说，在收集数据之前，承诺对数据进行某种严格的解释，将研究的“探索性”阶段与“验证性”阶段隔离开来，或者对多个可能的比较进行校正。问题（2）：实验开始和结束的原因，我们又是如何了解它的？如果一个进行试验的实验者被允许继续进行实验并收集数据直到获得一个有利的结果后才报告这个结果，这显然存在渎职的可能性。阻止这类行为的尝试包括仅仅根据预先注册的报告（即纯粹基于方法）作出发布决定，以鼓励发布负面结果，并提前明确规定和遵守“停止规则”。问题（3）：有足够的数据吗？小样本是世界各地科学家的痛苦之源，在标准的统计框架中，这造成了一个低功效的问题，这意味着即使存在影响，我们也很有可能找不到。这也意味着，一种影响——如果真的被发现——很可能被夸大了，而且不太可能被复制，这是一种被称为“赢家的诅咒”的悖论。除了简单地收集更大的数据样本（说起来容易做起来难），新兴的最佳实践建议是通过共享资源和材料来促进合作，激励复制研究和元分析，保留一些数据用于任何合适模型的“验证”或“样本外检验”，并进行功效分析，以确定需要多大的样本才能找到具有高概率的有意义的效应。乍一看，这三种方法都是引起关注的合理原因，而提出的解决方案也似乎是明智的对策，但前提是假定进行统计推断的标准（非贝叶斯）模式是已知的。正如我们将看到的，贝叶斯统计为这些问题提供了天然的保护，并且在大多数情况下，使它们不再成为问题。很明显，提出的这些限制与有关通常形成假设和根据证据进行检验的方式的常识是不一致的。严格地说，假设是在知道结果之后才作出的——这违反了为保护我们不受问题（1）影响而制定的规则。许多基础统计学的典型例子，如通过随机抽样调查总体，都无法通过这样的审查。比如说，如果犯罪嫌疑人是根据在现场收集的证据确定的，那么他们可能的罪行是否也可以由同一证据确定，还是必须收集所有新的证据？一个科学期刊的审稿人在评审一篇论文的过程中，是否被允许想象用另一种解释来拟合所报告的数据，或者这些解释也必须被预注册？标准的统计方法不自然地使所有理论（无论这些理论多么无聊和古怪）之间的竞争变得公平，所以人们高度关注的问题（2）——发表偏倚问题——进一步加剧。因此，理所当然地，在符合既定发表价值标准的理论中，那些更令人惊讶的和反直觉的理论（以及那些最不可能真正具有实质性意义的理论）将会得到更多的关注。为了满足更高的证据标准，需要更多令人惊讶的假设，这将重新调整发表动机，消除许多无用的废话。贝叶斯推断仅基于实际观察到的情况，实验者对其他实验的计划通常不构成相关信息。问题（3）中模型的统计功效低和过度拟合问题仅在将统计过程的答案作为最终解释的情况下才是问题。在贝叶斯模式中，假设永远不会被完全接受或拒绝，模型参数的单一估计也不会被视为真理。相反，随着收集的数据越来越多，不确定性会逐渐改变；一次观察可能有用，两次观察更有用，等等。如果我们愿意简单地让概率代表不确定性，而不仅仅是测量误差的频率，以上所有的以及更多的可能性都是存在的。所以，首先我们需要克服哲学上的障碍。换句话说，与贝叶斯方法相比，标准的统计技术只使用了一个研究假设的小部分可用信息（它对观测结果的预测有多准确），所以当有限的信息被证明不充分时，它们自然会挣扎。所以，在讨论“有问题的研究实践”时，这是一个完美的时机来质疑这些实践是否有问题，或者是否有更好的方式来思考整个研究计划。为此，本书中包含了一些关于概率和统计推断的建议，对于那些受过正统统计训练的人来说，这些建议在一开始可能显得像是异端邪说，但经过一些思考之后，这可能会变得越来越有道理。这些建议共同的主题是，如果解决了潜在的“疾病”，就没有必要继续治疗统计误用的“症状”。