心理学研究的证据强度:哪些结论能信
本站诚实身份的标志条目:把「研究证明」拆成复现率、效应量与区间三件事,再决定这条结论能不能用来管钱。
复现危机 · 心理学结论分级
A 级有争议
你准备把一个心理学结论变成钱上的动作之前,或者看到「研究证明」四个字的时候。
36%36%(OSC 2015 复现的 100 项研究里复现后仍显著的比例) 36%(OSC 2015 复现的 100 项研究里复现后仍显著的比例);原文 97% 报告统计显著、复现效应量约为原效应量一半、47% 的原效应量落入复现的 95% 区间;Hagger 2016 预注册多实验室复现(23 个实验室、2,141 人)d = 0.04,95% 区间跨零完整口径
看到「研究证明」不追问有没有复现、效应量与区间、样本量——三个数拿不出两个,这条结论只能进科普阅读,不能进决策。
怎么做
什么时候用:三个时刻——①你准备把一个心理学结论变成钱上的动作之前(别人的文章、畅销书、课程、短视频,或本站其他条目);②你看到「研究证明」四个字的时候;③你自己引用某条结论去说服别人之前。本条的三步核验不需要统计学训练,需要的是停下来问三个问题。
步骤
- 看复现:这个结论有没有预注册的独立复现?原始研究与复现是不是同一批人?只找到 1 项未复现的小样本研究 = 先按「存疑」处理,不管它多有名;
- 看效应量:报的是不是效应量(d 或 r)与置信区间?区间含不含零?只报「显著 / 不显著」不报效应量的,按不完整处理——「显著」不等于「效应值得你为它花钱」;
- 看样本:样本多大?是否预注册?效应量与你要付的成本比是否划算?样本小于每组几十人的「惊人效应」,先怀疑再引用;
- 查发表偏倚:这个结论如果是因为「显著」才登出来(阴性和复现没人登),你看到的整体样本就是被裁剪过的——此时「所有人都这么说」不增加证据;
- 用下面的分级与判定表归类:稳固 / 有争议 / 存疑,再决定它能不能进你的决策;
- 管钱的动作只从「稳固 + 有算例」的结论里出;「有争议」的只作方向提示,不作精算依据;「存疑」的一律不进决策——包括本站自己引用的结论。
分级与判定表(「这条结论能不能用来管钱」;右列是本站的使用规则):
| 结论 | 分级 | 复现 / 证据状态(等级) | 能不能用来管钱 |
|---|---|---|---|
| 损失厌恶存在(方向) | 稳固 | 多来源定性一致;但 λ 系数测量被证极不可靠(A·PMC 全文) | 能:作方向性纪律(不摊平、不扛亏),见 损失厌恶:亏一笔比赚一笔难受得多 |
| 锚定存在 | 稳固 | 定性稳健(站内 B 级) | 能:作自查机制(查成本价锚),见 锚定效应:成本价、高点都是锚 |
| 损失厌恶 λ≈2.25 | 有争议 | λ 估计极不可靠(A);2.25 具体值需人工核对;维基「2 至 2.5 倍」为 B | 不能:别拿系数做精算 |
| 自我损耗(意志力耗尽) | 存疑 | 预注册多实验室复现 d = 0.04、区间跨零(A·摘要);原始中等效应的数值需人工核对 | 不能:别拿「今天意志力差」当破戒理由 |
| 权力姿势 | 存疑 | 2010 原始有效应(A·摘要)→ 2015 大样本复现无效应(B+·题名) | 不能:摆姿势不改变风险承受 |
| 启动效应 | 存疑 | 卡内曼自认「过于相信功效不足的研究」(B·维基转引,原始出处需人工核对) | 不能:不据此设计任何盘前仪式 |
| 「某技巧月增二成」 | 存疑(默认) | 单条未复现小样本 → 按算例三步核 | 不能,直到出现预注册复现 |
判定表的读法:左列是结论,不是人——分级跟着结论走,不跟着提出者走;「稳固」只保证方向,不保证系数;「存疑」不等于「假」,等于「不许拿它管钱」。
与本站 A/B/C 的关系(第 6 步的依据):本站 A 级告诉你「这条来源本站取到一手、可复算」,B 级是「权威二手、原文未逐条核对」,C 级是「历史文本或取不到一手」;而本条的三步告诉你「这个结论本身站不站得住」。两套尺子量不同的东西:OSC 2015 的数字是 A 级来源,报告的是失败;勒庞《乌合之众》是文本 A,实证是 C(见 群体心理:人群里没有个人);两条 A·摘要(Wood 2002、Neal 2011)只支撑到「习惯由情境线索触发」这一层(见 习惯回路:看盘是一种成瘾)。看到本站某条写着 A,先别急着信结论——先问它过没过这三步。
算例(假设案例,不指向任何真实研究):现场核一条流行说法——「每天开盘前用五分钟写下今日交易计划的人,当月收益比不写的人高二成」。假设这条说法的全部依据是 1 项研究(假设参数:实验组 30 人、对照组 30 人,报 d = 0.6)。
| 步骤 | 现场核验 | 结果 |
|---|---|---|
| ① 看复现 | 只找到 1 项原始研究,0 项预注册独立复现 | 按 OSC 2015 口径(A·摘要:复现显著的比例只有三成六),先按存疑处理 |
| ② 看效应量 | 原文报 d = 0.6(假设),未报置信区间 | 缺区间 → 不完整;补算见下 |
| ③ 看样本 | 每组 30 人,共 60 人 | 检出限估算:√(15.7 ÷ 30) ≈ 0.72 → 该设计只有约八成把握检出 d ≥ 0.72 的效应,而它声称 0.6 |
补算(可手算复核):双尾 α = 0.05、检验力八成时,两组等样本设计所需人数 n ≈ 15.7 ÷ d²;d = 0.6 → n ≈ 44 人/组,而原文只有 30 人/组——对它的主宣称效应功效不足。这次「检出了」,更可能是噪声把估计抬高了;效应量收缩的方向与 OSC 2015「复现效应量约为一半」(A·摘要)一致。再看估计精度:d = 0.6、n = 30/组时,标准误 SE ≈ √(60 ÷ 900 + 0.36 ÷ 116) ≈ 0.264,95% 区间 ≈ 0.6 ± 0.52 = [0.08, 1.12]——区间宽到「真实效应可能很小也可能很大」,没有决策价值。
钱上的翻译(假设案例):
| 项目 | 数字 |
|---|---|
| 该说法承诺的月增厚收益 | 2%(假设参数) |
| 按 OSC 收缩口径(约为一半)折算后 | 1% |
| 10 万元账户一个月的差额 | 100,000 × 1% = 1,000 元 |
| 执行成本(确定的) | 每天 5 分钟 × 22 个交易日 = 110 分钟/月 |
| 判定 | 成本确定、收益方向不可判 → 不能用来管钱 |
算例说明
:以上研究参数(30 人/组、d = 0.6、月增厚 2%)均为假设,不指向任何真实论文;三步核验的结论只对这个假设案例成立。真实世界遇到同样形状的说法(单条研究、惊人数字、没有复现),按同一张表走一遍即可——核验方法不依赖你懂不懂统计,只依赖你问不问那三个问题。常见错
- 把「登在权威期刊」当可信——期刊同行评议筛不掉假阳性;OSC 2015 复现的正是发表在一流心理学期刊上的 100 项研究(A·摘要);
- 把「我不懂统计」当免检理由——三步都不需要懂统计:看有没有复现、看效应量和区间、看样本多大;
- 看到「复现失败」就全盘否定心理学——损失厌恶、锚定这类方向性结论是稳固的;要否定的是具体系数和单条惊人结论,不是整个学科;
- 用「这是经典研究」跳过核验——经典不等于复现过:权力姿势与自我损耗都曾是经典,复现结果一个无效应、一个区间跨零;
- 把本站的 A 级当「结论正确」——A 只说明来源可核,不说明结论可靠;可靠度要看复现、效应量、样本(这也是本条存在的原因);
- 核验完一次就存档——结论的分级随新证据变,本条表格要跟着更新;更新以新的复现为准,不以「我又看到一篇文章」为准。
做完你会得到:一张「结论核验卡」——任何一条心理学结论,你都能填出:有没有预注册复现、效应量与区间、样本多大、发表偏倚风险,以及它的分级(稳固 / 有争议 / 存疑)和「能不能用来管钱」的判定。核验卡模板(抄走即可用):
| 字段 | 填法 | 假设案例的填法 |
|---|---|---|
| 结论原话 | 一字不改抄下来 | 「写下计划的人当月收益高二成」 |
| 出处 | 论文 / 书 / 文章,附链接 | 某畅销书章节(无 DOI) |
| ① 有没有预注册复现 | 有 / 无 / 查不到 | 无(只找到 1 项原始研究) |
| ② 效应量与区间 | d 或 r + 95% 区间 | d = 0.6,未报区间 |
| ③ 样本多大 | 总样本 / 分组 | 60 人(每组 30) |
| 发表偏倚风险 | 只发表显著结果的领域? | 高 |
| 分级 | 稳固 / 有争议 / 存疑 | 存疑(默认) |
| 判定 | 能不能用来管钱 | 不能,直到出现预注册复现 |
怎么算过关:拿最近一次影响你下单的「心理学说法」,按三步当场核一遍,说出它的分级与判定;三步里任何一步答「不知道」,而你已经按它做了动作 = 不过关,动作是把这条结论从决策依据里降级为「科普阅读」。
说人话
是什么:心理学出过一大批反常识的漂亮结论,后来其中很大一批复现不出来。有个大项目把一大批已发表的研究用高检验力设计重做一遍:原文里绝大多数报告了统计显著,重做后只有三成六还显著,重做的效应量平均只有原来的一半。于是「这条结论能不能用来管钱」就不能只看它登在哪个期刊、是谁说的。
为什么发生:原因不止一个——原文可能本来就没效应、只是小样本加只发表显著结果凑出来的运气;也可能是被挑过的样本把效应放大了;还可能是复现时的执行细节不同。共同点是:单个小样本研究的「显著」本来就很脆,而发表系统偏爱显著,于是文献里堆着一批被放大的结论——连《思考,快与慢》的作者都承认,自己把太多信心放在了功效不足的研究上。
什么时候不成立:一、「三成六复现显著」不等于「六成四的结论是假的」——复现失败的原因有很多种,包括复现本身的问题;正确的用法是给结论分级,不是全盘否定心理学。二、分级是动态的:今天存疑的结论可能明天被更好的实验救回来;今天稳固的也可能被新证据改写——损失厌恶的方向性结论稳固,但它的那个系数 λ 的测量已被一手全文证明极不可靠,这就是「结论活着、系数死了」的样子。
收益
量级(口径:亏损):本条量纲是复现率与效应量,不是金额——OSC 2015(A·摘要)复现的 100 项研究:原文 97% 报告统计显著,复现后 36% 仍显著,复现效应量约为原效应量一半,47% 的原效应量落入复现效应量的 95% 区间,39% 被主观判定复现;若不假设原结果有偏,合并后 68% 显著。Hagger 2016 预注册多实验室复现(23 个实验室、2,141 人)得到 d = 0.04,95% 区间跨零。这个数怎么用:下次看到「研究证明」,先要三个数——有没有复现、效应量和区间是多少、样本多大;三个数拿不出两个,这条结论就不进你的决策,只进你的科普阅读。
来源
- A1. Open Science Collaboration (2015). Estimating the reproducibility of psychological science. Science 349(6251), aac4716,DOI 10.1126/science.aac4716:本站经 Europe PMC REST 取到官方摘要逐字,A(摘要级),核对于 2026-10-12。取数命令:
curl -m 30 -sSL --compressed "https://www.ebi.ac.uk/europepmc/webservices/rest/search?query=DOI:%2210.1126/science.aac4716%22&format=json&resultType=core"。记录显示 PMID 26315443、inPMC=N(不在 PMC 全文库);官方 DOI 页 curl 实测 403(science.org 付费墙),故摘要之外的更细数字一律需人工核对。摘要逐字(A):“Replication effects were half the magnitude of original effects, representing a substantial decline. Ninety-seven percent of original studies had statistically significant results. Thirty-six percent of replications had statistically significant results; 47% of original effect sizes were in the 95% confidence interval of the replication effect size; 39% of effects were subjectively rated to have replicated the original result; and if no bias in original results is assumed, combining original and replication results left 68% with statistically significant effects.”
- 规模(摘要原文):复现了 100 项发表在三种心理学期刊上的实验与相关研究,使用高检验力设计与原始材料。
- 防错:网上流传的 “PMC4490433” 实为蔓越莓论文(本站实测证伪:citation_title 为蔓越莓多酚抗黏附),本条不引用该 PMC 号;OSC 2015 全文只能经 Europe PMC 摘要引用。
- 需人工核对:任何「中位效应量 r 从 0.403 降到 0.197」这类摘要之外的更细数字——本站未取到 Science 全文,严禁凭记忆写。
- A2. Hagger et al. (2016). A Multilab Preregistered Replication of the Ego-Depletion Effect. Perspectives on Psychological Science,DOI 10.1177/1745691616652873,PMID 27474142:Europe PMC 摘要逐字,A(摘要级)。摘要逐字:「Multiple laboratories (k = 23, total N = 2,141) conducted replications of a standardized ego-depletion protocol … Meta-analysis of the studies revealed that the size of the ego-depletion effect was small with 95% confidence intervals (CIs) that encompassed zero (d = 0.04, 95% CI [-0.07, 0.15]).」
- 可写(A):预注册多实验室复现(23 个实验室、总样本 2,141 人)得到 d = 0.04,95% 区间跨零——未检出自我损耗效应。
- 需人工核对:摘要只说早期元分析是「medium-sized effect」、未给数值,原始「d≈0.6」这个具体值需人工核对(回溯 Hagger et al. 2010 元分析原文前不得写入)。
- A3. Walasek, Mullett & Stewart (2021). JEP: General,DOI 10.1037/xge0001054,PMCID PMC8756608:PMC 免费全文本站实测 200、约 12.5 万字节,A(PMC 全文)。逐字:「the tendency to reject 50–50 mixed gambles can be made to disappear or reverse」;「estimates of λ are extremely unreliable … it is futile to estimate λ from accept–reject choices」;「λ does not generalize even across random splits of a choice set」。
- 口径纪律(必须写清):该文的结论是「λ 这个测量不可靠、可被操纵到消失或反转」,不等于「损失厌恶不存在」——方向性结论(亏比赚难受)仍然稳固,被推翻的是那个精确系数。
- 需人工核对:λ≈2.25 这个具体值(Econometrica 1991 原文 JSTOR 挑战页,本站取不到);中文维基「损失带来的负效用约为正效用的 2 至 2.5 倍」只作 B 级转述。
- A4. 权力姿势(Carney, Cuddy & Yap 2010 → Ranehill et al. 2015):Carney 2010 摘要逐字(Europe PMC,PMID 20855902)为 A(摘要级):「High-power posers experienced elevations in testosterone, decreases in cortisol, and increased feelings of power and tolerance for risk.」;Ranehill et al. (2015) 官方题名逐字(CrossRef,Psychological Science 26(5), 653-656)为 B+:“Assessing the Robustness of Power Posing: No Effect on Hormones and Risk Tolerance in a Large Sample of Men and Women.”——复现未发现对激素与风险容忍的影响。需人工核对:Ranehill 2015 的样本量与效应量(摘要付费墙未取到)。
- B7. Kahneman 启动效应章(英文维基转引,B):《思考,快与慢》第 4 章所引研究的可复现性指数(R-index)仅 14,近乎不可靠;卡内曼本人回应自承 “I placed too much faith in underpowered studies.”(我把太多信心放在了功效不足的研究上)。需人工核对:该引语的原始出处(其博客评论)——本站经维基转引,直接引用前须回溯。
- 与本站 A/B/C 分级的关系(本条的核心):本站 A/B/C 描述的是来源可核性——A = 本站取到一手(原文/官方摘要/官方序列)并可复算,B = 权威二手,C = 历史文本或取不到一手;它不描述结论可靠度。OSC 2015 的数字本身就是 A 级(摘要逐字可取),它证明的恰恰是:A 级来源也可以报告一个失败、收缩或存疑的结论。所以本站的规矩是:影响钱的心理学结论,除了过 A/B/C,还要过本条的「复现 / 效应量 / 样本」三问。
- 本站口径:分级标准——稳固 = 方向性结论多来源定性一致,且未被可核复现推翻;有争议 = 结论方向被接受但具体数值/系数/适用范围长期争执;存疑 = 关键复现失败或原始证据被作者本人承认不足。凡不能归入这三类的(例如没有任何复现信息的单条说法),默认按存疑处理。
- 站内复算:算例中的全部算术(15.7 ÷ 30、95% 区间、1,000 元)为推导型 A 级,可手算复核,核对于 2026-10-12;站内 B 级复算见 损失厌恶:亏一笔比赚一笔难受得多(方向性结论的用法)、锚定效应:成本价、高点都是锚(稳固级的另一例)、过度自信:你大概率跑不赢市场、结果偏误:按盈亏判决策是最常见的错;同轮新条目见 群体心理:人群里没有个人(为什么勒庞标 C 不标 A)、影响力:你为什么听了老师的话(B 级结论怎么用)、习惯回路:看盘是一种成瘾(A·摘要级怎么用)。
- 本站取数复核日志(2026-10-12):Europe PMC 三条查询(OSC 2015 / Hagger 2016 / Carney 2010)均返回官方摘要逐字,PMID 与题名同研究笔记;PMC8756608 全文 124,797 字节,三段引文逐字核对;CrossRef 的 Ranehill 题名与副题名逐字核对。以上复验与研究员笔记(psych-source-notes-20261012.md)一致,无出入。
- 取数命令备查(便于复算):
curl -m 30 -sSL --compressed "https://www.ebi.ac.uk/europepmc/webservices/rest/search?query=EXT_ID%3A27474142%20AND%20SRC%3AMED&format=json&resultType=core"(Hagger 2016)、curl -m 40 -sSL --compressed "https://pmc.ncbi.nlm.nih.gov/articles/PMC8756608/"(Walasek 2021 全文)、curl -m 30 -sSL --compressed "https://api.crossref.org/works/10.1177/0956797614553946"(Ranehill 2015 题名)。打不开的来源(Science 官网 403、JSTOR 挑战页)按取不到一手处理,相关数字标需人工核对。
备注
- 适用前提:针对「要把心理学结论变成钱上动作」的读者;纯科普阅读、纯兴趣了解不需要过这三步——门槛只设在「管钱」这道门上。
- 不适用情形:有预注册、有独立复现、效应量与区间齐全、样本充足的结论,不需要从零核验,直接用分级表的判定即可;本条的核查对象是「形状像结论的东西」,不是全部文献。
- 已知反例:真实情形:复现危机不等于心理学整体崩塌——OSC 2015 自己也报告,若不假设原结果有偏,合并原文与复现结果后仍有 68% 显著(A·摘要);且稳固级结论(损失厌恶、锚定)正是从被反复检验的文献里活下来的。反例推翻的是「一条都不能信」,推不翻「单条小样本结论要核验」。另一个方向的反例同样真实:确实有复现成功的经典(如登门槛系列),所以分级表给「存疑」留的出口是「出现预注册复现」,不是永久否决。
- 与本站的关系:这条是本站的「自我审查条目」——本站每篇引用心理学文献的条目都在 front matter 标了 evidence 与 checked,读者拿本条的三步去核本站自己的引用,结论应该一致;若发现本站某条把 C 级历史文本当实验证据用、或把未核数字写成事实,那是本站的缺陷,欢迎按 先搞清楚:你的交易对手是谁 的同款逻辑指出来源问题。
- 怎么转述给别人:跟家人朋友讲这条,不要从「心理学不可靠」讲起——从「三个数」讲起:有没有人重做过、效应多大、样本多少。对方报不出两个数,你就有了不跟的理由;对方报得出,你就有了可核的入口。这句话对本文、对短视频、对课程,同样适用。
- 关联条目:损失厌恶:亏一笔比赚一笔难受得多(稳固级 + 系数争议的完整条目)、锚定效应:成本价、高点都是锚(稳固级)、过度自信:你大概率跑不赢市场、结果偏误:按盈亏判决策是最常见的错、群体心理:人群里没有个人(同轮新条目:C 级实证的用法)、影响力:你为什么听了老师的话(同轮新条目:B 级结论的用法)、习惯回路:看盘是一种成瘾(同轮新条目:A·摘要级的用法)、多元思维模型:看市场要戴四副眼镜(心理学只是四副眼镜之一,别单押一副)、泡沫的共同结构:五次崩盘里的同一套剧本(比心理学结论更硬的一类证据:价格记录)。
- 有效期:OSC 2015 与 Hagger 2016 的数字是已发表结论,长期有效;但复现类元分析会持续更新,本站表格若要与最新证据对齐,需人工核对新的多实验室复现项目后再改,不凭印象改。判定表里所有「需人工核对」项(OSC 更细效应量、原始 d≈0.6、λ=2.25、Ranehill 样本量、卡内曼引语出处)在回溯原文前保持原状,不补写、不升格。