编者按
清华大学应急管理研究基地副主任吕孝礼副教授、合作者王伟杰博士与基地博士研究生徐浩近日在Public Management Review期刊发表了题为「Who can serve as the proxy for public employees in public administration experiments? a cross-sample comparison」的实验方法研究论文。
据悉,在2019年JCR最新的SSCI公共管理类收录期刊排名中,PMR位列第2名;在2020年谷歌学术最新的公共管理国际期刊排名中,PMR位列第2名。
以下为论文介绍。
研究主题:公共管理实验研究中便利样本是否可以作为公共部门工作人员的替代样本?
实验场景:公民帮助应得性*情境压力→街头官僚自由裁量决策
比较样本:本科学生、MPA学生、在线平台样本 VS 城管执法队员
研究发现:
① 论文回应了公共管理实验研究复制性(replication)不充分的问题。公共管理实验研究近年来快速增长,但实验复制研究仍不充分(Walker, James, Brewer 2017)。实验的复制研究可以检验结论的外部效度,包括在不同群体中结论的推广性。本研究主要评估了曾发表于IPMJ一篇文章(Lu, Xu, Wang 2019)的发现是否适用于不同样本群体。
② 在方法意义上,本研究检验了公共管理实验领域的惯常做法是否可行,即在线样本与学生样本(包括MPA/MBA学生)能否替代专业人员成为了样本选择的方式之一。我们对已有公管实验研究的梳理发现,约有12.20%实验研究使用学生或在线样本来推断公共部门专业人员的行为。本文通过比较三种便利样本和街头官僚的实验结果发现,便利样本在该项实验研究中不能完全复制原有结论。结果发现公民帮助应得性对自由裁量决策的影响在四个样本中表现一致,情境压力和交互效应的影响存在较大差异。
③ 中国本土场景的跨样本比较分析。欧洲与美国的社会科学研究领域已经开展了针对学生、在线样本的比较研究,重点评估了实验结论外部效度。本研究是少数针对中国场景的探讨之一。
四个样本的实验数据结果比较
研究结果:
在原始实验与三项复制研究中,公民帮助应得性都显著降低罚款额度。
(围观群众)情境压力的影响存在差异:
原始实验:情境压力不会影响罚款,但是会减弱公民帮助应得性的影响;
本科学生实验:情境压力会显著增加罚款数量,并且在具有情境压力下,公民帮助应得性的影响更强;
MPA学生实验:情境压力会显著增加罚款数量,但不具有调节作用;
在线样本实验:情境压力不具有显著影响。
启示:
① 虽然政府工作人员与便利样本存在一些共享的心理机制(例如,公民帮助应得性的作用),但是在涉及政府工作人员的专业行为时,学生与在线平台样本并不一定是好的替代样本。因此,研究应该谨慎地使用便利样本作为专业工作人员的替代样本。
② 自我报告对工作实践的熟悉程度不能简单地用于选择实验被试。我们的研究表明在自我报告对工作熟悉程度高的在线样本(相较于全部在线样本)没有表现出差异。
③ 在线平台可以提供相对于其他数据更为多样化的样本。例如,相对于其他便利样本,在线平台样本的性别比例和年龄段分布更均衡。
④ 数据污染是在线样本面临的严重问题(约14%的受访者没有通过操纵检验),可能会影响在线平台样本结论的有效性。
⑤ 操纵检验是必要的,但是研究人员应该谨慎处理操纵检验失败的样本。本研究表明将在线平台中检验失败的样本纳入分析中,回归分析结果没有表现出差异,但已有研究表明简单删除检验失败样本会给研究发现带来偏误。
论文引用:
Xiaoli Lu, Weijie Wang & Hao Xu (2020). Who can serve as the proxy for public employees in public administration experiments? a cross-sample comparison, Public Management Review.
DOI:10.1080/14719037.2020.1864014.
论文下载链接:
https://www.tandfonline.com/doi/full/10.1080/14719037.2020.1864014?src=
相关研究:
论文|吕孝礼、徐浩、王伟杰|公民帮助应得性、情境压力与自由裁量:对中国监管型街头官僚的实验研究
Xiaoli Lu, Hao Xu & Weijie Wang(2019). Clients’ Help Deservingness, Crowd Situational Stress And Discretionary Decision-making: An Experimental Study Of Regulatory Street-level Bureaucrats In China, International Public Management Journal.
DOI: 10.1080/10967494.2019.1661892.