公共管理研究对控制变量的使用正确吗?——基于系统文献综述的发现Have We Controlled Properly in Public Administration Research? Findings Based on a Systematic Literature Review
韩啸,马亮,陈睿菲
摘要(Abstract):
定量研究无疑是公共管理学科重要的研究范式,但一直以来不乏对其批评之声,学界争论的焦点之一是定量研究的有效性正面临来自科学性危机的挑战。在定量研究中,使用统计方法控制额外变量的效应,是提高核心变量之间关系估计精度的主要方式。然而,由于标准不明或操作疏忽,实践中研究人员对控制变量的使用存在诸多错误,严重威胁研究发现的有效性。本研究聚焦统计控制应用中的规范性问题,对2014—2023年发表于8本公共管理学术期刊的760篇论文展开分析,重点关注控制变量的选择、分析和结果报告存在的不足。研究发现,控制变量的使用缺乏理论依据,其选择具有同质化倾向,存在缺少多重共线性检验和比较分析结果、报告完整性缺失等问题。本研究针对如何正确使用控制变量提出建议,以期提高公共管理研究的信度和效度。
关键词(KeyWords): 公共管理;控制变量;同质化;遗漏;偏差;效度
基金项目(Foundation): 国家社会科学基金重大项目“数字政府建设成效测度与评价的理论、方法及应用研究”(项目批准号:23&ZD080);; 广东省社会科学规划一般项目“广东省政府首席数据官政策效应、作用机制与优化路径研究”(项目批准号:GD25CGG08)的资助
作者(Author): 韩啸,马亮,陈睿菲
参考文献(References):
- 曹江雨,王忠军,唐云,等.2020.组织管理研究中的控制变量使用:问题与策略[J].中国人力资源开发,37(8):48-65.Cao J Y,Wang Z J,Tang Y,et al.2020.Control variable usage in organizational and management research:Problems and recommendations[J].Human Resources Development of China,37(8):48-65.(in Chinese) 陈云松,吴晓刚,胡安宁,等.2020.社会预测:基于机器学习的研究新范式[J].社会学研究,(3):94-117.Chen Y S,Wu X G,Hu A N,et al.2020.Social prediction:A new research paradigm based on machine learning[J].Sociological Studies,(3):94-117.(in Chinese) 范如国.2018.公共管理研究基于大数据与社会计算的方法论革命[J].中国社会科学,(9):74-91,205.Fan R G.2018.The big data/social computing methodological revolution in public management studies[J].Social Sciences in China,(9):74-91,205.(in Chinese) 冯帅帅,罗教讲.2021.社会学量化研究控制变量方法的反思与超越[J].深圳社会科学,4(6):95-105,115.Feng S S,Luo J J.2021.Rethinking and transcending the method of controlling variables in sociological quantitative research[J].Social Sciences in Shenzhen,4(6):95-105,115.(in Chinese) 李辉,杨肖光.2019.市场化与腐败类型的地区差异——基于职务犯罪起诉书数据的多层分析[J].公共行政评论,12(3):139-155,193.Li H,Yang X G.2019.Marketization and structures of corruption:A multilevel analysis based on data of duty-crime indictment[J].Journal of Public Administration,12(3):139-155,193.(in Chinese) 李珍,赵青.2015.我国城镇养老保险制度挤进了居民消费吗?——基于城镇的时间序列和面板数据分析[J].公共管理学报,12(4):102-110,158.Li Z,Zhao Q.2015.Has urban old-age insurance crowded-in household consumption in China?—An empirical study based on time-series and panel data analysis[J].Journal of Public Management,12(4):102-110,158.(in Chinese) 刘润泽,巩宜萱.2020.回顾与反思:定量研究在公共管理学科的滥用[J].公共管理学报,17(1):152-158,176.Liu R Z,Gong Y X.2020.Review and reflection:The misuse of quantitative research in public administration[J].Journal of Public Management,17(1):152-158,176.(in Chinese) 刘闻博,王丛虎.2024.公共管理研究中的机器学习方法——原理、应用及挑战[J].公共管理与政策评论,13(5):152-168.Liu W B,Wang C H.2024.Machine learning in public administration research:Tutorial,application and challenges[J].Public Administration and Policy Review,13(5):152-168.(in Chinese) 马亮.2017.实证公共管理研究日趋量化:因应与调适[J].学海,(5):194-201.Ma L.2017.The increasing quantification of empirical public management research:Responses and adaptations[J].Academia Bimestris,(5):194-201.(in Chinese) 马亮.2024.智能时代的公共管理研究向何处去?——基于研究方法的反思与前瞻[J].行政论坛,31(3):42-50.Ma L.2024.Where is the future of public administration research in the era of artificial intelligence—Reflection and prospection based on methodology[J].Administrative Tribune,31(3):42-50.(in Chinese) 迈尔斯,休伯曼.2008.质性资料的分析:方法与实践[M].张芬芬,译.重庆:重庆大学出版社.Miles M B,Huberman A M.2008.Analysis of qualitative data:Methods and applications[M].Zhang F F,trans.Chongqing:Chongqing University Press.(in Chinese) 王培杰,彭雨馨,张友浪.2022.政策设计、政策认同和生育偏好——基于“独生子女”政策的反馈效应分析[J].公共行政评论,15(5):27-48,196-197.Wang P J,Peng Y X,Zhang Y L.2022.Policy design,policy support,and fertility preference:The feedback effects of China's “One-child” policy[J].Journal of Public Administration,15(5):27-48,196-197.(in Chinese) 王印红,王刚.2013.对公共管理研究方法中定量推崇的批判[J].重庆大学学报(社会科学版),19(1):64-71.Wang Y H,Wang G.2013.Criticism of preferring quantitative research methods of public administration[J].Journal of Chongqing University (Social Science Edition),19(1):64-71.(in Chinese) 徐换歌,王峰.2022.纵向干预下的城市群协作治理何以降低雾霾污染?[J].公共管理与政策评论,11(3):65-79.Xu H G,Wang F.2022.How does collaborative governance of urban agglomerations under vertical intervention reduce haze pollution?[J].Public Administration and Policy Review,11(3):65-79.(in Chinese) 颜海娜,蔡立辉.2008.公共行政学研究方法:问题与反思[J].公共管理学报,5(4):109-115.Yan H N,Cai L H.2008.The research method of public administration:Question and reflection[J].Journal of Public Management,5(4):109-115.(in Chinese) 郁建兴,高翔,王诗宗,等.2023.数字时代的公共管理研究范式革命[J].管理世界,39(1):104-115.Yu J X,Gao X,Wang S Z,et al.2023.The research paradigm shift of public management in the digital era[J].Journal of Management World,39(1):104-115.(in Chinese) 于文轩,樊博.2020.公共管理学科的定量研究被滥用了吗?——与刘润泽、巩宜萱一文商榷[J].公共管理学报,17(1):159-166,176.Yu W X,Fan B.2020.Is quantitative research methods abused in public management research?[J].Journal of Public Management,17(1):159-166,176.(in Chinese) Becker T E.2005.Potential problems in the statistical control of variables in organizational research:A qualitative analysis with recommendations[J].Organizational Research Methods,8(3):274-289. Becker T E,Atinc G,Breaugh J A,et al.2016.Statistical control in correlational studies:10 essential recommendations for organizational researchers[J].Journal of Organizational Behavior,37(2):157-167. Bernerth J B,Aguinis H.2016.A critical review and best-practice recommendations for control variable usage[J].Personnel Psychology,69(1):229-283. Bernerth J B,Cole M S,Taylor E C,et al.2018.Control variables in leadership research:A qualitative and quantitative review[J].Journal of Management,44(1):131-160. Carlson K D,Wu J P.2012.The illusion of statistical control:Control variable practice in management research[J].Organizational Research Methods,15(3):413-435. Cook T D,Campbell D T.1979.Quasi-experimentation:Design & analysis issues for field settings[M].Chicago:Rand McNally College Publishing Company. Curado C,Oliveira M,Schniederjans D G,et al.2024.Control variable use and reporting in operations management:A systematic literature review and revisit[J].Management Review Quarterly,74(3):1809-1839. Lenz G S,Sahn A.2021.Achieving statistical significance with control variables and without transparency[J].Political Analysis,29(3):356-369. Li M X.2021.Uses and abuses of statistical control variables:Ruling out or creating alternative explanations?[J].Journal of Business Research,126:472-488. Newey W,Stouli S.2021.Control variables,discrete instruments,and identification of structural functions[J].Journal of Econometrics,222(1):73-88. Shiau W L,Chau P Y K,Thatcher J B,et al.2024.Have we controlled properly?Problems with and recommendations for the use of control variables in information systems research[J].International Journal of Information Management,74:102702. York R.2018.Control variables and causal inference:A question of balance[J].International Journal of Social Research Methodology,21(6):675-684.
- (1)Ⅰ类错误(Type Ⅰ Error)是指拒绝了正确的、成立的假设,也称为假阳性(false positive)。Ⅱ类错误(Type Ⅱ Error)是指接受一个实际上是错误的、不成立的假设,也称为假阴性(false negative)。 (2)这里需要说明的是,笔者采用绝对值进行计算,没有考虑期刊创刊时间、期刊创刊以来的总体发文量以及期刊类型(如月刊、双月刊和季刊等)。因此,这不能说明某一期刊对定量类型文章的倾向。 (3)2014—2018年共有102篇需要使用固定效应模型的文章,其中85篇未使用;2019—2023年共有217篇需要使用固定效应模型的文章,其中149篇未使用;2014—2023年总计有319篇需要使用固定效应模型的文章,其中234篇未使用。 (4)2014—2018年共有65篇涉及数据插补的文章,其中57篇未规范报告;2019—2023年共有131篇涉及数据插补的文章,其中123篇未规范报告;2014—2023年总计有196篇数据插补文章,其中有180篇未规范报告。