本文档是《Academy of Management Journal》(AMJ)在2023年(第66卷第2期)发表的一篇编者社论(editorial),由Georg von Krogh(瑞士苏黎世联邦理工学院)、Quinetta Roberson(美国密歇根州立大学)和Marc Gruber(瑞士洛桑联邦理工学院)三位学者共同撰写。文章的主题是探讨人工智能(AI),特别是机器学习(Machine Learning, ML)为管理学研究领域带来的新机遇、相关挑战,以及如何利用ML来构建和检验理论。文章旨在鼓励并指导学者们在AMJ期刊上开展和发表高质量的、利用机器学习方法的管理学研究。
文章的核心论点在于,AI和ML不仅是值得研究的组织现象,更是能够拓展管理学者方法论工具箱的强大工具,可用于处理海量、多样的数据,从而发现新模式、进行预测,并最终构建和检验管理理论。文章系统地阐述了ML的益处与挑战,回顾了应对挑战的计算机科学新进展,并提出了一个用于指导理论构建的ML研究策略分类框架,最后为希望在AMJ发表相关研究的学者提供了具体的行动指南。
机器学习(ML)方法为管理学研究带来的益处 文章首先阐述了ML方法相较于传统统计方法的优势。一个关键益处在于其统计灵活性,即能够使用算法将复杂的功能形式拟合到数据集(而不会过度拟合),并且在新样本(out-of-sample)上也能表现良好。这与侧重于从样本推断总体(population)的经典统计学不同,ML的目标是寻找具有泛化能力的预测模式。这一特性有助于研究者在非常大的样本中仔细审视效应大小。
文章将当前的ML算法分为三大类进行介绍: 1. 强化学习(Reinforcement Learning):这类算法能自主学习在环境中达成目标的行为路径。例如,它是自动驾驶汽车适应交通模式以抵达目的地,或高级象棋程序根据对手棋步进行学习和适应的基础。 2. 无监督学习(Unsupervised Learning):这类算法在没有指定学习目标的情况下,学习发现输入数据(常称为“特征”)中的模式。其优点是不一定需要经过标注和整理的数据,因此非常适用于聚类或降维。例如,无监督学习算法可以帮助研究者基于庞大而复杂的特征集,识别采用相关商业模式的企业群体、行业内追求相似战略的企业,或在平台上提供竞争性数字服务的公司。 3. 监督学习(Supervised Learning):这是社会科学中最常见的ML类型。这类算法学习如何建立输入(“特征”X)与输出(“目标”Y)之间的关联映射。对于分类任务(Y是类别变量),ML可用于根据特征对数据进行分类,例如基于交易时间、频率、地点、金额等数据将信用卡交易分类为欺诈性或非欺诈性。对于回归任务(Y是连续变量),监督学习算法可以执行复杂的回归任务,例如根据广泛的企业和行业数据预测企业绩效。
应用机器学习(ML)方法面临的挑战 在阐述益处的同时,文章也客观地指出了应用AI和ML方法所伴随的伦理与技术挑战。 1. 数据获取的限制:大多数ML算法需要大量数据才能有效工作。然而,管理学者常常面临数据与模型匹配的挑战。许多公司将数据视为需要通过技术和社交机制严加保护的战略资产,因此关键数据的可获得性可能决定研究议程所能探讨的问题类型。此外,研究者获取用于训练和评估模型的结构化或标注数据的能力也可能受限。虽然可以采用无监督学习方法或手动标注数据集来训练模型,但当数据量增长时,此类标注容易出错。数据获取问题持续构成使用ML方法、进而研究相关现象或发展相关理论的障碍。 2. 人类偏见在算法中的强化:ML算法可能受到人类偏见的影响,并且这些偏见会在未来的数据集和模型中被复制和强化。研究者可能倾向于选择自己熟悉的算法,而非解决当前任务所需的算法,这可能导致产生有缺陷的模型,严重影响预测或模式发现的准确性。例如,基于ML的候选人筛选系统可能因训练数据(来自以往候选人库)中嵌入的隐性偏见而产生歧视性结果。算法也可能因数据结构而产生偏见,因为“正确”算法的选择取决于可用数据及其处理方式。此外,用于评估ML模型的性能指标若未能检测到类别不平衡,反而可能显示出较高的目标预测性能,从而造成相对于其他模型的准确性假象。 3. 相关成本考量:处理海量且多样化的数据集通常使传统ML方法效率降低,并对研究者理解此类数据构成重要限制。此外,ML算法复杂的内部运作机制常被认为是不透明的“黑箱”。虽然通过教育和学习可以部分解决这一认知挑战,但在许多情况下,研究者自身所需的培训量以及模型训练所需的数据量,使得深入研究其详细功能在经济上效率低下。因此,从事ML研究所需的努力对不常使用该方法的研究者构成了挑战。
应对挑战的计算机科学新进展 尽管存在上述挑战,文章指出计算机科学的最新进展可以帮助管理学者应对数据获取、偏见和成本问题。 * 应对数据获取:联邦学习(Federated Learning) 是一种在不交换数据的情况下,利用存储在多个独立服务器上的数据训练模型的技术。例如,可以利用多个地方的闭路电视数据来监测和预测交通模式,同时不泄露敏感个人信息。迁移学习(Transfer Learning) 则是一种将预训练模型作为新任务建模起点的ML方法,这在数据保护至关重要的行业(如国防和制药)变得越来越重要。 * 应对算法偏见:科学家们已开始开发可解释人工智能(Explainable AI) ,它可以在保持预测准确性的同时,向研究者展示模型的演化过程,插入解释和推理步骤。虽然这些解释通常仅限于对数据集局部区域的预测,但研究者也在开发鲁棒的方法来整合它们,从而使其对整个数据集具有普适性。 * 降低学习成本:科学家们开发了自动机器学习(AutoML) 系统,以支持学习模型的选择和评估。这类系统能自动调整超参数,从而消除了许多原本需要大量研究经验的复杂手动任务。尽管手动迭代构建ML模型可能是了解模型选择中机遇与威胁的最佳方式,但AutoML对于拓展研究者的方法组合具有广阔前景。
在AMJ中运用机器学习(ML)策略构建与检验理论 考虑到AMJ的使命是发表检验、扩展或构建管理理论的实证研究,文章提出了一个基于所研究现象的连续性和理论连贯性来区分四种主要ML研究策略的分类框架(见表1),旨在指导学者将ML应用于管理研究。 1. 预测性选择(Predictive Selection):适用于现象连续(数据允许进行预测)但理论碎片化(存在多种竞争性理论或变量)的情况。ML可用于检验这些先验理论(特征)相对于因变量(目标)的预测强度。例如,He等人(2020)研究开源软件项目如何解决关于知识产权选择的集体争议。他们从现有理论和观察中手动识别了11个先验特征,利用ML算法检测这些自变量与争议解决结果之间的稳健关联,最终确定了几个关键预测因素,并在此基础上构建了治理争议解决的理论。 2. 预测性精炼(Predictive Refinement):适用于现象连续且理论相对整合(解释现象机制的理论已逐渐融合,变量和测量相对成熟)的情况。ML方法可以帮助研究者完善因果推断、进行敏感性分析、精炼测量,最终目标是精炼理论。例如,Rathje和Katila(2021)利用监督学习进行倾向得分匹配,以研究企业的投资决策及其对技术赋能性质的影响,这种方法使他们能够考虑更大范围的潜在混杂维度,并避免模型过度拟合。 3. 形成性发现(Formative Discovery):适用于现象不连续(数据集不允许进行准确预测)且理论碎片化的情况。ML可以支持形成性发现,即识别数据集中有助于深入理解现象的模式,从而构建前所未有的、通常是前理论的理解。例如,Wang等人(2023)应用无监督学习技术(结构主题建模)分析《财富》1000强公司的多元化声明,识别主题模式,进而研究这些声明与员工多元化评价之间的关联,为理解不成熟的现象提供了新的概念见解。 4. 还原性发现(Reductive Discovery):适用于现象不连续但理论相对整合的情况。还原性发现策略有助于识别数据中显示现有理论普适性局限的模式。ML可以揭示特征之间前所未有的关联,从而质疑现有理论解释的适用性,并提供新的学习机会。例如,Belikov等人(2022)使用ML和贝叶斯演算来预测基于先前出版物数据提取的稳健科学主张,识别了能够预测跨情境可复制性的一组基本特征。
运用机器学习(ML)构建与检验理论的示例步骤 为了具体说明如何进行严谨的ML研究,文章以监督学习为例,详细阐述了构建学习模型的三个步骤: 1. 数据管理(Data Management):研究者需明确任务和相关数据源,收集和分析数据(识别分布、偏度、类别不平衡等)。随后将数据分为用于迭代改进模型的“训练数据”和用于评估模型预测能力的“保留数据”(常按80:20或70:30比例划分),并处理异常值和缺失值。接着进行特征工程(Feature Engineering) ,即构造、推导和转换数据,使其成为模型可用的输入特征。这一步骤至关重要,需要结合现有文献对特征进行合理性检验。 2. 学习(Learning):研究者为预测任务选择性能指标(如对数损失分数)。然后根据数据类型、数据大小、预测准确性、模型可解释性、特征集范围等选择适合的ML算法。选定算法后,通过搜索超参数(如树的数量、树的深度、批次大小、学习率)来选择和优化模型,这一过程称为“调参”。算法的选择以及超参数的包含与调优,在ML应用中至关重要。 3. 评估(Evaluation):研究者检验所选模型在保留数据上相对于设定性能指标的预测表现。这一步涉及分析模型误差,旨在让研究者了解模型在训练数据之外的泛化能力。报告评估结果对于未来基于相同或相似数据集推进研究是必要的。评估的一个重要方面还包括在真实世界环境中检查模型的可用性和缺陷。
对研究者的行动呼吁 文章最后向目标在AMJ发表AI和ML相关研究的作者提出了具体建议,以提高稿件被采纳的可能性: * 明确研究动机:需清楚说明为何使用ML来发现模式、构建和检验理论。 * 深化数据参与:应展示对数据的深入理解和参与,全面熟悉手头数据,并特别关注特征工程——说明从原始数据中可以提取哪些与预测目标相关的特征。 * 审慎处理参数与偏见:考虑参数选择,并反思偏见如何影响这些选择以及对研究结果的解释。确保训练数据集能最好地代表总体。应在正文或在线附录中详细解释这些选择及特征工程的其他方面。 * 共享代码:鼓励在研究过程中分享代码,并通常建议将代码发布在可公开访问的存储库中。 * 加强数据管理:除了遵循美国管理学会设定的伦理标准,应用这些方法处理私人和公开个人数据的学者必须保障数据安全与隐私。例如,应匿名化数据,并制定全面的数据管理计划以保护数据,避免任何隐私泄露。
结论与意义 本文的价值在于,它并非一篇单纯介绍技术的文章,而是一篇由资深学者撰写的、旨在引导一个传统社会科学领域(管理学)拥抱前沿计算方法(AI/ML)的纲领性文献。其重要意义体现在: 1. 权威性与指导性:作为顶级管理学期刊AMJ的编者社论,它代表了期刊编辑部对新兴研究范式的官方认可和积极倡导,为管理学者指明了方法创新的方向,并提供了具体的发表指南,具有很高的实践指导价值。 2. 系统性与平衡性:文章没有一味鼓吹ML的优势,而是系统、客观地分析了其带来的机遇(统计灵活性、处理大数据的能力、多种算法类型)与挑战(数据获取、算法偏见、成本与透明度),并介绍了应对挑战的技术进展(如联邦学习、可解释AI、AutoML),展现了全面的视角。 3. 理论关联框架:文章提出的核心贡献——基于现象连续性与理论连贯性的ML研究策略四象限框架(预测性选择、预测性精炼、形成性发现、还原性发现)——极具创新性和启发性。它将ML技术与管理学的核心使命(理论构建与检验)紧密结合起来,为学者们如何不是“为用ML而用ML”,而是有目的地运用ML来推进理论发展,提供了一个清晰的概念地图和行动路线图。 4. 操作性强的建议:从具体的研究步骤(数据管理、学习、评估)到投稿注意事项(数据参与、代码共享、伦理考量),文章提供了非常详尽和具有可操作性的建议,降低了学者们进入该领域的门槛。 5. 激发研究灵感:文章通过引用多个已发表的高质量ML管理学研究实例(如He等,2020;Rathje & Katila, 2021;Wang等,2023),展示了ML在解决各类管理问题(如治理争议、技术投资、组织多样性)中的实际应用和潜力,能够有效激发读者的研究灵感。
这篇社论是管理学研究者,尤其是对利用计算社会科学方法、大数据和人工智能感兴趣的研究者,不可或缺的阅读材料。它标志着管理学研究方法演进的一个重要节点,并为其未来发展提供了重要的框架和指引。