学术研究报告

本文旨在向同行研究者介绍发表于《Economics Letters》的一项最新研究。该研究针对高维因子模型中普遍存在但常被忽视的潜在组结构识别与估计问题，提出了一套高效、严谨的计量经济学解决方案。以下是关于这项研究的详尽报告。

一、 研究作者、机构与发表信息

本研究由清华大学经济管理学院的卞玉琳与苏良军（通讯作者）合作完成。研究论文《A note on factor models with latent group structures》已正式发表于《Economics Letters》期刊第252卷（2025年），文章具体识别号为112357。论文已于2025年2月6日收到，并于同年4月19日修订，最终于5月2日在线发布。苏良军研究员的研究得到了国家自然科学基金（项目号：72133002）的资助。

二、 学术背景与研究动机

本研究隶属于计量经济学，具体聚焦于高维面板数据分析中的近似因子模型领域。自Bai和Ng（2002）以及Bai（2003）的奠基性工作以来，利用近似因子模型处理大型数据集已成为经济与金融实证研究的标准工具之一。因子模型的核心优势在于能够通过少数几个不可观测的公共因子捕捉大量变量的协同变动，从而有效降低数据维度。

然而，随着数据维度的不断攀升，模型中的待估参数（即因子载荷）数量也随之急剧增加。尽管相较于高维VAR模型已实现显著降维，但在不对异质性载荷施加任何约束的情况下，参数数量仍以较快速度发散至无穷，这不仅增加了计算负担，也可能影响估计精度与模型解释力。为应对这一“维度诅咒”，现有文献尝试对载荷矩阵施加稀疏性假设。例如，部分研究依据先验的经济理论或主观判断（如按行业部门或经济发展水平）将个体（如公司、城市）预先划分为若干组，并假设组内个体的因子载荷完全相同。然而，这种基于主观判断或粗糙分类的“硬约束”缺乏严谨的理论基础，一旦组结构设定错误，将导致严重的推断偏误甚至误导性结论。尽管如此，这些实践突显了开发能够从数据本身自动识别潜在组结构的计量工具的重要性与紧迫性。

正是在此背景下，本研究致力于解决因子模型中潜在组结构的识别与估计问题。其核心假设是：存在一个未知的、潜在的个体分组，使得同一组内所有个体对公共因子的反应模式（即因子载荷）完全相同，而不同组之间的载荷则存在差异。研究的主要目标是在因子个数已知、但组数及具体分组方式均未知的情形下，实现：1）准确估计潜在的组数量；2）一致地识别每个个体的组归属（即分类一致性）；3）在正确分组的基础上，获得因子及组特异性载荷的有效估计量，并推导其渐近分布性质。简言之，本研究旨在提供一套完全数据驱动、无需先验分组信息的严谨计量框架，以增强因子模型在高维数据分析中的稳健性与解释力。

三、 研究流程与方法细节

本研究在方法上提出了一种结合主成分分析（Principal Component Analysis, PCA）与顺序二分分割算法（Sequential Binary Segmentation Algorithm, SBSA）的两步估计流程，并辅以一个信息准则来确定组数。整个研究流程可详细分解如下：

第一步：初步PCA估计与SBSA算法识别组结构。 1. 研究基础与对象：研究考虑一个标准的近似因子模型 (X = F^0 \Lambda^{0’} + E)，其中 (X) 为 (T \times N) 的观测数据矩阵（(T) 为时间长度，(N) 为横截面个体数），(F^0) 是 (T \times R_0) 的真实因子矩阵，(\Lambda^0) 是 (N \times R_0) 的真实载荷矩阵，(E) 为 idiosyncratic 误差项。关键约束是载荷具有潜在组结构：(\lambdai^0 = \sum{k=1}^{K_0} \gamma_k^0 \cdot 1{i \in G_k^0})，即个体 (i) 的载荷取值取决于其所属的未知组别 (G_k^0)，组内共享相同的组特异性参数 (\gamma_k^0)。 2. 步骤一：获取初始估计。在已知真实因子个数 (R0)（可通过现有方法如Ahn and Horenstein (2013)一致估计）的假设下，首先对原始数据矩阵 (X) 执行标准PCA。这一步旨在获得因子 (F^0) 和载荷 (\Lambda^0) 的初步一致估计量，记为 (\tilde{F}) 和 (\tilde{\Lambda})。这是后续所有分析的基础。PCA在标准化条件 (F’F/T = I{R_0}) 和 (\Lambda’\Lambda/N) 为对角阵下进行。 3. 步骤二：应用SBSA算法进行聚类。这是本研究的核心创新方法。获得初步载荷估计 (\tilde{\Lambda} = (\tilde{\lambda}_1, …, \tilde{\lambda}_N)’) 后，研究者并未采用文献中常见的K-means或凝聚层次聚类（Agglomerative Hierarchical Clustering, AHC）算法，而是引入了由Wang and Su (2021)提出的顺序二分分割算法（SBSA） 来识别潜在组结构。该算法的灵感源于时间序列中估计结构断点的二分分割技术（如Bai (1997)），并将其创新性地拓展至横截面聚类分析。 * 算法原理简述：SBSA是一种自上而下的递归分割算法。假设已知组数 (K_0)，算法从一个包含所有个体的大组开始。在每一步，它会在当前存在的所有组中，寻找一个最优的二分分割点，使得将该组划分为两个子组后，组内载荷估计的差异最大化或目标函数（如组内平方和）的减少量最大。这个过程递归进行，直到最终得到 (K_0) 个组。相较于K-means（存在NP-hard问题且对初始值敏感）和C-LASSO（需同时进行估计与分类，计算复杂），SBSA基于第一阶段PCA估计，计算效率高，且被证明在信噪比较低时表现更优。本研究首次将SBSA系统性地应用于因子模型载荷的组结构识别。

第二步：基于信息准则确定未知组数 (K_0)。 1. 现实挑战：在实际应用中，真实组数 (K_0) 通常是未知的。因此，需要一个数据驱动的方法来一致地估计 (K0)。 2. 步骤三：构建与优化信息准则。研究者提出了一个类似Bai和Ng（2002）用于估计因子个数的信息准则。对于给定的候选组数 (K)（在一个预设的最大值 (K{\text{max}} \geq K_0) 范围内），首先使用上述SBSA算法（将 (K_0) 替换为 (K)）得到一个估计的分组结构 (\hat{\mathcal{G}}(K)) 及相应的载荷估计 (\hat{\lambda}i(K))。然后，计算该分组下的样本残差平方和 (L{NT}(K) = (NT)^{-1} \sum{t=1}^T \sum{i=1}^N (x_{it} - \hat{\lambda}_i(K)’ \hat{f}t)^2)。最终的信息准则定义为：(IC(K) = L{NT}(K) + K \rho{NT})，其中 (\rho{NT}) 是一个趋于0的调谐参数，但满足 (\delta{NT}^2 \rho{NT} \to \infty)（(\delta_{NT} = \min{\sqrt{N}, \sqrt{T}})）。估计的组数 (\hat{K}) 为使 (IC(K)) 最小化的 (K) 值（要求 (K \ge R_0)，这是一个识别条件，确保模型不是降维过度的）。

第三步：分类后估计与推断。 1. 步骤四：获得分类后估计量。在通过信息准则确定 (\hat{K}) 并应用SBSA得到最终分组 ({\hat{G}1, …, \hat{G}{\hat{K}}}) 后，研究者提出了“分类后估计量”来改进因子和载荷的估计。 * 组特异性载荷估计：对于每个估计的组 (\hat{G}_k)，其载荷的初步估计可直接取为组内个体PCA载荷估计的平均值：(\hat{\gamma}_k = \frac{1}{|\hat{G}k|} \sum{i \in \hat{G}_k} \tilde{\lambda}_i)。论文同时指出，这等价于用估计的因子 (\hat{f}t) 对组内所有个体的观测值 (x{it}) 进行 pooled regression 得到的估计量。 * 因子再估计：利用分类后得到的载荷估计 (\hat{\lambda}_i)（即个体 (i) 被赋予其所属组的 (\hat{\gamma}_k)），可以通过广义最小二乘思想重新估计因子：(\hat{f}t = [\sum{i=1}^N \hat{\lambda}_i \hat{\lambda}i’]^{-1} \sum{i=1}^N \hat{\lambda}i x{it})。 * 载荷更新：在获得新的因子估计 ({\hat{f}_t}) 后，可以再次通过 pooled regression 更新组特异性载荷估计，记为 (\check{\gamma}_k)。理论表明，(\hat{\gamma}_k) 和 (\check{\gamma}_k) 具有相同的渐近分布。

第四步：理论性质推导与模拟验证。 1. 步骤五：建立渐近理论。这是研究的核心理论贡献。研究者在标准的因子模型假设（允许 idiosyncratic 误差存在弱截面相关和序列相关）以及组结构模型的标准假设（如组间参数可分性、各组渐近占比非零等）下，严格证明了以下关键性质： * 分类一致性：当 (K0) 已知时，SBSA算法能以概率趋近于1（w.p.a.1）正确识别所有个体的真实组别。即 (\lim{(N,T)\to\infty} P(\hat{G}_k = G_k^0 \text{ for all } k) = 1)。 * 组数估计的一致性：提出的信息准则能以概率趋近于1正确选择真实组数 (K_0)。即 (P(\hat{K} = K_0) \to 1)。 * 估计量的渐近正态性：证明了分类后得到的组特异性载荷估计量 (\hat{\gamma}_k)（和 (\check{\gamma}_k)）以及再估计的因子 (\hat{f}_t) 在经过适当中心化和缩放后，服从渐近正态分布。特别地，论文指出 (\hat{\gamma}k) 的极限分布中存在一个偏差项 (b{kNT})，其阶为 (O_p(N^{-1}))。在进行统计推断时，需要对这一偏差进行修正（例如，在无截面相关的假设下，可通过分析公式或分割面板刀切法进行纠偏）。 2. 步骤六：蒙特卡洛模拟。为验证所提方法在有限样本下的表现，研究者进行了系统的模拟实验。 * 数据生成过程：设计了一个双因子模型，载荷设定最多包含三个潜在组，通过控制误差项方差来调节信噪比（SNR）。 * 对比方法：将提出的SBSA方法与近期文献中使用的AHC算法（Tu and Wang, 2024）以及经典的K-means算法进行对比。 * 评估指标：1) 组数估计准确性：报告正确估计 (K0) 的比例。2) 聚类精度：使用归一化互信息（NMI）和纯度（Purity）两个指标评估分组结构的识别准确性。3) 模型拟合效率：计算共同成分 (c{it} = \lambda_i’ f_t) 的均方误差（MSE），以评估最终估计模型的整体效率。 * 实验设计：考虑了不同的时间长度 (T)、横截面个体数 (N)、组内样本分配以及不同的信噪比，共进行了1000次独立重复实验。

四、 主要研究结果

研究的理论推导与模拟实验均取得了强有力的支持性结果。

理论结果方面：如前所述，论文成功证明了所提估计量在渐进意义上的优良性质。定理3.1在给出PCA初步估计量均匀一致性的基础上，确立了SBSA算法的分类一致性，这为后续的推断奠定了基石。定理3.2确保了信息准则在渐近意义上能够准确选出真实组数，解决了实践中最关键的模型设定问题。定理3.3则深入探讨了分类后估计量的分布性质，不仅给出了其收敛速度（达到预期的 (\sqrt{N_k T}) 和 (\sqrt{N}) 速率），还揭示了载荷估计中存在的渐近偏差，并推导了其渐近方差表达式，为后续的统计推断（如构建置信区间）提供了完整的理论框架。这些理论结果共同构成了一个从识别、估计到推断的完整计量经济学理论体系。

模拟实验结果方面：表1和表2的详细结果直观展示了所提SBSA方法的优越性能。 1. 组数与因子数估计：模拟证实，在不施加 (K_0 \ge R_0) 的识别约束时，因子数估计方法（ER）确实一致地估计 (\min(R_0, K_0))。在估计组数 (K_0) 方面，当信噪比较高时，所有方法（SBSA、AHC、K-means）表现都较好。然而，在信噪比较低（如1:2）的挑战性环境下，SBSA方法在正确估计 (K_0) 的比例上显著优于AHC和K-means算法。 随着时间维度 (T) 的增加，所有方法的性能均有提升。 2. 聚类精度与模型效率： * 聚类精度（NMI/Purity）：SBSA在识别分组结构方面通常表现最佳，其NMI和纯度值在大多数模拟设定下都等于或接近1（完美分类），且普遍高于或等于AHC和K-means的结果。特别是在信噪比中等或较低、存在三个组别的复杂情形下，SBSA的优势更为明显。 * 模型效率（MSE）：在估计共同成分的均方误差方面，SBSA与AHC的表现相当，两者均明显优于K-means算法。这表明，基于PCA初步估计后再进行聚类的思路（SBSA和AHC）相比直接对数据进行K-means聚类，能获得更精确的模型拟合效果。 * 稳健性：所有方法的性能都随着 (T) 的增大而稳定改善，而 (N) 的影响相对不那么明显，这与因子模型理论中 (T) 和 (N) 共同影响估计精度的预期相符。

这些模拟结果强有力地支持了理论结论，并凸显了SBSA方法，尤其是在信噪比不高或组结构相对复杂时的鲁棒性和优越性，验证了其作为因子模型中潜在组结构识别有力工具的应用价值。

五、 研究结论与价值

本研究的主要结论是：针对具有潜在组结构的近似因子模型，顺序二分分割算法（SBSA）结合主成分分析，是一种高效、一致且计算可行的组结构识别与估计方法。配套提出的信息准则能够一致地估计未知的组数量，而分类后估计量则具有良好的渐近性质（虽需偏差校正）。模拟证据表明，该方法，特别是当信号相对微弱时，在估计组数、识别分组以及提高模型拟合效率方面，优于AHC和K-means等现有竞争方法。

本研究的价值体现在多个层面： 1. 科学价值（理论贡献）：它首次系统地将SBSA算法引入因子模型的组结构识别框架，并为其建立了完整的渐近理论，包括分类一致性、组数选择一致性以及估计量的渐近分布。这丰富了面板数据与高维计量经济学中关于异质性建模与聚类分析的理论工具箱。 2. 方法论价值：提供了一套完全数据驱动、无需先验分组信息或额外协变量的严谨计量流程。SBSA算法兼具计算效率与估计精度，为处理高维因子模型中的异质性问题提供了一个新的、强有力的实用工具。 3. 应用价值：该研究直接回应了实证研究中（如资产定价、宏观经济预测、区域经济分析等）对客观、自动识别经济个体潜在“群落”或“异质性模式”的迫切需求。研究者无需再依赖主观或临时的分组标准，从而避免了因分组误设导致的错误推断，提高了实证研究的可靠性与可复制性。

六、 研究亮点

本研究的突出亮点在于： 1. 算法创新性：将主要用于时间序列结构突变检测的顺序二分分割算法（SBSA），创造性地移植并成功应用于横截面数据的聚类问题，为因子模型载荷的组结构识别提供了一个新颖且高效的解决方案。 2. 理论完整性：研究不仅提出了新方法，更完成了从组数选择、结构识别到参数估计与推断的整套渐近理论体系建设，论证严谨，为方法的可靠性提供了坚实的数理基础。 3. 优异的有限样本性能：通过详尽的蒙特卡洛模拟，实证展示了SBSA方法，特别是在低信噪比这一更具现实挑战性的情境下，在组数估计和聚类准确性方面的显著优势，凸显了其应用潜力。 4. 对重要现实问题的直接回应：精准切入并解决了应用因子模型时如何客观处理载荷异质性这一长期存在的痛点，架起了理论计量与实证应用之间的桥梁。

七、 其他有价值的内容

论文在最后指出了未来可能的研究方向，体现了研究的开放性与延续性。例如，可以考虑将方法拓展至时变因子载荷但具有潜在组结构的情形，或者研究在存在弱因子（因子强度随 (N, T) 增长而衰减）的设定下方法的性质。这些拓展方向具有重要的理论意义和应用前景。

卞玉琳与苏良军的这项研究是一项兼具理论深度、方法创新与应用价值的优秀工作，为高维因子分析中处理复杂异质性结构提供了重要的方法论进步。