本研究由常霞、魏绪秋、张以迪和李泽涵共同完成,其中魏绪秋为通讯作者,所有作者均来自山东理工大学信息管理学院。该文发表于《信息资源管理学报》2025年第15卷第4期,是国家社科基金青年项目“基于文本挖掘的学术论文创新性识别研究”(21CTQ022)的研究成果之一。研究属于信息计量与科学评价领域,聚焦于学术论文创新性评价这一核心问题。学术论文作为科技创新的重要成果形式,其创新性评价对于激发科研人员创新活力、引导科研方向以及提升科研成果质量具有重要意义。然而,现有基于文献计量学的评价方法主要依赖于引用数据,往往滞后于论文发表初期的创新识别;而基于内容层面的评价研究虽然已有一定进展,但较少从知识单元重组的角度系统测度学术论文的创新性。为此,该研究提出从知识单元突破性重组与渐进性重组视角,构建学术论文创新性评价模型,并以数字人文领域为例开展实证分析。
在理论基础层面,研究将学术论文中的关键词视为知识单元。知识单元被定义为具有一定意义、可独立控制和处理的知识单位,而关键词作为学术论文核心概念或主题的抽象表达,具备独立性、复用性以及在知识体系中的核心作用,因此可作为知识单元的底层表征。研究将知识单元组合划分为三种类型:新知识单元—新知识单元组合、新知识单元—旧知识单元组合、旧知识单元—旧知识单元新组合。其中,前两种组合方式被归为知识单元突破性重组,对应学术论文的原始创新;第三种组合方式被归为知识单元渐进性重组,对应学术论文的二次创新。创新性评价模型的构建主要包括两个步骤:首先统计目标学术论文中各类知识单元组合的数量与频次,然后结合知识单元组合的涌现度计算论文的创新性得分。
在具体测度方法上,研究分别定义了三种知识单元组合的测度指标。新知识单元—新知识单元组合测度指标计算目标论文中该类组合数量占该论文全部可能知识单元组合对的比例;新知识单元—旧知识单元组合测度指标计算目标论文中该类组合数量占全部可能组合对的比例;旧知识单元—旧知识单元新组合测度指标计算目标论文中旧知识单元之间形成的新组合数量占全部可能组合对的比例。在此基础上,研究采用主成分分析确定三个属性值的权重。主成分分析结果显示,三个属性值的累积比例指数分别为0.54、0.87和1,因此分别赋予0.54、0.34和0.12的权重。进一步,研究构建了知识单元重组涌现度指标,用于衡量某类知识单元组合在统计时间窗口内出现的总频次与目标论文中该类组合数量的比值。最终,学术论文创新性评价模型由三个加权后的组合属性值与对应涌现度的乘积之和构成。
在实证分析部分,研究以中国知网数据库中主题为“数字人文”的学术期刊论文为数据来源,检索时间范围为2017年至2023年,共获得2389篇相关论文。剔除无效文献以及综述和述评类论文后,最终保留2026篇学术论文。研究选择2023年的426篇论文作为目标学术论文集,将2017年至2022年的1600篇论文作为已有学术论文集。通过自编程序,研究从目标论文中提取知识单元对集合,并与已有学术论文集中的知识单元集合进行对比,以识别新知识单元、旧知识单元及其组合类型。在数据处理过程中,对知识单元格式进行了统一,并合并了同义知识单元,例如将“ucinet”统一为“ucinet”,将“大学图书馆”统一为“高校图书馆”。
实证结果显示,知识单元重组能够有效识别数字人文领域中的新颖性知识单元组合。以“新知识单元—旧知识单元”组合为例,“chatgpt—数字人文”组合在2023年出现了6次,表明生成式人工智能技术在该领域的快速渗透。在“新知识单元—新知识单元”组合中,“明代大运河—现地研究”组合来源于对大运河历史画卷的现地研究与GIS呈现系列论文,属于该领域首次采用的研究方法组合。在“旧知识单元—旧知识单元”新组合中,“信息资源管理—档案学”组合首次在同一篇论文中被共同探讨,显示出学科边界与知识重组的新动向。通过创新性测度模型计算,创新性得分最高的论文为简锦松等人在《数字人文研究》上发表的《明钱榖〈纪行图册〉、张复〈水程图〉之大运河现地研究与GIS呈现(之一)》,其创新性得分为3.520。该论文的知识单元组合由“新知识单元—新知识单元”组合和“新知识单元—旧知识单元”组合构成,得分分别为2.200和1.320。该研究采用现地研究方法,结合GIS技术对明代大运河进行了历史地理学层面的复原与分析,在研究方法与研究内容上均表现出较高的创新性。
为了评估测度结果的有效性,研究进行了Pearson相关性分析。结果显示,学术论文创新性与“新知识单元—新知识单元”组合的相关系数为0.872,与“新知识单元—旧知识单元”组合的相关系数为0.876,均呈现高度相关性;而与“旧知识单元—旧知识单元”新组合的相关系数为0.270,呈现低度相关性。这一结果说明,新知识单元的引入及其与已有知识单元的重新连接在学术论文创新性中发挥着更为关键的作用,而旧知识单元之间的新组合虽然也贡献了创新性,但其作用相对较弱。此外,创新性评价结果的分布特征显示,数据呈左偏分布,均值低于中值和众数,符合帕累托原则,即少数论文具有较高的创新性,而多数论文创新性较低。这一结果表明该评价模型能够有效筛选出高创新性学术论文。
本研究的核心贡献在于从知识单元重组视角构建了学术论文创新性评价模型。该模型不仅能够识别不同阶段的高创新性学术论文,还能揭示论文可能应用的研究方法以及领域内的热点研究内容。与传统基于引用数据的评价方法相比,该方法能够在论文发表初期即可基于内容层面的知识单元组合进行创新性评估,具有一定的前瞻性和时效性。同时,研究将知识单元重组区分为突破性重组与渐进性重组,进一步细化了对原始创新与二次创新的测度。此外,研究提出的知识单元重组涌现度指标能够在组合频次的基础上,进一步考量知识单元组合在统计时间窗口内的集中出现程度,增强了评价模型的解释力。
然而,研究也存在一定的局限性。首先,仅聚焦于数字人文领域2017年至2023年的学术论文,模型的普适性与跨领域适用性尚需进一步验证。其次,以关键词作为知识单元的底层表征虽然具有可操作性和一定的合理性,但部分关键词可能无法完全覆盖论文的核心概念或创新点,难以全面捕捉论文的关键知识内容。未来研究可考虑扩大知识单元的抽取范围,例如从摘要、全文或方法实体中提取更细粒度的知识单元,并结合语义信息提升组合识别的准确性。
总体而言,该研究为学术论文创新性评价提供了一种基于知识单元重组的新方法,丰富了信息计量与科学评价领域的研究路径。其价值在于将创新性评价从传统的引用影响评价前移至内容层面的知识结构分析,有助于更早地识别具有潜在影响力的创新成果,为科研管理、学术评价以及知识发现提供参考。