本研究由中山大学信息管理学院的王雅琪与山东理工大学信息管理研究院的曹树金合作完成，论文发表于《情报资料工作》2023年9月第44卷第5期。该研究属于信息资源管理领域，聚焦学术成果创新评价这一前沿方向，旨在系统探讨以chatgpt为代表的生成式人工智能（generative artificial intelligence）用于学术论文创新性评价的效果与可行性。研究背景源于传统同行评议在应对学术文献爆炸式增长时存在的效率瓶颈与非公正性、非客观性问题，而深度学习技术尤其是大语言模型（large language model）的发展为创新评价提供了新的技术路径。作者通过模拟真实论文创新性评价需求和应用场景，在生命科学、细胞免疫、市场营销、经济学、人工智能、信息资源管理六个研究领域开展了超过24轮完整实验，累计提问超过300次，获得问答文本超33万字符，并采用内容分析法（content analysis）对chatgpt生成的评价文本进行深入分析，以揭示其评价过程、标准与可行性。

研究设计包含六个递进式实验任务，逐步检验chatgpt在不同复杂度和信息完整度条件下的论文创新性评价能力。任务一针对单篇未发表论文进行创新性评价，以2023年3月网络首发的论文“risnet:无监督真实场景图像拼接网络”为对象，仅提供摘要。结果表明chatgpt能够通过自然语言理解提取研究领域与方向，结合训练数据中的领域知识和研究进展进行对比，形成逻辑清晰的创新性判断。任务二检验chatgpt推荐创新性相近论文的能力，结果显示其生成的论文信息存在部分或完全错误，甚至出现虚假论文（hallucinated papers），说明当论文重要信息缺失时，评价结果的真实性会明显下降。任务三进行多篇论文创新性对比，以两篇信息准确的论文为例，chatgpt能够完成跨领域比较，并且其认为更具创新性的论文通常具有更高的被引频次（citation frequency），这与其将引用量作为评价标准之一相符。任务四要求chatgpt对十篇人工智能领域论文进行创新性评分，结果显示评分存在10%至15%的浮动，且简单引入altmetrics指数（alternative metrics）进行外部验证效果不佳，说明稳定性和外部指标适配性仍需改进。任务五针对可获取全文的单篇论文进行评价，发现信息完整时chatgpt的评价格度更加全面，涵盖研究问题、创新点、实验结果、参考文献、文章质量和影响力等多个维度。任务六测试chatgpt提出进一步创新建议的能力，以信息资源管理领域两篇论文为例，三位领域专家评估后认为其总结基本正确，创新建议具有较高参考价值，能够结合学科常见研究方法和热点推断可能不足。

通过对评价文本的内容分析，研究提炼出chatgpt在论文创新性评价中遵循的基本步骤，即“分析关键信息—理解全文内容—评价创新点—对比差异—得出结论”。其最普遍采用的评价标准包括四个方面：一是拓展或改进已有知识，二是存在新颖性和独创性，三是解决实际问题，四是促进领域发展。这些标准既关注论文内容维度的新颖性（novelty），也关注有用性（usefulness）和学术影响力，符合创新性判断的双重要求。研究发现chatgpt的评价知识体系与信息资源管理领域已有研究成果高度相似，例如结合引用指标、论文内容分析、领域知识背景、研究热点和应用效果等进行综合评价，但同时存在一定局限，如未充分使用引证意图（citation intent）、引用情感（citation sentiment）等更精细的评价维度。在不同学科领域间，chatgpt的评价标准既表现出共性，如普遍包括研究对象、理论思想、方法技术、应用价值和学术贡献五个角度，也体现出学科特色，例如经济学强调可持续性和可扩展性，人工智能强调实验可重复性和数据共享，细胞免疫学强调实验设计科学性和统计学规范。这表明chatgpt能够根据领域特征动态调整评价标准，但其内部尚未形成一套稳定的方法论将这些知识系统组织起来。

在可行性分析部分，研究从稳定性、准确性和真实性三个维度评估了chatgpt用于论文创新性评价的适用性。稳定性方面，chatgpt完成评价的基本步骤稳定，但每次使用的具体评价标准存在选择性波动，导致评分出现一定浮动。准确性方面，研究通过复现过往四篇中文论文中的实验数据，利用chatgpt对相同文献进行二次评价并比较结果，发现在单案例内论文间的创新性排名与原文结果一致，说明评价具有较高准确性；但当评价标准与原研究模型差异较大时，结果会出现明显偏差，不过chatgpt能够根据用户给定的评价维度重新评价，表明其具备遵循个性化标准的能力。真实性方面，输入的论文相关信息越充分，评价结果的真实性越高；在论文推荐任务中，人工智能领域因训练语料丰富而真实性最高，其他领域则真实性偏低。研究还指出，chatgpt无法分辨预训练信息的来源与真实性，因此用户应尽可能提供论文摘要、结论等重要信息以提升评价效果。

本研究的核心结论是：chatgpt在多个学科领域均能完成单篇或多篇论文的创新性评价，无需预先训练即可对论文与学科过往发展进行纵向对比，并在多篇论文间进行横向比较；其采用的评价标准与方法基于现有论文创新性评价知识，具有较好的综合性、科学性与客观性，且注重对论文文本内容的分析，能够在一定程度上降低人为主观因素的影响；chatgpt能够针对单篇论文给出进一步创新建议，有助于科技创新发展。但chatgpt独立用于论文创新性评价仍存在稳定性、准确性和真实性方面的不足，现阶段更适合作为高效的论文创新性评价辅助工具。随着提示工程（prompt engineering）的发展、互联网访问权限的开启以及学术数据库的开放获取，chatgpt的这些不足预计将逐渐得到弥补。研究还强调，信息资源管理领域作为论文创新性评价知识的重要贡献者，未来应加强对评价标准、方法与体系的深入研究，为chatgpt类大语言模型提供更坚实的知识基础，同时应加强提示工程应用研究，以提升生成式人工智能在创新评价任务中的完成效果。