本文档属于类型b，即一篇综述性论文。以下是基于文档内容生成的学术报告：

本文由Bowen Jin、Gang Liu、Chi Han、Meng Jiang、Heng Ji和Jiawei Han共同撰写，分别来自伊利诺伊大学厄巴纳-香槟分校和圣母大学。该论文于2024年12月发表在《IEEE Transactions on Knowledge and Data Engineering》期刊上，题为《Large Language Models on Graphs: A Comprehensive Survey》。本文的主题是系统回顾大语言模型（LLMs）在图数据上的应用场景和技术，探讨了LLMs在图推理、图表示学习等方面的潜力。

主要观点与内容

1. 图场景的分类

本文首先将LLMs在图数据上的应用场景分为三类：纯图（Pure Graphs）、文本属性图（Text-Attributed Graphs）和文本配对图（Text-Paired Graphs）。纯图是指不包含文本信息的图结构，如交通图和电力传输图；文本属性图是指节点或边与文本信息相关联的图，如学术网络和电子商务网络；文本配对图则是指整个图结构与文本描述配对的图，如分子图与分子描述。

支持证据：本文通过图1展示了这三种场景的示例，并详细解释了每种场景的特点和应用。例如，学术网络中，论文和作者节点与文本信息相关联，而分子图则与描述其性质的文本配对。

2. LLMs在图上的技术分类

根据LLMs在图数据中的角色，本文将其技术分为三类：LLM作为预测器（LLM as Predictor）、LLM作为编码器（LLM as Encoder）和LLM作为对齐器（LLM as Aligner）。

• LLM作为预测器：LLM被用作最终的预测组件，输出图表示或预测结果。这类方法可以进一步分为“图作为序列”、“图增强的LLM”和“图感知的LLM微调”。例如，图作为序列的方法将图结构转换为LLM可以理解的序列输入，而图增强的LLM则通过修改LLM架构使其能够同时编码文本和图结构信息。

• LLM作为编码器：LLM被用作初始的文本编码器，提取文本特征作为图神经网络（GNN）的输入。GNN则负责进一步编码图结构信息，生成节点或边的最终表示。这类方法通常采用LLM-GNN级联架构。

• LLM作为对齐器：LLM和GNN被同时用于文本编码和图结构编码，并通过对比学习等方式对齐两者的潜在空间。这类方法可以进一步分为“预测对齐”和“潜在空间对齐”。

支持证据：本文通过图2展示了这些技术的分类，并详细讨论了每种技术的优缺点。例如，LLM作为预测器的方法在处理复杂图推理任务时表现出色，而LLM作为编码器的方法则更适合处理文本属性图。

3. 纯图上的LLM应用

本文详细探讨了LLMs在纯图上的推理能力。纯图是图论中的基本表示形式，广泛应用于计算机科学中的算法问题。尽管传统的图神经网络（GNNs）在处理图结构时表现出色，但在解决复杂的图推理问题时，LLMs的推理能力可能更具优势。

支持证据：本文列举了多项研究，表明LLMs在处理图连通性、最短路径等问题时表现良好，但在处理更复杂的NP完全问题时仍存在局限性。例如，LLMs可以通过链式推理（Chain-of-Thought, CoT）逐步解决图推理问题，但在处理汉密尔顿路径查找等复杂任务时效果不佳。

4. 文本属性图上的LLM应用

文本属性图广泛存在于现实世界中，如学术网络、电子商务网络等。在这些图上，LLMs被用于同时编码文本信息和图结构信息。本文总结了多种方法，包括LLM作为预测器、编码器和对齐器的应用。

支持证据：例如，InstructGLM方法通过设计模板来描述局部图结构，并通过指令微调进行节点分类和链接预测。GraphGPT则通过训练文本基础的GNN来生成图表示，并将其与文本表示对齐。

5. 文本配对图上的LLM应用

文本配对图在科学领域中尤为常见，如分子图与分子描述。本文讨论了LLMs在这些图上的应用，特别是分子图的表示学习与生成任务。

支持证据：例如，SMILES-BERT和Chemformer等模型通过将分子图线性化为文本序列，利用LLMs进行分子性质预测和分子生成。这些方法在分子生成任务中表现出色，但在处理复杂的分子结构时仍存在挑战。

6. 资源与应用

本文总结了LLMs在图上应用的数据集、开源实现和实际应用。例如，Hugging Face和PyTorch Geometric等开源库为LLMs和GNNs的研究提供了丰富的工具和资源。

支持证据：本文通过表格列出了多个数据集，并详细介绍了它们在节点分类、链接预测等任务中的应用。例如，学术网络数据集被广泛用于论文推荐和作者识别任务，而分子图数据集则用于分子性质预测和生成任务。

7. 未来研究方向

本文提出了LLMs在图上应用的未来研究方向，包括更好的基准数据集、更广泛的任务空间以及更高效的LLMs应用。例如，未来的研究可以探索LLMs在异构图和时空图上的应用，以及如何设计更高效的图线性化方法。

支持证据：本文指出，当前的研究主要集中在同质图上，未来的研究可以扩展到更复杂的图结构。此外，LLMs在处理大规模图数据时的效率问题也需要进一步解决。

论文的意义与价值

本文系统回顾了LLMs在图数据上的应用场景和技术，为研究者提供了全面的技术框架和应用指南。通过分类和总结现有的方法，本文为未来的研究指明了方向，特别是在图推理、图表示学习和图生成任务中，LLMs的潜力得到了充分展示。本文不仅为计算机科学和机器学习领域的研究者提供了宝贵的参考，也为其他领域的学者进入这一快速发展领域提供了入门指南。

总结

本文通过系统分类和详细讨论，全面回顾了LLMs在图数据上的应用。其核心贡献在于提供了LLMs在图上应用的技术框架，并指出了未来的研究方向。本文的研究成果不仅具有重要的学术价值，也为实际应用提供了理论支持。