这篇文档属于类型a,即报告了一项原创研究。以下是对该研究的学术报告:
该研究由Hasan Abu-Rasheed、Constance Jumbo、Rashed Al Amin、Christian Weber、Veit Wiese、Roman Obermaisser和Madjid Fathi共同完成。研究机构包括德国锡根大学的知识系统与知识管理研究所(Institute for Knowledge-Based Systems and Knowledge Management)、嵌入式系统研究所(Institute for Embedded Systems)以及数字健康科学与生物医学系(Department of Digital Health Sciences and Biomedicine)。该研究发表在2025年IEEE全球工程教育会议(IEEE Global Engineering Education Conference, EDUCON2025)上,会议于2025年4月22日至25日在英国伦敦举行。
该研究的主要科学领域是高等教育中的个性化学习推荐系统,特别是如何利用大语言模型(Large Language Models, LLMs)和知识图谱(Knowledge Graph, KG)来完成课程和领域建模。研究的背景在于,尽管个性化学习为学习者提供了巨大的潜力,但现代高等教育实践需要更深入地考虑领域模型和学习背景,以开发有效的个性化算法。该研究的目标是通过LLM辅助的知识图谱完成,创建一个个性化的学习路径推荐系统,帮助学生在不同学院和机构之间整合学习模块。
该研究包括以下几个主要步骤:
定义高等教育本体论(Ontology):
研究团队首先定义了一个高等教育本体论,以容纳不同学习项目和大学的学习内容。该本体论包括三个模型:课程模型(Curriculum Model)、领域模型(Domain Model)和用户模型(User Model)。课程模型用于表示大学定义的教育内容,领域模型用于建模知识领域的高层次抽象,用户模型则用于表示教育环境中的利益相关者,特别是学生。
自动内容提取与分类:
研究团队开发了一个自动化提取和分类管道,支持教师从学习材料中提取主题和子主题。该管道首先从学习材料(如讲座幻灯片、手稿和视频)中提取文本内容,然后使用OpenAI的Whisper模型进行视频转录。提取的文本内容随后被输入到LLM(如GPT-4)中,进行主题和子主题的提取与分类。
人类验证自动提取结果:
为了确保自动提取和分类的高质量,研究团队采用了“人在回路”(Human-in-the-Loop)的方法,即教师验证智能算法的预测结果,并最终决定提取的概念及其分类。教师还负责提供LLM提示的上下文信息,以确保提取和分类的准确性。
知识图谱构建:
在教师验证后,研究团队构建了知识图谱。该过程包括两个步骤:首先,根据基础本体论创建图节点,并用学习内容、领域和用户的数据填充这些节点;其次,创建图关系,包括基础本体论中的层次结构和不同讲座主题之间的语义相似性。语义相似性通过自然语言处理管道和LLM进行分析和验证。
研究团队从德国锡根大学的两个课程模块(嵌入式系统和基于FPGA的嵌入式系统开发)中构建了知识图谱,并对其进行了评估。评估包括定性专家反馈和定量图谱质量指标。专家反馈表明,LLM辅助的图谱完成方法能够有效连接跨学科的相关课程,从而个性化学习体验。定量评估结果显示,提取和分类的精确度(Precision)、召回率(Recall)和F1值均较高,表明LLM在主题和子主题提取方面具有较高的能力。
此外,知识图谱的结构评估显示,平均度中心性(Average Degree Centrality, ADC)有所增加,而图的模块性(Modularity)略有下降,表明语义相似性算法在增加图节点之间的连接密度方面发挥了作用。
该研究提出了一种利用LLM辅助的知识图谱完成方法来建模高等教育课程,并将其与领域和用户模型相连接。研究结果表明,该方法能够有效支持教师构建知识图谱,并为学生提供个性化的学习路径推荐。该研究的主要贡献在于提出了一种人机协作的方法,能够显著减少教师在内容提取和分类上的时间和精力,同时确保高质量的知识图谱构建。
该研究还提出了一些未来研究方向,例如如何进一步优化LLM提示工程,以及如何利用知识图谱作为LLM的上下文来源,以提高提取和分类的准确性和相关性。这些方向为未来的研究提供了有价值的参考。