基于人格指示数据增强角色扮演语言模型：一项提升角色思维模拟能力的研究报告

一、 研究作者、机构与发表信息

本研究由复旦大学数据科学与计算机科学学院的Yiting Ran、Xintao Wang、Rui Xu、Xinfeng Yuan、Jiaqing Liang、Deqing Yang及Yanghua Xiao共同完成。该研究作为一篇学术论文发表于计算语言学领域的顶级会议之一——计算语言学协会（Association for Computational Linguistics, ACL）旗下的“计算语言学协会发现：自然语言处理经验方法会议2024”（Findings of the Association for Computational Linguistics: EMNLP 2024），会议时间为2024年11月12日至16日，论文收录于该会议论文集第14566至14576页。

二、 学术背景与研究目标

本研究属于人工智能（AI）与自然语言处理（NLP）领域，具体聚焦于大语言模型（Large Language Models, LLMs）在角色扮演代理（Role-Playing Agents, RPAs）方向的应用。随着LLMs的兴起，RPAs已成为一个备受工业界和学术界关注的流行应用方向。现有的角色扮演语言模型（Role-Playing Language Models, RPLMs）在复现角色知识和语言风格方面取得了显著进展，但在捕捉角色的“思维”或内在人格特质方面仍面临挑战，尤其是在小型RPLMs上。这种“思维”体现在角色在特定情境下的决策、动机、价值判断等深层心理活动上。现有角色扮演数据集大多侧重于角色的外在知识（事实信息）和语言语调，缺乏对角色内在人格的系统性刻画，这限制了RPLMs生成更具深度和一致性角色行为的能力。

针对这一问题，本研究提出了一种新颖的解决方案：利用人格指示数据来增强RPLMs。研究团队认为，心理学量表是快速捕捉个体广泛人格特质的有效工具。因此，本研究旨在通过构建一个基于心理学量表问题的人格指示数据集，并利用该数据集微调RPLMs，从而提升模型对角色内在思维和人格特质的模拟能力。研究的具体目标是：1）构建一个名为“RolePersonality”的综合性人格指示数据集；2）验证使用该数据集微调的RPLMs在人格保真度、动机识别等“思维”相关评估，以及通用角色扮演能力评估上的有效性。

三、 详细研究流程与方法

本研究的工作流程主要包括两个核心阶段：数据集构建与模型训练与评估。

第一阶段：RolePersonality数据集构建 此阶段的目标是生成能够反映角色深层人格的对话数据。具体步骤如下： 1. 数据生成基础：研究借鉴了InCharacter的工作，利用来自14个不同心理学量表的题目作为问题源。这些量表涵盖了广泛的人格维度，例如大五人格量表（Big Five Inventory, BFI）、艾森克人格问卷（Eysenck Personality Questionnaire, EPQ）、黑暗十二条（Dark Triad Dirty Dozen）、16型人格（16Personalities）等，旨在全面评估角色的开放性、尽责性、外向性、宜人性、神经质、马基雅维利主义、自恋、心理变态等特质。 2. 知识蒸馏过程：研究团队首先构建了基于LLM的“高级RPAs”，这些代理配备了目标角色的详细描述和记忆库。然后，将改写自心理学量表的问题（例如，“你是否经常结交新朋友？”）输入给这些高级RPAs，让它们以目标角色的身份进行回答。这个过程实质上是将高级LLM（如GPT-3.5-turbo）对角色人格的理解“蒸馏”出来，生成了角色针对人格测试问题的回答，从而构成了原始的对话样本。 3. 数据筛选与优化：为确保数据集质量，研究实施了多步筛选机制： * 量表筛选：并非所有心理学量表都同等适用于虚构角色。研究团队从完整的14个量表集合（称为“full”子集）中，精心筛选出了一个与角色人格特质更相关的子集（称为“part”子集）。 * 问题筛选：对于每个具体角色，使用LLM判断量表问题是否与其背景设定相符，排除那些可能导致角色“幻觉”（即做出不符合角色设定的回答）的不相关问题。 * 人格一致性过滤：生成回答后，利用人类标注的角色人格标签作为“地面真值”，对回答进行过滤。仅保留那些与角色已知人格特质一致的回答，剔除不一致的样本，以保证数据集中人格表征的准确性。 4. 构建多轮对话：为了增强模型在连续对话中保持人格一致性的能力，研究还构建了多轮对话数据。具体做法是从同一量表中的不同维度选取问题，组合成一个连贯的多轮访谈场景，让高级RPA连续回答。这有助于模型学习在上下文对话中维持稳定的人格表现。 5. 数据集统计：最终构建的RolePersonality数据集包含三个子集：使用全部量表单轮问题的“full+single”子集（32,089个样本）、使用筛选后量表单轮问题的“part+single”子集（22,489个样本），以及使用筛选后量表五轮对话的“part+multi”子集（32,767个样本）。数据覆盖了来自ChatHaruhi和RoleLLM的共计46个中英文虚构角色。

第二阶段：模型训练与评估 1. 模型训练（微调）：研究选取Mistral-7B-v0.2-chat作为基础模型。为了比较不同数据集的效果，研究团队使用相同的低秩适应（Low-Rank Adaptation, LoRA）微调设置，分别使用RolePersonality的三个子集、以及两个基线数据集（CharacterLLM和RoleBench）对模型进行微调。每个数据集的训练样本量控制在约20,000个，以确保比较的公平性。同时还保留了原始Mistral-7B模型和GPT-3.5-turbo作为对比基线。 2. 评估协议与实验：微调后，研究从三个维度对模型进行了全面评估： * 人格保真度评估：评估模型是否能准确反映角色的整体人格。方法是从训练集中排除8个测试角色，然后让微调后的模型回答针对这些角色的人格量表问题。接着，使用另一个LLM（GPT-3.5-turbo）根据模型的回答来推断角色的人格特质，并将推断结果与人类标注的“地面真值”人格标签进行比较，计算准确率。 * 动机识别评估：评估模型理解角色决策背后动机的能力。使用CROSS基准测试中的445个多项选择题，每个题目描述一个场景和角色的决策，模型需要选择最符合角色动机的选项。通过计算准确率来衡量。 * 通用角色扮演能力评估：评估模型在常规角色扮演任务上的表现。使用RoleBench数据集中的角色特定问题，让模型生成回答，并采用两种评分方式： * 直接评分：使用ROUGE-L分数衡量模型回答与标准答案的文本相似度（反映知识复现能力）；使用“胜率”指标，即模型回答被评判为优于GPT-4回答的频率（由LLM评判）。 * 维度评分：由LLM根据五个维度（记忆、人格、价值观、稳定性、幻觉）对模型回答进行0-7分的评分，综合评估角色扮演的逼真度。

四、 主要研究结果

实验结果为RolePersonality数据集的有效性提供了有力支持：

1. 人格保真度结果：如表2所示，使用RolePersonality（尤其是full+single子集）微调的模型，在人格保真度的“整体准确率”上达到了49.15%，显著优于原始Mistral-7B模型（46.85%）以及使用CharacterLLM（39.65%）和RoleBench（45.47%）微调的模型。值得注意的是，使用传统角色扮演数据集（CharacterLLM, RoleBench）微调的模型，其人格保真度甚至低于未经微调的基础模型，这印证了传统数据集在捕捉角色人格方面的局限性。而RolePersonality则成功弥补了这一缺陷。

2. 动机识别结果：同样在表2中，RolePersonality微调的模型在动机识别任务上取得了最高准确率（44.54%），远超所有其他微调模型和基线模型（原始Mistral-7B为34.62%）。这表明，通过学习人格指示数据，模型能够更深入地理解角色的内在驱动力和决策逻辑。

3. 通用角色扮演能力结果：

   • 直接评分（表3）：在ROUGE-L指标上，RolePersonality微调模型的得分略低于基线，这可能是因为其回答更侧重于体现人格而非精确复述事实知识。然而，在更具挑战性的“胜率”指标上，RolePersonality模型（尤其是part+multi子集，胜率43.89%）的表现仅次于GPT-3.5-turbo（48.02%），且显著优于其他微调模型和原始Mistral-7B模型（30.50%）。这说明其生成的整体回答质量更高，更符合人类对优质角色扮演的评判。
   • 维度评分（表3）：在五个评估维度中，RolePersonality微调的模型在“记忆”、“价值观”、“稳定性”和“幻觉”四个维度上均取得了最高平均分。特别是在“价值观”维度上的领先，直接证明了模型对角色内在信念的更好把握。虽然在“人格”（此处主要指语言风格）维度上略低于GPT-3.5基线，但结合人格保真度测试结果，说明模型在深层次人格特质上表现更优，而在表层语言风格的模仿上仍有提升空间。

4. 多轮对话一致性：补充实验（表7）进一步显示，使用RolePersonality微调的模型，在多轮对话中人格评估得分的标准差更低，意味着其在连续交互中能保持更稳定、一致的人格表现，这对于构建沉浸式的长对话角色扮演代理至关重要。

五、 结论与意义

本研究得出结论：利用基于心理学量表构建的人格指示数据，能够有效增强角色扮演语言模型捕捉角色内在“思维”的能力，从而显著提升其在人格保真度、动机识别等深层评估任务上的表现，同时也在通用角色扮演评估中展现出竞争优势。

本研究的科学价值在于，它首次系统性地提出并验证了将人格心理学工具（量表）引入角色扮演数据集构建的可行性，为RPLMs的研究开辟了一个新的方向——从模仿外在言行到模拟内在心智。它明确指出并尝试解决了当前角色扮演研究中的一个关键瓶颈。其应用价值显著：通过赋予AI角色更真实、更一致的人格和动机，可以极大地提升虚拟角色、交互式叙事、心理模拟、个性化对话系统等应用的沉浸感和真实感，为用户带来更深层次的互动体验。

六、 研究亮点

1. 研究问题新颖且关键：聚焦于角色扮演中“思维模拟”这一被忽视但至关重要的挑战，精准定位了现有研究的不足。
2. 方法创新性强：创造性地提出并实践了“利用心理学量表问题蒸馏高级RPA以生成人格指示数据”的数据构建范式。该方法将心理学测量工具与AI知识蒸馏相结合，为生成高质量的人格对齐数据提供了可复制的框架。
3. 数据集构建系统严谨：构建的RolePersonality数据集规模可观、结构清晰（包含单轮/多轮、全量表/筛选量表子集），并引入了多级筛选机制（量表筛选、问题筛选、人格一致性过滤）以保证数据质量，为后续研究提供了宝贵的资源。
4. 评估体系全面：不仅评估了模型在人格和动机等“思维”相关任务上的直接表现，还通过通用角色扮演基准测试验证了该方法不会损害、甚至能提升模型的整体角色扮演能力，评估维度全面且具有说服力。
5. 实验结果显著：实验数据清晰地证明了RolePersonality数据集的有效性。模型在人格保真度和动机识别上的显著提升，直接回应了研究初衷；在通用评估中“胜率”和多个维度上的领先，则证明了该方法的综合优势。

七、 其他有价值内容

研究团队在论文中坦诚地指出了本工作的局限性：1）数据集完全由LLM生成，可能继承模型本身的偏见；2）访谈式数据生成缺乏合规性保障机制；3）评估主要依赖自动化指标和LLM评判，缺乏人类评估。这些自我反思为未来研究指明了改进方向，例如结合人类专家标注、引入更复杂的合规性约束、进行大规模用户研究等。此外，论文还包含了详尽的附录，列出了所使用的全部心理学量表及其简介、角色列表、评估提示词等，体现了研究的可重复性和开放性。所有代码和数据均已公开，有助于推动该领域的进一步发展。