学术研究报告：用于评估长期历史感知医疗对话智能体的数据集生成与评估框架
本研究由中南民族大学的何斌（Hebin Hu）、戴仁科（Renke Dai）和康一琳（Yilin Kang）教授团队，以及新加坡管理大学（Singapore Management University）的陈华辉（Ah-Hwee Tan）教授合作完成。该研究以论文“Synthesis and evaluation of long-term history-aware medical dialogue”的形式，被第25届国际自主智能体与多智能体系统会议（The 25th International Conference on Autonomous Agents and Multiagent Systems, AAMAS 2026）录用，预计于2026年5月发表。
一、 研究背景与目的
本研究属于人工智能在医疗健康领域的应用，具体聚焦于医疗对话智能体（Medical Dialogue Agent） 的研发与评估。尽管大型语言模型（Large Language Models， LLMs）在医疗问答、病历分析等方面展现出巨大潜力，但构建能够进行长期、连贯对话的医疗智能体仍是一个核心挑战。这类智能体的关键能力在于能够理解并利用患者的纵向病史，即跨越数月甚至数年的就诊记录、症状、诊断和治疗信息，从而做出更安全、更准确的临床推断。如图1所示，一个忽略病史的智能体可能将“头痛+视力模糊”简单诊断为偏头痛，而一个具备历史感知（History-Aware）能力的智能体若能回忆起患者此前的乳腺癌病史，则会高度怀疑脑转移的可能，并提出截然不同的安全措施。
然而，系统性开发与评估此类智能体面临一个根本性障碍：高质量、真实的纵向医疗对话数据极度缺乏。真实临床文本涉及严格的隐私和伦理问题，去标识化成本高昂且不彻底。现有的公开医疗对话数据集（如MedMCQA、PubMedQA）多侧重于静态知识问答或孤立的单次咨询对话，缺乏同一患者跨多个时间点的连贯对话记录，因此无法有效评估智能体进行跨会话推理（Cross-Dialogue Reasoning） 的能力。
为了应对这一数据稀缺挑战并建立科学的评估标准，本研究提出了一个创新的解决方案。其核心目标包括：1) 提出一个系统化的框架，用于合成高质量、具有显式纵向依赖关系的长篇医疗对话数据集；2) 基于该数据集，构建一个专门用于评估医疗智能体长期记忆与推理能力的基准测试；3) 设计一个多维度的综合评估框架，以全面衡量合成数据的质量以及智能体在不同任务上的表现。最终，本研究成功构建了一个名为MediLongChat的新型数据集与评估基准。
二、 研究详细工作流程
本研究的工作流程分为三个明确的阶段，环环相扣，共同构成了从数据生成到评估基准建立的完整闭环。
第一阶段：基于知识引导的合成患者病历生成
本阶段的目的是构建虚构但符合临床真实的患者终身医疗档案，作为后续对话生成的叙事主干和事实依据，同时规避真实数据的隐私问题。该阶段包含三个步骤： 1. 患者画像构建：为每位虚构患者创建详细的基本信息，包括人口统计学资料（年龄、性别、职业）、生活方式习惯（饮食、运动、烟酒史）以及家族病史等。这些信息通过提示词明确设定，以确保后续疾病发展轨迹与患者背景相符，增加叙事的可信度。 2. 疾病与并发症元数据监管与审查：研究团队并非完全依赖模型的自由生成，而是整理并引入了关于常见疾病与其典型并发症、时间模式之间关联的结构化元数据（Metadata）。为了避免模型在时间线或疾病关联上产生不合理的“幻觉”，研究人员引入了人机协同审查。专家对模型生成的初步关联进行验证，确保：(i) 疾病-并发症关联有医学证据支持；(ii) 时序关系符合临床逻辑；(iii) 不同事件间的时间间隔合理。这一步显著提升了生成内容的医学可靠性和合理性。 3. 序列化医疗记录的生成：将经过审核的疾病病例元数据与第一步创建的个性化患者画像进行融合。模型基于这些指导信息，生成一个连贯、具有临床依据的时间线，列出患者一生中所有关键的医疗事件（如患病、检查、治疗）及其发生顺序。这份时间线定义了后续模拟医患对话发生的具体时机，并编码了事件之间潜在的因果关系和纵向关联，是确保最终对话数据集“历史感知”特性的基石。
第二阶段：基于任务分解的多轮对话生成
本阶段的目标是将第一阶段的“事件时间线”转化为生动、详细的多轮医患对话文本。直接要求模型根据完整的患者档案生成长达数万词元（Token）的连续对话，极易导致上下文信息丢失、内容前后矛盾以及严重的医学幻觉。为此，研究团队创新性地采用了任务分解（Task Decomposition） 策略。 1. 医疗事件抽取：从第一阶段生成的时间线中，逐一提取出每个独立的医疗事件，包括其发生时间、具体疾病名称以及当时采取的治疗措施等信息。 2. 上下文隔离提示：针对每一个独立事件，构建一个自包含的提示（Self-contained Prompt）。这个提示中固定患者角色（基于第一阶段信息），但仅包含与该事件局部相关的事实（病症、时间、干预措施），严格避免引入其他就诊事件的信息。这种设计有效隔离了不同对话间的上下文，防止了信息混淆。 3. 对话实现与多样化控制：基于上述最小但充分的上下文，指示模型生成一次完整就诊的多轮对话。对话内容模拟真实医患互动，涵盖患者主诉、医生问诊、病史采集、检查建议、诊断讨论及治疗方案等环节。为了提升数据集的丰富性和自然度，研究引入了受控的多样性：在每次对话生成时，随机指定不同的医生角色性格（如“富有同理心”、“简洁直接”），并通过提示指令控制对话风格（如“关注生活方式”、“快节奏咨询”），同时使用较高的解码温度来增加语言表达的随机性。 4. 时序拼接：将针对每个独立事件生成的、高质量的“单次就诊对话”严格按照时间顺序进行拼接，最终形成一份完整的、连贯的患者纵向聊天记录（Chat History）。每份记录平均包含15至20次独立的对话，总长度约5万个词元，远超现有大多数开放域或医疗领域对话数据集。
第三阶段：基准任务生成与评估框架设计
本阶段旨在利用生成的MediLongChat数据集，构建一个系统性的评估基准，以量化医疗智能体的长期记忆与推理能力。同时，本研究提出了一个多维度的框架来评估合成数据本身的质量。 1. 基准任务设计：研究设计了三个难度递增、互补的推理任务，旨在逐步检验智能体的不同层次能力： * 对话内推理（In-Dialogue Reasoning, IDR）：评估模型从单次就诊对话中准确提取关键事实（如就诊日期、主诉、用药）的能力。任务形式为基于对话文本的问答，答案可直接从给定上下文中定位。 * 跨对话推理（Cross-Dialogue Reasoning, CDR）：评估模型关联同一患者多次就诊对话中分散信息的能力。问题涉及时间顺序、事件间隔、复发识别、治疗方案变化等，需要模型跨越不同的对话会话进行信息整合与推理。此任务有意考验模型的长上下文处理或记忆机制。 * 综合推理（Synthesis Reasoning, SR）：这是最具挑战性的任务，要求模型根据患者当前的症状描述以及其完整的纵向聊天记录，诊断出潜在的继发疾病或并发症。这模拟了真实临床中医生整合全部病史做出新推断的场景。为了降低评估方差，此任务被设计为多项选择题（Multiple-Choice Questions，MCQs），干扰项基于症状相似度精心选择。 2. 数据集内容：最终发布的MediLongChat语料库包含80名虚构患者的完整纵向医疗对话数据。对于每位患者，数据集提供其个人信息、按时间排序的全部对话记录，以及针对这三个基准任务的标注问题与参考答案。 3. 多维度数据质量评估框架：为了全面评估MediLongChat及其他对比数据集的质量，本研究提出了一个结合自动化指标与“大模型作为评判者（LLM-as-a-Judge）”方法的综合框架，从五个关键维度进行衡量： * 忠实性（Faithfulness）：衡量生成对话与提供的源知识（第一阶段患者档案）的语义贴合程度。通过计算句子嵌入的余弦相似度自动评估。 * 连贯性（Coherence）：衡量对话在局部和长期范围内的逻辑流畅性与一致性。通过惩罚相邻对话轮次间语义相似度的剧烈变化来自动评估。 * 多样性（Diversity）：衡量整个数据集中主题的广度与语言风格的均衡性。使用BERTopic进行主题聚类，并结合覆盖率与香农熵自动计算。 * 正确性（Correctness）：衡量对话内容的临床事实准确性，这与源知识无关。由于自动指标难以可靠评估医学合理性，本研究采用基于G-EVAL框架的“大模型作为评判者”方法，让LLM根据详细的评分标准对医学陈述、诊断和建议进行打分。 * 真实性（Realism）：衡量对话在风格、轮流发言和情感表达上类人化和自然度的程度。同样采用“大模型作为评判者”的方法进行评估。
三、 主要研究结果
1. 合成数据质量评估结果： 研究将MediLongChat与多个知名的长对话数据集（如Multi-Session Chat， Conversation Chronicles， LocoMo）以及另一个医疗对话数据集NoteChat进行了对比评估。 * 自动指标：MediLongChat在连贯性（0.925）上表现优异，与Conversation Chronicles（0.932）相当，高于其他数据集。其多样性得分（0.5447）为所有数据集中最高，表明其涵盖了更广泛的医学主题和语言风格。忠实性得分（第一阶段0.635，第二阶段0.601）处于合理水平，第二阶段因表达自由度增加而略有下降。 * 大模型评判结果：采用多个LLM作为评判者并集成其评分后，MediLongChat在五个维度上均展现出显著优势。特别是在多样性（4.858/5）和连贯性（4.838/5）上接近满分，证明了其合成流程在保持长期逻辑一致性的同时，成功避免了内容的单一和重复。在正确性（4.545/5）和真实性（4.505/5）上也取得了很高的分数，表明生成的对话不仅医学上合理，而且自然、富有同理心。这些结果综合表明，MediLongChat成功缓解了多轮对话数据集常见的连贯性差、多样性不足的问题，同时在医学准确性和自然度上保持了高标准。
2. 基准测试结果： 在MediLongChat的三个基准任务上，研究团队评估了包括GPT-4o mini、DeepSeek-R1、Qwen3等在内的多个先进LLMs的表现。 * 总体表现：所有模型在三个任务上的绝对得分（尤其是IDR和CDR的F1/BLEU值）普遍不高，这突显了对长篇临床病史进行推理的内在难度，也证明了MediLongChat基准的挑战性。 * 任务间对比：模型在综合推理（SR） 任务上的准确率相对较高（最高达83.75%，由GPT-4.1 mini取得），部分得益于多项选择题的形式降低了开放式生成的难度。然而，在需要自由文本回答的对话内推理（IDR） 和跨对话推理（CDR） 任务上，模型表现明显下降。例如，在CDR任务中，即使表现最佳的GPT-4o mini，其F1值也仅为24.25。这清晰地表明，当前最先进的通用大模型能够在一定程度上处理单次对话中的信息，但在跨越多个会话进行信息关联和推理方面仍然存在显著不足。IDR与CDR任务之间的性能差距，直接反映了模型长时记忆和跨上下文整合能力的短板。
3. 消融实验结果： 为了验证生成框架中各个组件的必要性，研究进行了系统的消融实验。 * 移除知识引导（第一阶段）：导致忠实性和真实性大幅下降。这证实了基于审核过的疾病-并发症元数据和时间约束进行引导，对于确保生成叙事的临床合理性和可验证性至关重要。 * 移除任务分解（第二阶段）：导致连贯性和多样性显著降低。这表明，将生成长篇对话的任务分解为独立的、上下文隔离的子任务，是维持长距离逻辑连贯性和避免内容混淆的有效策略。 * 移除多样性控制（第二阶段）：导致多样性急剧下降，真实性也有所降低，但对连贯性和忠实性影响较小。这说明受控的多样性设置主要贡献在于提升数据集的丰富度和自然感，而不以牺牲事实一致性为代价。 这些消融实验的结果有力地支持了本研究提出的三阶段流水线设计中每个环节（知识引导、任务分解、多样性控制）的价值和贡献。
四、 研究结论与意义
本研究成功提出并实现了一个用于合成长期、历史感知医疗对话的系统化框架，并构建了高质量的MediLongChat数据集及相应的评估基准。研究的主要结论是：即使是最先进的大型语言模型，在应对需要长期记忆和跨会话推理的医疗对话任务时，仍然面临巨大挑战。MediLongChat基准有效地揭示了现有模型的这一能力短板。
该研究的价值体现在多个层面： * 科学价值：本研究为医疗对话智能体的研发，特别是其长期推理能力的评估，填补了重要的数据空白。提出的多维度评估框架为合成医疗数据的质量评估设立了新的、更全面的标准。研究揭示了任务分解、知识引导等技术在缓解LLM长文本生成幻觉和不一致性方面的有效性，对生成式人工智能在严肃领域的应用具有方法论上的参考意义。 * 应用价值：MediLongChat数据集可以作为一个公开、可复用、可比较的基准，用于训练和评估下一代医疗对话助手。专注于提升模型在该基准上表现的研发工作，将直接推动更安全、更可靠、具备“病历回顾”能力的临床辅助工具的诞生。这对于实现个性化医疗和连续性护理具有重要意义。
五、 研究亮点
六、 其他有价值的内容
研究团队在文中也坦诚指出了当前工作的局限性，并为未来研究勾勒了方向： 1. 局限性：合成数据不可避免地会与真实世界临床数据的复杂分布存在偏差，尤其是在覆盖罕见疾病、复杂共病以及行为心理因素方面可能不足。基于大模型的评估方法虽然高效，但其可靠性与提示词设计和基础模型的能力紧密相关，与临床专家判断的细粒度一致性仍需进一步提升。当前对话仅限文本模态，未整合医学影像、检验指标等多元信息。 2. 未来方向：研究团队计划将框架扩展至多模态（整合图像、时间序列生理信号）和多语言场景。同时，探索结合检索增强生成（Retrieval-Augmented Generation， RAG）和动态情境记忆等技术，以进一步提升长时程推理的准确性并减少幻觉。他们希望MediLongChat能成为一个激发更多研究的开放平台。