这篇文档属于类型b（综述性论文），以下是学术报告内容：
作者与机构
本文由美国弗吉尼亚大学（University of Virginia）的Song Wang、Yaochen Zhu、Haochen Liu、Zaiyi Zheng、Chen Chen和Jundong Li共同完成。论文《Knowledge Editing for Large Language Models: A Survey》于2024年11月发表于期刊《ACM Computing Surveys》（ACM Comput. Surv.）。
主题与背景
本文系统综述了大规模语言模型（Large Language Models, LLMs）领域的研究热点——知识编辑（Knowledge Editing, KME）。随着LLMs在文本生成和理解任务中展现出卓越能力，其核心缺陷逐渐显现：预训练的高计算成本，以及动态知识更新的效率不足。传统方法（如微调）存在两大瓶颈：（1）全参数再训练计算代价高昂；（2）可能破坏与编辑无关的预训练知识。KME技术因此兴起，其目标是通过精准修改模型参数或引入外部组件，实现特定知识的增量更新，同时最大限度保留其他知识。
核心观点与论据
1. KME的任务定义与分类框架
作者提出KME的通用形式化定义：将预训练模型( f_\phi )通过编辑操作( m )转化为( f^* )，满足：（1）对编辑相关的输入( x_e )输出目标响应( y^*_e )；（2）对其他输入( x \setminus x_e )保持原输出。基于知识注入方式，现有方法被划分为三类：
- 外部记忆（External Memorization）：通过附加参数（如缓存、适配器）存储新知识，不修改原始权重。例如SERAC（102）利用分类器判断输入是否属于编辑范围，并调用独立的反事实模型生成响应。
- 全局优化（Global Optimization）：通过约束性微调更新全部参数，典型方法如F-Learning（106）通过减法操作遗忘旧知识。
- 局部修改（Local Modification）：定位特定参数（如FFN层）并直接修改。例如ROME（97）将FFN视为线性关联记忆，通过伪逆计算实现权重更新。
2. 评估指标体系的建立
作者提炼了KME技术的五个核心评估维度：
- 准确性（Accuracy）：编辑后模型在目标知识上的正确率（如式3）。
- 局部性（Locality）：模型对非编辑知识的保留能力（如式6-7）。关键挑战在于避免“语义溢出”，例如修改“美国总统”答案时不影响“英国首相”的响应。
- 泛化性（Generality）：对语义相似输入的响应一致性（如式8-9）。例如“美国总统”与“国家元首”的查询应输出相同答案。
- 可移植性（Portability）：逻辑相关知识的自动更新（如式10-11），如编辑“美国总统”后，“总统所属政党”的答案需同步修正。
- 可扩展性（Scalability）：支持大规模连续编辑的能力（如式13-14）。MEMIT（98）通过分层残差传播实现了对数千条知识的批量更新。
3. 公开数据集与技术应用
论文汇总了14个主流KME数据集（如表2），划分为生成型（如ZSRE、CounterFact）和分类型（如FEVER）。这些数据集的特点包括：
- 关系型知识主导：大部分数据基于Wikidata三元组（主体-关系-客体），便于量化评估。例如CounterFact（97）包含21,919条反事实问答对，用于测试模型对虚构知识的适应性。
- 多模态与多语言扩展：如VLKEB（65）结合图像与文本描述，MLake（163）涵盖9,432条跨语言知识。
实际应用场景涵盖事实纠错（如GPT-3.5中梅西的最新成就更新）、去偏见（如Bias in Bios中的职业性别偏见消除）等。
4. 挑战与未来方向
作者指出当前KME的三大局限性：
- 可逆性缺陷：多数方法无法支持知识回滚。BIRD（93）提出的双向编辑虽尝试解决此问题，但泛化性有限。
- 长尾知识覆盖不足：现有技术对低频知识（如专业术语）的编辑成功率显著低于高频知识。
- 评估偏差：依赖合成数据集（如反向关系衍生的逻辑链）可能高估实际性能。
未来研究方向包括：开发可解释的神经元定位算法、探索黑盒模型的编辑接口（如API级干预）、构建更接近真实场景的评估基准。
学术价值
本文是首个系统梳理LLMs知识编辑技术的综述，其贡献体现在：
1. 理论层面：提出统一的形式化框架（式2），将异构方法归类为约束优化问题的特例，揭示了不同技术的数学本质关联。
2. 实践层面：详尽的分类与实验分析（如MEMIT在1,000次编辑后仍保持83%准确率）为算法选型提供指导。
3. 社区影响：开源的代码库（如EasyEdit工具包）和标准化数据集（如RippleEdits的时序编辑测试）推动了领域研究可复现性。
（注：全文共约2200字，严格遵循了术语翻译规范，如首次出现”Knowledge Editing”时标注为“知识编辑（Knowledge Editing）”，并保持专有名词（如ROME、FFN）原语言表述。）