基于分层大语言模型提示的新闻推荐增强研究

一、研究团队与发表信息
本研究由Hai-Dang Kieu（VinUniversity）、Delvin Ce Zhang（The Pennsylvania State University）、Minh Duc Nguyen（VinUniversity）、Qiang Wu与Min Xu（University of Technology Sydney）、Dung D. Le（VinUniversity）合作完成，发表于2025年ACM Web Conference（WWW Companion ‘25）会议论文集，标题为《Enhancing News Recommendation with Hierarchical LLM Prompting》。

二、学术背景与研究目标
科学领域：本研究属于信息系统的个性化推荐（Personalization）与语言模型（Language Models）交叉领域，聚焦新闻推荐系统（News Recommendation）的语义理解优化问题。

研究动机：传统新闻推荐系统依赖标题和摘要等浅层文本表征，难以捕捉用户复杂偏好。尽管现有方法（如基于CNN/GRU的模型、知识图谱增强的DKN等）有所改进，但仍面临数据稀疏性和语义深度不足的挑战。大语言模型（LLM）虽能生成丰富文本，但直接应用于推荐可能导致信息冗余或偏离原意。

研究目标：提出PNR-LLM框架，通过分层LLM提示策略生成兼具语义深度和实体关联的新闻增强表征，提升推荐准确性。

三、研究方法与流程
1. 问题建模
- 输入：用户$u$的点击历史序列$H_u = [d_1, d_2, …, d_H]$，每条新闻$d_i$包含标题$T_i$和实体集$E_i$。
- 输出：候选新闻$d_c$对用户$u$的点击概率预测。

2. 分层LLM新闻增强模块
- 步骤1：直接提示（Direct Prompting）
- 使用LLM（如Gemini 1.0 Pro）生成更具吸引力的标题。例如，输入标题《The Cost of Trump’s Aid Freeze in Ukraine’s War》，生成新标题《Battleground Politics: Unravelling the Human Toll of Trump’s Aid Freeze in Ukraine’s War》。
- 步骤2：实体探索（Entity Exploration）
- 通过LLM提取标题中的关键实体（如”United States”、”Russia”），并验证实体一致性（如合并”U.S.“和”United States”）。
- 步骤3：分层提示（Hierarchical Prompting）
- 结合生成的标题与实体，生成简短摘要，强化语义关联。例如输出摘要：”The Ukraine conflict, sparked by Trump’s aid freeze, has escalated into a costly war…”

3. 新闻编码器设计
- 文本编码：使用Glove初始化词向量，CNN层提取上下文特征，注意力机制（公式2）加权重要词。
- 实体编码：基于TransE预训练实体向量，自注意力网络聚合多实体信息。
- 联合表征：拼接类别、实体和文本嵌入，通过注意力层生成最终新闻表征$r_n$。

4. 用户表征建模
- 根据用户历史点击新闻的嵌入，通过注意力网络区分新闻重要性，生成用户嵌入$r_u$。

5. 训练与评估
- 数据集：MIND-small（50,000用户）和MIND-large（1M用户），负采样比例1:4，交叉熵损失优化。
- 评估指标：AUC、MRR、NDCG@5/10。

四、主要实验结果
1. 基准对比（表2）
- PNR-LLM在MIND-small上AUC达68.88（最优），NDCG@5为37.50，超越GLORY（67.68）、GLOCIM（68.21）等基线；在MIND-large上AUC 69.32（次优）。
- 关键发现：实体增强使相似新闻的语义关联更显著，例如通过共享实体”Trump”关联政治类新闻。

2. 分层提示有效性（图3a）
- 分层提示（AUC 68.88）优于直接提示（66.5）和基于主题的提示（64.2），证明多步推理能平衡信息量与准确性。

3. LLM选择分析（图3b）
- Gemini 1.0 Pro性能最佳（AUC 68.88），优于Llama 3和GPT-4o Mini，因其更擅长遵循结构化提示。

4. 消融实验（表3-4）
- 实体增强：使用LLM生成实体比原始实体AUC提升1.2（图4a）。
- 标题长度：40个token时性能最优（图4b）。
- 模型兼容性：将增强标题应用于NRMS、NAML等基线模型，AUC平均提升2.0（表4）。

五、研究结论与价值
科学价值：
1. 首次将LLM生成的语义增强与实体关联结合，解决新闻推荐中的稀疏性问题。
2. 提出的分层提示策略可控制LLM输出质量，避免信息失真。

应用价值：
1. 模块化设计兼容现有推荐模型（如DistilBERT编码器AUC达70.54）。
2. 为动态新闻场景提供实时语义扩展方案。

六、研究亮点
1. 方法创新：分层LLM提示策略实现标题-实体-摘要的渐进式增强。
2. 可扩展性：实体增强模块可对接知识图谱（未来工作方向）。
3. 实验严谨性：涵盖不同LLM、提示策略和基线的全面对比。

局限性：依赖LLM生成质量，需人工验证实体一致性。未来可探索自动化实体链接与动态知识图谱更新。

七、其他贡献
- 开源MIND数据集上的完整实验代码，推动可复现性研究。
- 提出新闻推荐领域LLM应用的标准化评估流程（如标题长度控制）。