本研究由合肥工业大学王宇、吴乐、刘飞、洪日昌，新加坡国立大学杨永辉、安徽大学张毅等多位研究者合作完成。通讯作者为杨永辉。该论文被国际信息检索领域顶级会议SIGIR ‘26（第49届国际ACM SIGIR信息检索研究与发展会议）录用，会议将于2026年7月20日至24日在澳大利亚墨尔本举行。论文DOI为https://doi.org/10.1145⁄3805712.3809590，代码已公开于http://github.com/wangyu0627/hanorec。
近年来，大语言模型（Large Language Models, LLMs）在自然语言理解、语义推理和知识泛化等任务中取得了显著进展，研究者开始探索其在推荐系统中的应用。序列推荐（Sequential Recommendation, SR）旨在挖掘用户的历史交互序列以推断其下一步可能感兴趣的内容，大语言模型的上下文理解能力为序列推荐带来了新的机遇。现有基于大语言模型的方法通常将用户行为序列转化为文本提示进行监督微调（Supervised Fine-Tuning, SFT），但这类方法仅依赖文本模态，难以充分利用推荐场景中普遍存在的图像等丰富多模态信号。
多模态大语言模型（Multimodal Large Language Models, MLLMs）通过在共享语义空间中对齐文本与视觉信息，为多模态推荐建模提供了新的可能性。然而，将多模态大语言模型有效应用于序列推荐仍面临两个核心挑战。第一是训练样本难度不均衡问题：现有方法在构建直接偏好优化（Direct Preference Optimization, DPO）训练数据时通常随机采样负样本，导致模型在容易区分的样本上过度训练而对困难样本训练不足，无法充分捕获细粒度的用户偏好变化信号。第二是跨模态语义偏差问题：DPO中固定的参考模型限制了策略模型纠正模态错位的能力，尤其在处理长序列时，由于模糊或简短标题导致的模态偏差会在序列建模过程中被不断累积放大，呈现出“弱者愈弱”的表征退化趋势。针对上述问题，本研究提出了一个名为HanoRec（Hardness-aware and Noise-regularized Preference Optimization for Recommendation）的多模态大语言模型框架，通过感知难度的重加权策略和噪声正则化的分布优化目标来同时解决样本不均衡与跨模态语义偏差问题。
HanoRec框架包含两个核心模块：难度感知重加权策略（Hardness-Aware Reweighting Strategy, HARS）和噪声正则化分布优化（Noise-regularized Distribution Optimization, NoDo）。研究在三个多模态基准数据集上进行了系统性验证，分别是：MicroLens短视频推荐数据集（包含25,411名用户、41,081个物品和223,263条交互记录，密度为2.1×10⁻⁴）、Netflix电影推荐数据集（包含13,187名用户、17,366个物品和68,933条交互记录，密度为3.0×10⁻⁴）以及MovieLens-1M经典电影推荐数据集（包含6,040名用户、3,952个物品和1,000,209条交互记录，密度为4.2×10⁻²）。
在HARS模块中，训练数据定义为D = {(I, x, y_w, y_l)}，其中I表示图像输入，x表示指令或查询，y_w和y_l分别表示偏好和非偏好响应。训练前，利用预训练的多模态大语言模型将物品标题集合V和对应图像集合I编码为语义表征，分别得到文本嵌入矩阵H ∈ R^{|V|×d}和视觉嵌入矩阵X ∈ R^{|I|×d}，其中d为共享嵌入维度。在难度估计阶段，以选中样本和拒绝样本为锚点，在嵌入空间中计算它们与所有候选项的语义相似度，检索出top-k最相似项分别构成正负样本簇S_w和S_l。随后计算相似度得分并通过softmax函数归一化为概率分布z_w和z_l。二者的概率差δ经sigmoid函数投影到(0,1)区间后得到数据难度λ。λ值越大表示该实例越容易区分，λ值越小则表示正负样本在语义或视觉上越相似、越难以区分，因而需要更低的权重β和更多的优化注意力。为了弥补仅基于数据层面离线计算的λ与实际模型响应之间的偏差，HARS进一步引入隐式奖励差距来捕捉模型当前对正负样本的偏好状态。奖励差距r_i由策略模型π_θ与参考模型π_ref在正负样本上的对数似然比之差定义，经均值归一化后通过掩码向量m_i过滤掉最低和最高两个极端异常值，最终得到模型响应度η。最终的动态权重通过β_b = η_b · λ_b · β₀计算得出，β₀为初始值（通常设为0.1）。这种结合方式使模型既能感知数据的内在难度，又能利用模型实时响应状态来增强优化的鲁棒性。
在NoDo模块中，针对DPO训练中由于强反向KL约束导致策略模型过度集中于参考模型高概率区域、进而加剧标题-图像语义错位的问题，NoDo通过在策略模型输出分布中注入适度高斯噪声来增加模态灵活性。具体而言，在输出logits层引入零均值高斯扰动，即对LoRA可训练部分进行临时扰动：A’ = A + σ_nε_A, B’ = B + σ_nε_B，其中ε_A和ε_B服从标准正态分布。这样计算得到的logits为W’ = W₀ + B’A’，对策略模型和参考模型的可训练部分均施加噪声正则化，产生自然平滑的输出分布。随着DPO训练迭代推进，高斯平滑后的分布被纳入相似度感知的自适应KL散度约束中，逐步将标题嵌入和图像嵌入拉向共享的语义中心，从而缓解跨模态语义偏差。最终修改后的DPO损失函数L_Hano将扰动后的策略模型π̃_θ和自适应动态权重β’相结合，两个模块协同作用，使模型既能聚焦困难样本，又能保持稳定的跨模态对齐。
研究采用Qwen-2.5-VL-3B-Instruct作为多模态大语言模型骨干，以Qwen-2.5-3B-Instruct作为纯文本大语言模型骨干进行对比。LoRA秩设为8，学习率为1e-4，梯度累积步数为8。大语言模型基线训练10个epoch，多模态大语言模型基线训练5个epoch。所有模型仅使用最近6次交互，最后一项作为预测目标。数据集按8:1:1比例划分为训练集、验证集和测试集，采用AUC、HR@3和NDCG@3作为评估指标，所有结果取五次运行的平均值。
在性能对比实验中，HanoRec在三个数据集的所有评估指标上均显著优于所有基线方法。在MicroLens数据集上，AUC达到0.7852，HR@3达到0.7360，NDCG@3达到0.5673，相比最强基线MLLM-MSR分别提升了4.12%、8.62%和11.02%。在Netflix数据集上，三项指标分别达到0.7710、0.7483和0.6191，提升幅度为3.52%、4.88%和7.59%。在MovieLens-1M数据集上，分别达到0.7732、0.7599和0.5403，提升幅度为3.13%、6.68%和7.39%。值得注意的是，NDCG@3指标的改善尤为显著，表明HanoRec在保持排序质量的同时能够提供更多样化且相关的推荐结果，有效降低了流行度偏差。传统方法如SASRec和LightGCN受限于稀疏交互数据，性能落后于基于大语言模型的方法；纯文本大语言模型方法如TallRec和LLaRA虽然具备较强的语言推理能力，但无法利用视觉信号，在最稀疏的MicroLens数据集上HR和NDCG指标落后于多模态方法MLLM-MSR超过8%；而HanoRec凭借对多模态细粒度语义的有效捕获和自适应偏好优化机制，实现了最优性能。
在消融实验中，移除HARS模块导致性能大幅下降，其结果接近仅使用“SFT + DPO”的基础模型，表明动态缩放DPO权重能有效感知样本难度并引导模型聚焦于难以区分的样本。移除top-k采样策略（w/o SAM）同样导致明显的性能下降，说明多粒度正负样本的构建对提升排序精度至关重要。NoDo模块的移除也造成了一定的性能损失，验证了高斯噪声扰动与自适应KL正则化在缓解模态偏差方面的作用。在不同多模态大语言模型骨干的泛化实验中，2B参数模型性能最差，7B参数的Qwen和LLaVA-NeXT通常表现最优，表明多模态大语言模型推荐遵循大模型缩放定律，同时HanoRec方法具有模型无关性和可迁移性。超参数敏感性分析显示，HARS中top-k取10或20时性能最佳，过小或过大的K值都会扭曲难度曲线。高斯噪声强度σ_n为0.05或0.1时效果较好，不同数据集的最优值取决于其视觉特征的方差特性。初始DPO权重β₀增大到0.5时性能显著下降，因为过大的权重会破坏SFT阶段建立的响应模式。
本研究成功地将多模态大语言模型应用于序列推荐任务，提出的HanoRec框架通过难度感知重加权策略有效解决了DPO训练中样本难度不均衡的问题，通过噪声正则化分布优化目标缓解了跨模态语义偏差。实验结果表明，HanoRec在三个基准数据集上均超越了现有最先进方法，尤其在NDCG@3指标上的显著提升证明了其在提供多样化相关推荐方面的优势。从科学价值而言，本研究深入揭示了多模态大语言模型在序列推荐中面临的样本难度失衡和模态偏差的机理，为多模态偏好优化提供了新的理论视角和方法框架。从应用价值而言，HanoRec的推理阶段与传统多模态大语言模型完全一致，不引入额外延迟或计算开销，训练阶段仅增加两个轻量级模块，时间复杂度和内存开销与标准DPO相当，具有良好的实际部署可行性。该研究为推荐系统在多模态场景下的偏好对齐与优化提供了重要的技术路径。