基于改进神经网络的短视频平台推荐机制研究学术报告
作者及发表信息
本研究由Mengruo Qi（所属机构：成都大学中国-东盟艺术学院）完成，发表于期刊Systems and Soft Computing，发表日期为2024年11月12日，论文标题为《The short video platform recommendation mechanism based on the improved neural network algorithm to the mainstream media》。
学术背景
研究领域与背景
短视频平台的爆发式增长（如TikTok、Kwai等）导致用户行为数据量激增，传统推荐算法（如协同过滤、内容推荐）面临数据稀疏性（data sparsity）和高维特征提取的挑战。现有方法难以充分挖掘用户与视频的潜在关联，导致推荐准确率受限。本研究聚焦深度学习驱动的个性化推荐系统，结合自然语言处理（NLP）与图像分析技术，提出一种改进的神经网络推荐模型，旨在解决上述问题。
研究目标
1. 通过词频-逆文档频率算法（TF-IDF）优化文本特征提取；
2. 基于人工蜂群算法（ABC）改进反向传播神经网络（BPNN），提升模型收敛速度；
3. 融合多模态数据（文本、图像、用户行为）构建用户-视频关联模型，提高推荐准确率。
研究流程与方法
1. 数据收集与预处理
- 数据集：来自某媒体公司的用户历史点击数据，包含10亿级用户行为记录（15天内），其中1000万用户具有正常点击率。
- 预处理：
- 数据清洗：去除缺失值、重复数据及异常值；
- 文本处理：分词、停用词过滤、TF-IDF加权（维度降至128）；
- 图像处理：使用VGG-16卷积神经网络提取4096维特征，进一步降维至256维。
2. 用户与视频建模
- 文本特征提取：通过TF-IDF算法量化视频标题、标签的语义权重（公式2-5）；
- 用户兴趣建模：基于用户历史点击行为生成特征向量，结合点击时间占比（公式1，阈值τ=0.3）过滤无效点击。
3. 改进的ABC-BPNN模型
- BPNN结构：输入层（n=256）、隐藏层（h=128）、输出层（m=1），激活函数为ReLU；
- ABC优化：
- 初始化：随机生成蜜源位置（公式6），模拟蜜蜂搜索行为；
- 自适应因子（公式8）动态调整权重，避免局部最优；
- 雇佣蜂与观察蜂协作更新权重（公式7、9），加速收敛。
4. 推荐生成与评估
- 相似度计算：余弦相似度匹配用户向量与视频特征；
- 实时推荐：Top-N列表生成（N=5~30），响应时间<0.37秒（表2）；
- 评估指标：AUC（曲线下面积）、MAP（平均准确率）、RMSE（均方根误差）。
主要研究结果
1. 模型性能提升
- 推荐准确率：TF-IDF降维至128维时，准确率达70%（Top-10）和88%（Top-30）（图8）；
- 对比实验：ABC-BPNN的AUC（0.865）显著高于传统方法（TF-IDF:0.789；ItemCF:0.776；UserCF:0.675）（表3）。
2. 算法效率优化
- 收敛速度：ABC算法使BPNN训练迭代次数减少30%，损失值降至0.2656（表4）；
- 实时性：200条推荐数据仅需0.3678秒（表2）。
3. 多模态融合效果
- 图像-文本联合建模：通过VGG-16和TF-IDF提取的混合特征，解决了协同过滤的“长尾效应”（long-tail effect）。
结论与价值
科学价值
- 方法创新：首次将ABC算法与BPNN结合应用于短视频推荐，解决了高维稀疏数据下的局部最优问题；
- 技术突破：多模态特征融合（文本+图像）显著提升推荐系统的语义理解能力。
应用价值
- 商业场景：可应用于抖音、快手等平台，提升用户留存率15%以上；
- 扩展性：模型支持其他多媒体内容（如直播、广告）的个性化推荐。
研究亮点
- 跨模态深度学习：结合NLP与计算机视觉技术，构建端到端的推荐框架；
- 轻量化设计：通过TF-IDF降维和ABC优化，实现高精度与低延迟的平衡；
- 实证效果：在亿级数据集上验证了算法的鲁棒性，AUC指标领先现有方法9.5%。
其他发现
- 用户行为分析：短时长视频（31秒-1分钟）占比最高（36.42%），推荐系统需优先优化此类内容的分发效率（图2）；
- 多样化发布策略：45%的科普类短视频采用分集发布形式，可提升用户连续观看率（图4）。
本研究为短视频平台的智能化推荐提供了可落地的解决方案，其开源实现（基于TensorFlow）有望推动行业技术迭代。