本文档属于类型a，即报告了一项原创研究。以下是基于文档内容生成的学术报告：
作者及机构
本文的主要作者包括Jiaqi Zhai、Lucy Liao、Xing Liu、Yueming Wang、Rui Li、Xuan Cao、Leon Gao、Zhaojie Gong、Fangda Gu、Michael He、Yinghai Lu和Yu Shi。他们均来自Meta AI（Meta人工智能研究部门）。该研究发表于2024年的第41届国际机器学习会议（Proceedings of the 41st International Conference on Machine Learning, PMLR 235），会议地点为奥地利维也纳。
学术背景
研究领域为大规模推荐系统，特别是基于深度学习的推荐模型（Deep Learning Recommendation Models, DLRMs）。尽管DLRMs在工业界广泛应用，但其计算扩展性较差，难以有效利用大规模数据和计算资源。受Transformer在自然语言处理和计算机视觉领域成功的启发，作者重新审视了推荐系统的设计选择，提出了一种新的生成式推荐框架（Generative Recommenders, GRs），并设计了针对高基数、非平稳流数据的架构——层次化序列转换单元（Hierarchical Sequential Transduction Units, HSTU）。
研究的主要目标是解决推荐系统中的三个核心挑战：1）特征缺乏显式结构；2）动态变化的亿级词汇表；3）计算成本过高。通过将推荐问题重新定义为序列转换任务，并结合生成式建模，作者希望提高模型的效率和性能。
研究流程
研究分为以下几个主要步骤：
生成式推荐框架的提出
作者提出了生成式推荐框架（GRs），将DLRMs中的异构特征空间统一为时间序列，并将推荐任务（如排序和检索）重新定义为序列转换任务。这一框架允许模型以生成式的方式进行训练，从而在相同计算资源下处理更多数据。
HSTU架构的设计与实现
HSTU是一种新型的序列转换架构，针对推荐系统的特点进行了优化。其主要创新点包括：
实验与验证
研究在合成数据集、公开数据集以及一个拥有数十亿用户的大型互联网平台上进行了实验验证。具体实验包括：
计算扩展性分析
作者分析了GRs与DLRMs在计算扩展性上的差异，发现GRs在计算资源增加时表现出更好的性能扩展性，而DLRMs在达到一定规模后性能趋于饱和。
主要结果
1. 模型性能提升
HSTU在合成数据集和公开数据集上的NDCG（Normalized Discounted Cumulative Gain）指标比基线模型提高了65.8%，在8192长度的序列上比基于FlashAttention2的Transformer快5.3倍至15.2倍。
在线A/B测试结果
基于HSTU的生成式推荐模型在在线A/B测试中实现了12.4%的指标提升，并已部署在一个拥有数十亿用户的大型互联网平台上。
计算扩展性验证
GRs的计算扩展性符合幂律规律，在三个数量级的计算资源范围内表现出色，模型规模可扩展至1.5万亿参数，接近GPT-3和LLaMA-2的规模。
资源效率提升
通过M-Falcon算法，GRs在推理阶段能够处理285倍复杂的模型，同时实现1.5倍至3倍的推理速度提升。
结论
研究提出了一种新的生成式推荐框架（GRs）和层次化序列转换单元（HSTU），显著提升了推荐系统的性能和计算效率。通过将推荐任务重新定义为序列转换问题，并结合生成式建模，研究克服了传统DLRMs的计算扩展性瓶颈，并首次证明了推荐系统的计算扩展性符合幂律规律。这一成果为推荐系统的基础模型（Foundation Models）研究奠定了基础。
研究亮点
1. 创新性框架：首次将推荐任务重新定义为序列转换问题，并提出了生成式推荐框架（GRs）。
2. 高效架构：设计了层次化序列转换单元（HSTU），显著提升了计算效率和模型性能。
3. 计算扩展性验证：首次证明了推荐系统的计算扩展性符合幂律规律，为未来模型开发提供了重要参考。
4. 实际应用价值：研究成果已在一个拥有数十亿用户的大型互联网平台上部署，并取得了显著的在线指标提升。
其他价值
研究还探讨了推荐系统在隐私友好性、用户体验优化以及减少碳排放方面的潜在价值。通过减少对异构特征的依赖，推荐系统可以更好地保护用户隐私，同时通过全序列化建模，能够更好地捕捉用户的长期行为，从而提供更个性化的推荐服务。
以上是基于文档内容生成的学术报告，涵盖了研究的背景、流程、结果、结论及其价值。