AlignRec | 多模态推荐的对齐与训练

省时查报告-专业、及时、全面的行研报告库

省时查方案-专业、及时、全面的营销策划方案库

【免费下载】2024年3月份热门报告合集

大规模推荐类深度学习系统的设计实践.pdf

荣耀推荐算法架构演进实践.pdf

微信视频号实时推荐技术架构分享

推荐系统的变与不变

TLDR: 本文提出了一种新的多模态推荐系统框架来对齐和训练多种模态。具体的，将推荐目标分解为3种不同粒度的对齐，即内容内对齐、内容与分类ID之间的对齐与用户与项目之间的对齐。另外，针对每种对齐，设计了专门的损失函数来进行建模。

论文：https://arxiv.org/abs/2403.12384

ChatGPT4国内可以直接访问的链接，无需注册，无需翻墙，支持编程等多个垂直模型，点开即用：https://ai.zntjxt.com（复制链接电脑浏览器或微信中点开即可，也可扫描下方二维码直达）

随着多媒体应用的快速发展，多模态推荐系统发挥着越来越重要的作用，因为其可以利用用户交互之外的丰富上下文。现有方法主要将多模态信息作为辅助，利用它们来帮助学习ID特征;然而，多模态内容特征和ID特征之间存在语义鸿沟，直接利用多模态信息作为辅助特征会导致用户和项目的表示不对齐。

并且如何在多模态推荐场景中进行对齐目前还没有被专门研究。多模态推荐的输入不仅包含图像、文本等内容模态，还包含各种ID特征。它们都保持在各自的空间中，并且有着不同的分布。我们在上图中展示了Amazon Sports数据集中一些特征的可视化结果，发现图像和文本模态具有较大的不同分布，并且同一物品的内容和ID特征对也可以相距很远。因此，亟需设计一个统一的框架来对齐所有模态。

本文首先系统地研究了多模态推荐系统中的失调问题，并提出了一种对齐和训练框架AlignRec。

在AlignRec中，推荐目标被分解为3种对齐，即内容内对齐（D）、内容与分类ID之间的对齐（E）以及用户与项目之间的对齐（F）。每个对齐都具有特定的目标函数，并被集成到多模态推荐框架中。为有效训练AlignRec，建议从预训练第一个对齐开始，以获得统一的多模态特征，随后将以下两个对齐与这些特征一起作为输入进行训练。由于分析每个多模态特征是否有助于训练至关重要，设计了三类新的指标来评估中间性能。

在三个真实数据集上的广泛实验，验证了AlignRec与九个基线相比的优越性。并且AlignRec生成的多模态特征比目前使用的特征更好，这些特征后续将开源出来。

ChatGPT4国内可以直接访问的链接，无需注册，无需翻墙，支持编程等多个垂直模型，点开即用：

https://ai.zntjxt.com（复制链接电脑浏览器或微信中点开即可，也可扫描下方二维码直达）

「更多干货，更多收获」

【免费下载】2024年3月份热门报告合集

ChatGPT的发展历程、原理、技术架构及未来方向

某视频APP推荐策略详细拆解（万字长文）

关注我们

智能推荐

个性化推荐技术与产品社区

长按并识别关注

一个「在看」，一段时光👇