百度研发出大模型加持的广告推荐新系统

2025-04-15 17:48:09

上月，百度团队于 arXiv 上发表论文，介绍了一种名为 COBRA（Cascaded Organized Bi - Represented generAtive Retrieval）的新算法框架，该框架被应用于提升生成式模型在广告推荐系统中的使用效果。工程师将 COBRA 框架应用于真实环境中的 A/B 测试，结果显示转化率提升了 3.6%，平均每用户收入（ARPU）增加了 4.15%。目前，该框架已经应用于百度的广告推荐业务中。

COBRA 框架融合了生成式和密集检索的技术，通过稀疏 ID 和稠密向量的结合，提供更全面的目标对象特征。稀疏 ID 负责提供稳定的类别基础信息，而稠密向量则确保模型能够捕获高级语义和细粒度细节，这种端到端的训练方法可以更好地捕获用户意图和协同信息。

在技术实现上，百度团队采用了 “残差量化变分自编码器（RQ - VAE）” 技术，综合了残差学习、量化技术和变分自编码器三种方法，以减少信息损失、提高模型的泛化能力，并通过优化模型参数，改善重构效果。实测效果表明，COBRA 框架在利用公开数据集（如 Amazon Product Reviews）和工业数据集（如百度工业数据集）进行离线和在线评估后，均优于目前业内最先进的方法。