网站建设公司电话,微信订阅号做微网站,app运营模式,有什么软件可以做网站文 | 卖萌酱大家好#xff0c;我是卖萌酱。众所周知#xff0c;与CV、NLP不同#xff0c;搜索、广告、推荐领域的学术界paper在很多问题上喜欢各玩各的#xff0c;缺乏一个统一可比的benchmark。就推荐/广告中核心的CTR预估问题来讲#xff0c;从传统的LR、FM到WideD… 文 | 卖萌酱大家好我是卖萌酱。众所周知与CV、NLP不同搜索、广告、推荐领域的学术界paper在很多问题上喜欢各玩各的缺乏一个统一可比的benchmark。就推荐/广告中核心的CTR预估问题来讲从传统的LR、FM到WideDeep、DeepFM、DCN、DFN等花里胡哨的模型看似模型结构越来越fancy但真实效果来说我觉得每个CTR从业者往往都心知肚明这么nb的模型放在我的业务场景里怎么就没了效果捏关注CTR问题的小伙伴可能会对2020年华为发表在CIKM21的一篇论文有印象论文标题Open Benchmarking for Click-Through Rate Prediction论文链接https://arxiv.org/pdf/2009.05794.pdf论文对2007-2020年提出的若干CTR模型做了统一的评测。然而一直到几个月前这个benchmark才刚刚开源。。。尽管开源行为非常低调但还是被卖萌酱抓到了贴上repo链接https://github.com/huawei-noah/benchmark/tree/main/FuxiCTR关于这个CTR Benchmark下面贴上知乎大佬失落的萨特 对此的评价[1]有些实践经验的小伙伴都知道迭代了几轮之后的搜索推荐排序模型模型结构的优化空间是非常小的。很多论文提出的idea也就在toy dataset上面跑跑拿到大公司的核心业务场景上基本没什么用。排除作者恶意灌水之类的问题原因可能是搜索推荐是个工业场景对比CV NLP核心的数据和系统相对闭源public dataset的特征样本数据背后对应的问题对于大公司核心业务场景来说都太简单了。在这样简单的数据/任务上做的提升可能是没办法迁移到复杂的真实系统中。各个公司发的文章有时候也没办法真正相互借鉴因为大家的数据和系统还是不同的系统的完善程度复杂度数据的规模特征的复杂度系统和用户交互的真实情况仍然存在很大的差异。说白了公司里面一些小场景做的提升拿到大场景上就未必有效了更别提放到其他公司其他系统其他数据上。每篇paper都号称吊打SOTA可惜其实没几篇是真正的SOTA。大公司的算法工程师忙着处理数据和迭代系统大家的日常工作就不是在一个相对固定的环境上冥思苦想刷分打榜。等工作拿到业务效果要发paperPR时候才随便找个公开数据集跑跑跑出来的实验结论可想而知。综上其实现在搜推广的research community面临各说各话关公战秦琼的窘境真实有效的方法不多。当然可能其他深度学习领域也是类似的。说回这篇FuxiCTR做了一个CTR模型的benchmark在Criteo, Avazu两个数据集上对比了最近几年经常提到的一些模型。因为是benchmark类的文章实验做的还是比较严谨的下面是实验结果几点个人看法:两个数据集上SOTA对比DNN大概0.3%, 0.4% CTR AUC的提升。提升幅度终于有点和工作中对的上了。现在一些paper随便改改网络连接就report几个点的AUC提升嗯还沉迷在做科幻作家的状态。两个数据集对比大公司核心业务场景的数据还是toy dataset。二三十个特征几千万的样本做explicit feature interaction的模型收敛快可能会占点便宜。但真实的搜推场景往往是数据源源不断模型越来越大的在增量训练的情况下0.3~0.4%相对DNN的优势都不见得保持住。对于这么小的数据集要做0.3%~0.4% CTR AUC的提升其实有很多其他办法比如做做特征工程DNN加大加宽增量训练ODL跨场景正样本迁移等等。在上面这些都做过几轮优化的情况下模型的baseline已经很强了文中提到的0.3%~0.4%的结构优化提升可能会收敛到0.1%~0.2%甚至根本不存在。总结下还是希望看到更多FuxiCTR这样的工作让整个RS/IR community能多点共识论文和工作能少点割裂。参考资料[1]读paper--FuxiCTR: https://zhuanlan.zhihu.com/p/404814833后台回复关键词【入群】加入卖萌屋NLP、CV与搜推广求职讨论群后台回复关键词【顶会】获取ACL、CIKM等各大顶会论文集
