网站数据丢失怎么办,深圳互联网营销外包,打开部分网站很慢,中国制造网服务种类来源#xff1a;雷锋网概要#xff1a;本文梳理了过去一年多搜索在深度学习方向上的探索#xff0c;概要的介绍了我们在深度学习系统、深度学习算法和搜索应用落地的进展和思考。以深度学习为代表的人工智能在图像、语音和 NLP 领域带来了突破性的进展#xff0c;在信息检索… 来源雷锋网概要本文梳理了过去一年多搜索在深度学习方向上的探索概要的介绍了我们在深度学习系统、深度学习算法和搜索应用落地的进展和思考。以深度学习为代表的人工智能在图像、语音和 NLP 领域带来了突破性的进展在信息检索和个性化领域近几年也有不少公开文献比如 wide deep 实现了深度模型和浅层模型的结合dssm 用于计算语义相关性deepfm 增加了特征组合的能力deep CF 用深度学习实现协同过滤rnn recommender 采用行为序列预估实现个性化推荐等。工业级的信息检索或个性化系统是一个复杂的系统工程深度学习的工业级应用需要具备三个条件强大的系统计算能力优秀的模型设计能力和合适的应用场景我们梳理了过去一年多搜索在深度学习方向上的探索概要的介绍了我们在深度学习系统、深度学习算法和搜索应用落地的进展和思考希望对大家有所启发。深度学习在搜索的应用概括起来包括 4 个方面首先是系统强大的深度学习训练平台和在线预测系统是深度学习应用的必要条件目前我们的离线深度学习框架、在线深度学习框架和在线预测框架统一到 tf并实现了日志处理特征抽取模型训练和在线服务部署端到端的流程极大提升了算法迭代效率其次是搜索应用包括智能交互语义搜索智能匹配和智能决策四个技术方向这四个方向的协同创新实现了搜索全链路的深度学习技术升级并具备从传统的单场景单目标优化到多场景多目标联合优化的能力再次是在性能优化上做的工作包括模型压缩、量化、低秩分解再到二值网络大量的技术调研和论证为未来提高深度模型预测性能和软硬件协同优化做了很好的技术铺垫最后是排序平台化实现了 PC 商品搜索、无线商品搜索、店铺内搜索搜索和店铺搜索的搜索服务统一通过特征和模型复用实现了多条业务线技术的快速升级。下面我会简要的概括下在四个方向上取得的主要进展和背后的思考。下面是搜索系统和算法的简图。系统包括: a. 离线数据平台 ODPS负责离线日志 join、特征抽取和离线模型预估产出排序特征时效性不强的特征都是通过离线数据平台产出的比如用户性别标签商品关键字等; b. 离线机器学习平台 PAI底层是主流的 parameter server 和 TF 深度学习框架平台实现了大部分机器学习算法模型的并行训练和预测在搜索应用中主要作用是离线模型训练产出离线排序特征模型c. 流式计算和在线学习平台 Porsche流式计算是基于 blink 负责实时日志解析和特征 join 生成实时排序特征在线学习和离线学习底层框架可以相同差别主要是依赖数据源和部分优化方法不同由于用户行为和市场环境变化快流式计算和在线学习在搜索应用非常广泛并积累了不少在线学习和强化学习算法d. 在线服务平台包括引擎、排序服务和搜索平台组成负责在线的服务分发、索引查询、排序服务和结果合并等功能搜索的排序策略、相关性、个性化等模型主要通过在线预测服务生效。经过多年发展我们已经具备了非常完善的商品搜索排序算法体系包括知识图谱、分词、tagging、类目预测、意图预测、拼写纠错、query 推荐、query 语义改写、相关性、商品标签、商品质量、店铺分层、用户 profile、用户偏好、用户感知、召回策略、个性化模型、多样性策略、异构服务混排策略、多目标联合优化策略、多场景联合排序策略等并平台化的方式赋能相关业务团队。搜索系统和算法简图系统进展包括机器学习平台和在线预测平台机器学习平台。搜索训练样本主要来自用户行为由于用户行为是流式数据适合做在线深度学习但当模型参数非常庞大需要海量的样本时在线学习需要很长的时间才能收敛这时一般是先做离线预训练再结合增量或在线学习另外有些模型离线预训练后在线只需要对接近输出层的网络做 fine-tuning。搜索在实际应用的有离线机器学习平台 PAI 和在线机器学习平台 Porsche两个平台深度学习框架目前都统一到了 tf-paitf-pai 对原生 tf 做了一些优化比如底层通讯稀疏参数存储、优化方法、GPU 显存优化等比原生 tf 训练深度有较大的提升训练上千亿样本和上百亿参数的深度模型毫无压力。虽然 Porsche 和 PAI 都支持 GPU但在搜索应用中 CPU 依然是主流GPU 应用比较少原因主要是个性化相对图像或语音简单特征抽取网络比较浅维度相对较低GPU 的稠密矩阵计算能力得不到充分发挥同时离在线混布后流量低谷期间腾出了大量的在线服务闲置 CPU把临时闲置的 CPU 利用起来做深度学习训练是一个非常好的思路。 在线预估 RTP搜索排序算分服务。由于每次搜索请求有上千个商品需要计算排序分数深度模型应用对 RTP 服务的压力是非常大的RTP 通过采用异构计算计算算子化和模型分片等方式解决了深度模型 inference 计算和存储问题深度模型用 GPU浅层模型用 CPU今年双 11 期间搜索 RTP 服务用到了 550 张 GPU 卡。另外RTP 还实现了离线/在线训练模型/数据和在线预测服务部署的无缝衔接算法训练好的模型或数据可以很轻松的部署都在线服务提升了算法迭代效率。算法包括智能交互、语义搜索、智能匹配和搜索策略四个方向智能交互。商品搜索就是带交互的商品推荐用户通过关键字输入搜索意图引擎返回和搜索意图匹配的个性化推荐结果好的交互技术能够帮助到用户更好的使用搜索引擎目前搜索的交互主要是主动关键字输入和关键字推荐比如搜索框中的默认查询词和搜索结果中的文字链等推荐引擎根据用户搜索历史、上下文、行为和状态推荐关键字。和商品推荐的区别是关键字推荐是搜索链路的中间环节关键字推荐的收益除了关键字的点击行为外还需要考虑对整个购物链路的影响包括在推荐关键字的后续行为中是否有商品点击、加购和成交或跳转到另外一个关键字的后继行为这是一个典型的强化学习问题action 是推荐的关键字候选集合状态是用户当前搜索关键词、上下文等收益是搜索引导的成交。除了被动的关键字推荐我们也在思考搜索中更加主动的交互方式能够做到像导购员一样的双向互动主动询问用户需求挑选个性化的商品和给出个性化的推荐理由目前阿里搜索团队已经在做智能导购和智能内容方向的技术原型及论证智能导购在技术上主要是借鉴对话系统通过引导用户和引擎对话与关键字推荐方式互为补充包括自然语言理解对话策略对话生成知识推理、知识问答和商品搜索等模块功能主要包括a. 根据用户搜索上下文生成引导用户主动交互的文本比如搜索「奶粉」时会生成「您宝宝多大0~6 个月6 个月到 1 岁….」引导文案提示用户细化搜索意图如果用户输入「3 个月」后会召回相应段位的奶粉并在后续的搜索中会记住对话状态「3 个月」宝宝和提示用户「以下是适合 3 个月宝宝的奶粉」。b. 知识导购包含提高售前知识问答或知识提示比如「3 个月宝宝吃什么奶粉」回答「1 段」。目前对话技术正在提高中尤其是在多轮对话状态跟踪、知识问答和自动评价几个方面但随着深度学习、强化学习和生成对抗学习等技术在 NLP、对话策略、阅读理解等领域的应用越来越多的训练数据和应用场景domain specific 的对话技术未来几年应该会突飞猛进。智能内容生成包括生成或辅助人工生成商品和清单的「卖点」短标题和文本摘要等让淘宝商品表达更加个性化和多元化。语义搜索。语义搜索主要是解决关键字和商品内容之间的语义鸿沟比如搜索「2~3 周岁宝宝外套」如果按照关键字匹配召回结果会远小于实际语义匹配的商品。多智能体协同学习实现智能决策搜索中个性化产品都是成交最大化导致的问题是搜索结果趋同浪费曝光今年做的一个重要工作是利用多智能体协同学习技术实现了搜索多个异构场景间的环境感知、场景通信、单独决策和联合学习实现联合收益最大化而不是此消彼长在今年双 11 中联合优化版本带来的店铺内和无线搜索综合指标提升 12% (AB-Test)比非联合优化版本高 3% (AB-Test)。性能优化。在深度学习刚起步的时候我们意识到深度模型 inference 性能会是一个瓶颈所以在这方面做了大量的调研和实验包括模型压缩 (剪枝)低秩分解量化和二值网络。通过以上技术今年双 11 期间在手淘默认搜索、店铺内搜索、店铺搜索等均取得了 10% (AB-Test) 以上的搜索指标提升。阿里巴巴人工智能搜索应用的未来计划 通用用户表征学习。前面介绍的 DUPN 是一个非常不错的用户表征学习模型但基于 query 的 attention 只适合搜索同时缺少基于日志来源的 attention难以推广到其他业务在思考做一个能够适合多个业务场景的用户表征模型非搜索业务做些简单 fine tuning 就能取得比较好的效果同时用户购物偏好受季节和周期等影响时间跨度非常大最近 K 个行为序列假设太简单我们在思考能够做 life-long learning 的模型能够学习用户过去几年的行为序列搜索链路联合优化。从用户进入搜索到离开搜索链路中的整体优化比如 搜索前的 query 引导底纹搜索中的商品和内容排序搜索后的 query 推荐锦囊等场景 跨场景联合优化。今年搜索内部主搜索和店铺内搜索联合优化取得了很好的结果未来希望能够拓展在更多大流量场景提高手淘的整体购物体验多目标联合优化。搜索除了成交外还需要承担卖家多样性流量公平性流量商业化等居多平台和卖家的诉求搜索产品中除了商品搜索外还有「穹顶」「主题搜索」「锦囊」「内容搜索」等非商品搜索内容不同搜索目标和不同内容物种之间的联合优化未来很值得深挖。智能交互。「搜索排序做的再好搜索也只是一个工具」如何把搜索从工具做成私人导购助手能够听懂你的语言了解你的情绪能够对话和多轮交互解决售前售后困惑推荐更加个性化的商品应该是搜索未来的另外一个主要发展方向。未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能互联网和脑科学交叉研究机构。由互联网进化论作者计算机博士刘锋与中国科学院虚拟经济与数据科学研究中心石勇、刘颖教授创建。未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
