网站开发中职教材,东莞网站建设排名公司,个人微信公众平台注册流程,网站 系统概述2023年初是人工智能爆发的里程碑式的重要阶段#xff0c;以OpenAI研发的GPT为代表的大模型大行其道#xff0c;NLP领域的ChatGPT模型火爆一时#xff0c;引发了全民热议。而最新更新的GPT-4更是实现了大型多模态模型的飞跃式提升#xff0c;它能够同时接受图像和文本的输入…2023年初是人工智能爆发的里程碑式的重要阶段以OpenAI研发的GPT为代表的大模型大行其道NLP领域的ChatGPT模型火爆一时引发了全民热议。而最新更新的GPT-4更是实现了大型多模态模型的飞跃式提升它能够同时接受图像和文本的输入并输出正确的文本回复。很多从事人工智能的同行一方面惊叹于GPT-4的优秀表现另一方面也为自己的职业生涯隐隐担忧。如果说“大算力强算法”的大模型是人工智能未来发展的趋势那么传统的机器学习算法在真实的业务场景中还有用吗会不会早晚被大模型取代我认为不会。每个业务场景都有其独特性优秀的算法工程师最难能可贵的地方在于对业务知识的透彻理解和长期沉淀。而业务知识就如同机器学习项目这棵大树的根理论知识如同大树的多个枝干算法应用如同枝干上的叶只有根扎得够深这棵大树才能够开枝散叶、开花结果。到目前为止大模型对于瞬息万变、复杂多样的业务形态的理解、思考还达不到人类算法工程师的水平即使有朝一日能够在大模型的基础上研发出各种不同业务场景的算法应用也依然需要算法工程师具备强悍的业务能力和扎实的机器学习理论知识来引导大模型对特定的业务场景进行有效学习。
身处人工智能爆发式增长时代的机器学习从业者无疑是幸运的人工智能如何更好地融入人类生活的方方面面是这个时代要解决的重要问题。滴滴国际化资深算法工程师王聪颖老师发现很多新人在入行伊始往往把高大上的模型理论背得滚瓜烂熟而在真正应用时却摸不清门路、抓不住重点导致好钢没用到刀刃上无法取得实际的业务收益。如果能有一本指导新人从入门到精通、从理论到实践的技术书籍那该多好这样不仅省去了企业培养新人的成本也留给了新人自我学习成长的空间。
本着这个初心王老师花了将近一年的业余时间来复盘总结了自己以及身边同事从小白成长为独当一面的合格算法工程师的成长历程和项目经验最终以理论结合实践的方式写入《机器学习高级实践计算广告、供需预测、智能营销、动态定价》这本书中希望能通过他的经验真正地帮助到对机器学习算法感兴趣的读者。 在本文中我们截取书中的部分内容将大家比较关注的机器学习领域新兴分支因果推断进行简要的介绍。
图书的京东链接在这里https://item.jd.com/14256304.html 点我购买直达
因果推断
因果推断是近年来机器学习领域新兴的一个分支它主要解决“先有鸡还是先有蛋”的问题。因此因果推断和关联关系最主要的区别是因果推断是试图通过变量X的变化推断其对结果Y带来的影响有多少而关联关系则侧重于表达变量之间的趋势变化如两个变量图片之间有相关性关系如果图片随着图片的递增而递增则说明图片和图片正相关如果图片随着图片递增而下降则说明两者负相关。因此因果性Causality和相关性Correlation有着本质的不同为了帮助读者更好地理解这里举个例子 某研究表明吃早饭的人比不吃早饭的人体重更轻因此“专家”得出结论——吃早饭可以减肥。但事实上吃早饭和体重轻很有可能只是相关性关系而并非因果关系。吃早饭的人可能是因为三餐规律、经常锻炼、睡眠充足等等一系列健康的生活方式最终导致了他们的体重更轻。图1所示为因果推断中的混杂因子描述了健康的生活方式、吃早饭、体重轻三者的关系。 很显然拥有健康的生活方式的人会吃早餐健康生活方式同时也会导致体重轻可见健康的生活方式是吃早餐和体重轻的共同原因。正是因为有这样的共同原因存在导致我们不能轻易地得出吃早餐和体重轻之间存在因果关系所以我们认为“专家”的结论是草率的。吃早餐和减肥之间只存在相关性不存在因果性并把这种阻断因果关系推断的共同原因称之为混杂因子。那么如图1右所示消除混杂因子寻找两个变量之间的因果关系并量化出来某种自变量X的改变影响了因变量Y的改变程度是因果推断主要探讨的内容。
因果推断的前世今生
纵观因果推断在统计学、机器学习领域的发展史不得不提及两位大牛人物一位是在1978年提出大名鼎鼎的RCMRubin Causal Model等同于潜在因果框架的Donald Rubin另一位是在1995年提出Causal Diagram框架的Judea Pearl。2021年10月诺贝尔经济学奖颁发给了在因果关系分析有突出贡献的Joshua D.Angrist和Guido W.Imbens而他们对因果关系的研究就是基于Rubin提出的潜在结果框架Rubin对因果推断领域的影响可见一斑。Rubin的另一大贡献是提出PSMPropensity Score Matching框架解决观测数据存在混杂因子的问题。Pearl提出的Causal Diagram框架则完全脱离了Rubin的RCM框架使用有向无环图来可视化的表示变量之间的因果关系并因为提出Causal Diagram的思想做因果推断的研究而在2011年获得图灵奖。两位因果推断领域的大牛人物开创了该领域两种不同的框架Pearl在2000年证明过两种框架是等价的而Rubin却不认同他的观点Rubin认为潜在结果框架能更清晰的表达因果推断问题目前潜在结果框架相较于因果图而言也是因果推断领域更常用的分析框架下面将分别介绍两种因果推断框架的分析视角。
1. 潜在结果框架Potential Outcome Framework
在介绍潜在结果框架之前先列出两个需要声明的假设来描述个体因果效应另外需要注意的是为了更快的帮助大家入门本文只描述二元处理即个体只有接受处理和不接受处理两种情况并对应两种处理方式的结果。 但是在现实世界中个体图片在同一时刻要么接受处理要么不接受处理不可能同时既接受处理又不接受处理因此个体因果作用是不可识别的个体的观测数据结果
在已知个体因果作用无法识别的情况下如何进行因果推断呢或许把因果作用的识别从个体转移到了总体身上是个行之有效的解决方案于是便有了平均因果作用ATE Average Treatment Effect的概念。平均因果作用不再比较个体的因果作用而是比较两组群体在不同的处理下的潜在结果这两组群体除了接受的处理不同之外必须具有同质的属性这样计算出的平均因果作用才能无偏随机对照实验Random controlled TrialRCT是保证两组群里无偏性的基本实验方法。把全量数据随机分为实验组Treatment Group和对照组Control Group其中实验组的T1对照组的T0那么平均因果作用的公式如下 其中Y(1)和Y(0)分别是接受处理情况下实验组的结果和不接受处理情况下对照组的结果。至此潜在结果框架下做因果推断的基本理论知识已经讲解完毕归纳起来主要有以下两点。
随机对照试验保证组别的同质性。从不可评估的个体因果作用转移向评估总体的平均因果效应。
有了随机对照试验就万事大吉了吗其实不然设想这样一个问题想要评估抗癌药物A对于患有癌症的病人的因果作用这种情景下还适合做随机对照实验吗答案显然是否定的首先癌症是重疾出于人道主义不可能完全随机出来一个对照组人群对其不进行抗癌药物干预其次即使有奉献主义精神的癌症患者同意参与随机对照实验在医疗的场景下实验周期长、费用昂贵也是随机对照实验最大的弊病。通过上面这个实例我们知道真实生活中并不是所有场景都适合做随机对照实验于是研究者们设法通过对观测数据进行一系列处理达到随机对照实验的效果其中最有名的就是Rubin提出的倾向分匹配算法Propensity Score MatchingPSM。
2.结构因果模型Structual Causal ModelSCM
结构因果模型是基于图结构来描述两个变量之间的因果关系因此在介绍SCM之前先来了解下贝叶斯网络。贝叶斯网络是一种基于有向无环图Directed Acyclic GraphDAG的概率图模型其自身并不能表示因果关系它表达的是变量之间的相关关系但贝叶斯网络的有向无环图是结构因果模型的图结构基础而贝叶斯网络的概率计算方式也是结构因果模型的推断基础。 有向无环图是由节点和有向边组成的有向边的上游是父节点有向边指向的方向是子节点。在DAG中的某个节点的父节点与其非子节点都独立根据全概率公式和条件独立性一个有向无环图中的所有节点的联合概率分布可以表达为 其中图片是所有指向图片的父节点为了更好地帮助读者理解有向无环图中的联合分布表达这里给出一个具体的DAG实例如图2所示。 图2. 有向无环图实例
根据有向无环图的条件独立性和联合概率分布的公式图2的联合分布可以表达为 每一个有向无环图产出了唯一的联合分布但是一个联合分布不一定只对应着一个有向无环图比如图片的联合概率分布有可能是图片也可能是图结构图片而两种图结构的因果关系完全相反这也正是贝叶斯网络不适合做因果模型的原因。为了把DAG改造成可以表达因果关系的因果图需要引入do算子。这里的do算子就表达的是一种干预图片表示将指向节点图片的有向边全部切除掉并且节点图片赋值为常数在do算子干预后DAG的联合概率分布有了变化表达为如下的形式 还是以图2为例假设do算子对节点图片进行了干预那么干预后的DAG的联合概率分布表达为 综上所述加入了do算子的DAG图可以表达因果关系其平均因果作用公式如下 有了do算子的DAG图就有了因果推断的灵魂但是新的问题来了并不是所有的实际问题都给出显式的图结构。大部分的真实情况是既无法得到图结构又无法观测到所有的变量。为了解决上述问题Pearl提出了后门准则的方法在介绍后门准则之前先来看下d-分离的概念。
d-分离的全称是Directional Separation它是一种判断变量之间是否独立的方法。对于以图结构为主的因果图而言常见的有三种路径结构如图3所示 图3.因果图的三种路径结构 在图3的链式、叉式、反叉式三种路径结构中反叉式结构中的A、C天然相互独立B又被称为对撞子链式或者叉式结构以B为条件可以阻断A和C之间的关联关系从而实现A、C相互独立。d-分离就是为了达到变量独立的目的而对不同的路径结构采取的阻断的操作具体的d-分离法则归纳起来如下。
当某条路径上有两个箭头同时指向某个变量时那这个变量称之为对撞子并且这条路径被对撞子阻断。如果某条路径含有非对撞子那么当以非对撞子为条件时这条路径可以被阻断。当某条路径以对撞子为条件时这条路径不仅不会被阻断反而会被打开。
这里需要注意的是以某个变量为条件指的是指定某个变量的值比如以年龄这个变量为条件就是指定年龄为0或者1。
在了解d-分离法则是可以通过以某个变量为条件进行阻断从而实现变量间的独立之后便可以结合后门准则消除混杂因子对未知结构的因果图进行因果推断了。在弄清楚后门准则之前需要了解后门路径、前门路径的概念。从变量X到变量Y的后门路径就是连接X到Y但是箭头不从X出发的路径与之相应的前门路径是连接X到Y且箭头从X出发的路径后门准则的定义是可以通过d-分离阻断X和Y之间所有的后门路径那么我们认为可以识别从X到Y之间的因果关系并把阻断后门路径的因子称之为混杂因子。至此知道了后门准则的方法无须观测到所有的变量只需要观测到以哪个变量为条件可以消除后门路径从而使得X到Y之间的因果关系可识别。
3.总结
不管是潜在结果框架还是结构因果模型因果推断主要是从原因X推断结果Y的过程为了保证原因X和结果Y之间没有混杂因子一般选择在数据样本充足且实验条件允许的情况下做随机对照实验。当条件不允许做随机对照实验时通过对观察数据进行处理从而达到消除混杂因子对原因X的影响的目的。 除了为广大开发者量身打造的优质内容这本书还得到了多位专业人士的认可及推荐。
肖仰华 复旦大学计算机科学技术学院教授, 知识工场实验室负责人
作者结合实际应用场景深入浅出地介绍了机器学习的相关理论与技术。案例翔实、代码丰富具有较强的可操作性对于机器学习的新手以及从业者来说都是一本十分有益的参考书。
刘红岩 清华大学管理科学与工程系教授
翻开这本书不会觉得在读教科书也感觉不到写代码带来的枯燥像是在身临其境地与熟悉的老朋友一起解决实际问题, 抽丝剥茧地将复杂化简呈现帮助读者朋友快速搭建知识体系掌握机器学习技术。
傅湘玲 北京邮电大学计算机学院教授博士生导师
作者结合自己在北邮硕士期间的理论积累和进入互联网企业工作后的实践经验编写的本书既有完善的理论体系又配有互联网的真实项目案例是帮助读者快速成长为优秀算法工程师的技术宝典。
陆全 阿里巴巴高级总监
与本书作者相识多年很佩服他们在工业界机器学习算法落地应用方向做出的贡献。现在作者将他们多年积累的实践经验毫无保留地总结出来为在机器学习领域里寻求不断提升的年轻人提供了一份宝贵的参考和指南。
秦志伟 Lyft首席科学家
本书从基础算法理论到业界核心的业务案例有很好的平衡和覆盖。即使是有经验的算法工程师在细读本书后也一定会觉得在思路拓展上受益匪浅。它是工程师书架上不可或缺的一本机器学习算法实践参考书籍。
王亮 阿里巴巴资深算法专家
经过几十年的发展机器学习技术已经从实验室里走出来和越来越多的应用场景深度结合不断地引领搜/广/推等领域的发展我们相信未来机器学习会变成各行各业的一个基础工具。本书结合机器学习的开发工具和业界机器学习应用案例让读者能够快速上手实践掌握这门技术。
夏真 杭州排列科技有限公司 CEO
机器学习技术发展速度很快很多教材对于行业工作人员来说稍显落伍。本书是市面上少有的、把机器学习在几大行业应用讲透彻且案例丰富的参考书。作者用自己强大的理论基础和多年行业实战经验进行的总结推荐行业人员必备
蒲杰 UBiX CTO
机器学习技术是人工智能的核心已被广泛应用于各工业领域。本书始于机器学习基础理论终于业界四大核心实战场景。一方面能够很好地帮助读者掌握机器学习在工业界的工作流程另一方面结合实战场景有助于提高读者机器学习实践能力。诚挚地向想了解或从事机器学习领域的读者推荐此书。
魏维 伊利诺伊大学厄巴纳香槟分校副教授
本书理论联系实践系统地介绍了机器学习的背景、模型以及不同业务场景下的应用实践。书中案例的设计十分具有启发性。根据读者背景的不同该书既可以作为实务操作的入门手册也可以作为进阶理论学习的预备材料。
