东莞做网站优化天助网络,网站 续费,个人网站制作图片,做公司子网站的请示报告来源#xff1a;数智化转型俱乐部
阿里巴巴集团很早就已经把大数据作为其战略目标实施#xff0c;而且其各个业务也非常依赖数据支撑运营#xff0c;那么阿里巴巴究竟采取何种方法构建自己的数据仓库模型呢#xff1f;阿里巴巴的数据仓库模型建设经历了多个发展阶段。
1数智化转型俱乐部
阿里巴巴集团很早就已经把大数据作为其战略目标实施而且其各个业务也非常依赖数据支撑运营那么阿里巴巴究竟采取何种方法构建自己的数据仓库模型呢阿里巴巴的数据仓库模型建设经历了多个发展阶段。
1完全应用驱动时代
第一个阶段完全应用驱动的时代阿里巴巴的第一代数据仓库系统构建在Oracle上数据完全以满足报表需求为目的将数据以与源结构相同的方式同步到Oracle称作ODS层数据工程师基于ODS数据进行统计基本没有系统化的模型方法体系完全基于对Oracle数据库特性的利用进行数据存储和加工部分采用一些维度建模的缓慢变化维方式进行历史数据处理。这时候的数据架构只有两层即ODSDSS。
2四层模型架构时代
第二个阶段随着阿里巴巴业务的快速发展数据量也在飞速增长性能成为一个较大的问题因此引入了当时MPP架构体系的Greenplum同时阿里巴巴的数据团队也在着手进行一定的数据架构优化希望通过一些模型技术改变烟囱式的开发模型消除一些冗余提升数据的一致性。来自传统行业的数据仓库工程师开始尝试将工程领域比较流行的ER模型维度模型方式应用到阿里巴巴集团构建出一个四层的模型架构即ODL操作数据层BDL基础数据层IDL接口数据层ADL应用数据层。ODL和源系统保持一致BDL希望引入ER模型加强数据的整合构建一致的基础数据模型IDL基于维度模型方法构建集市层ADL完成应用的个性化和基于展现需求的数据组装。在此期间我们在构建ER模型时遇到了比较大的困难和挑战互联网业务的快速发展、人员的快速变化、业务知识功底的不够全面导致ER模型设计迟迟不能产出。至此我们也得到了一个经验在不太成熟、快速变化的业务面前构建ER模型的风险非常大不太适合去构建ER模型。
3公共层模型数据架构体系时代
第三个阶段阿里巴巴集团的业务和数据还在飞速发展这时候迎来了以Hadoop为代表的分布式存储计算平台的快速发展同时阿里巴巴集团自主研发的分布式计算平台MaxCompute也在紧锣密鼓地进行着。我们在拥抱分布式计算平台的同时也开始建设自己的第三代模型架构这时候需要找到既适合阿里巴巴集团业务发展又能充分利用分布式计算平台能力的数据模型方式。我们选择了以Kimball的维度建模为核心理念的模型方法论同时对其进行了一定的升级和扩展构建了阿里巴巴集团的公共层模型数据架构体系。
数据公共层建设的目的是着力解决数据存储和计算的共享问题。阿里巴巴集团当下已经发展为多个BU各个业务产生庞大的数据并且数据每年以近2.5倍的速度在增长数据的增长远远超过业务的增长带来的成本开销也是非常令人担忧的。
阿里巴巴数据公共层建设的指导方法是一套统一化的集团数据整合及管理的方法体系在内部这一体系称为“OneData”其包括一致性的指标定义体系、模型设计方法体系以及配套工具。注本书中出现的部分专有名词、专业术语、产品名称、软件项目名称、工具名称等是淘宝中国软件有限公司内部项目的惯用词语如与第三方名称雷同实属巧合。 原文链接 本文为阿里云原创内容未经允许不得转载。
