网站后台口令,wordpress替换,赣州今天招工信息赣州人才网,浙江住房和建设厅网站作者 | 耿立超来源 | 《大数据平台架构与原型实现#xff1a;数据中台建设实战》“我的企业目前在数据应用上处于什么水平#xff1f;接下来应该朝哪个方向努力#xff1f;”本文试图帮助企业决策者和IT负责人解答这一问题。今天#xff0c;数据之于企业的重要性已经勿须多… 作者 | 耿立超来源 | 《大数据平台架构与原型实现数据中台建设实战》“我的企业目前在数据应用上处于什么水平接下来应该朝哪个方向努力”本文试图帮助企业决策者和IT负责人解答这一问题。今天数据之于企业的重要性已经勿须多言建设数据驱动型企业已成为众多企业的战略目标之一。在这一趋势的引领下很多企业开始了新一代数据平台例如数据中台的建设工作然而在启动这一具有挑战性的工作之前企业首先需要冷静客观地审视一下自己的数据生态弄清楚目前所处的能力水平以及下一步努力的“方向”。只有这样才能确保后续工作沿着正确的方向展开这可能也是企业在构建全新的大数据平台或数据中台前最先需要弄清楚的问题。本文将就这一命题展开详细论述。本文核心观点援引自作者所著的《大数据平台架构与原型实现数据中台建设实战》一书。如何度量企业的数据应用能力?企业的数据应用能力决定了企业在“数据”这座金矿中所能攫取的价值大小既然是一种能力就会有强有弱有高有低收集并统一存储数据只是建立良好数据生态的第一步数据背后的真正“价值”需要通过专业的手段进行挖掘才能获取。“如果数据是燃料那么分析就是引擎”对于一家企业而言既要储备燃料也要装配引擎只有同时具备了数据和分析能力才能从数据中提炼出有价值的信息。为了清晰地度量企业在数据应用上的能力水平我们对数据应用涉及的多个方面进行了归纳和总结得到一个“企业数据应用能力成熟度模型”图1 企业数据应用能力成熟度模型在这个模型中我们引入四个等级和两个维度来度量企业的数据应用能力1、第一层级数据流程自动化 数据流程自动化指的是数据从产生的源头到使用的末端是全自动的流程中间没有手工操作全部通过系统间的对接完成。可能有的读者会认为这一能力不足以成为一个独立的等级因为大多数高度信息化的企业都已实现了系统间的集成即使是以最原始的文件形式交换数据也实现了流程自动化然而在很多企业中实际的情况却并非如大家想象中那样理想。现实中企业的数据来源丰富多样既有自身业务系统产生的数据也有外部系统和供应商提供的数据还有业务人员日常手工维护的大量表格和纯文本数据很多企业可能已经完成了对自有应用系统的自动化数据采集与处理但是对于大量的外部数据和业务人员手工维护的数据往往还没有建立起有效的自动化处理机制这些数据往往有这样一些特点格式不规范经常变动缺乏基本的校验容易出现错误数据数据供给周期不固定。这些原因导致了这类数据很难被自动化获取和处理而很多时候这些数据恰恰又是业务流程闭环中的重要组成部分缺失这些数据会导致无法进行分析或极大影响结果的准确性。造成这类数据大量存在的原因有两点企业的信息化程度依然不够在业务的某些局部环节或领域存在系统空白从而需要业务人员手工介入以文件和表格的方式维护数据企业的数据资产意识不足对数据规范化的重视程度不够缺乏一些管控和约束机制。相应的企业实现数据流程高度自动化需要做好如下几点持续进行企业信息化改造和升级将IT系统覆盖到企业的全部业务流程中这可以在很大程度上避免手工维护数据的情况发生因为当所有的业务流程都通过IT系统来驱动时数据会自然沉淀到系统的后台数据库中且这些数据都已经过了系统的校验和规范化处理质量已得到大幅提升同时也能方便地被提取出来放入数据平台从企业管理层开始建立“数据资产”意识成立专门的数据治理组织有计划地规范和治理企业的数据生态对于重要的数据要制定统一而规范的格式避免对数据格式进行随意改动。2、第二层级报表与数据可视化在收集到足够多的企业数据后就可以开展常规报表和数据可视化的开发工作了这是目前多数传统企业所处的阶段它们通过传统的数据仓库技术收集并整理了大部分的企业数据通过报表工具向业务和管理人员提供一些常规的报表这些报表通常面向生产、供应链、销售、市场、财务等不同的业务环节在时间粒度上最细可达daily级别。数据的展示形式多以表格为主同时也会借助报表工具进行图形化展示。过去报表大多在PC端展示随着移动应用的兴起开始出现越来越多面向企业用户开发的手机APP和微信小程序在这些终端上提供报表服务正越来越受企业业务用户的欢迎。在这一层级上的企业对于数据处理和分析表现出如下一些特征基本上完成了与各个业务系统的对接数据能被自动化采集已经建立了数据仓库体系企业数据可以被有效地统一管理已经开发了业务上迫切需要的一些核心报表业务对数据系统的依赖度高依托于成熟的数仓平台新的报表和数据展示需求都可以较快地开发完成并投入使用。第二层级是很多企业目前停留的阶段并且可能在这一层级上停留了很多年因为很多企业都在这一层级上遇到了“瓶颈”很难再发展到下一层级主要原因有以下三点传统的单体数仓系统缺乏水平伸缩的能力已经无力应对企业数据爆炸式的增长不得不放弃或暂缓了对某些新业务数据的集成传统数仓只能处理关系型数据对于越来越多的图片、视频和其他非关系型数据无能为力而这些数据往往是由新业务形态产生的对于这类数据处理能力的缺失会让企业错失新的市场机遇传统数仓只能进行批量处理缺乏实时数据处理和供给能力。如果企业想突破这些瓶颈就需要将自己的数据平台升级到以大数据和AI为技术核心的新一代数据平台然后重建数据版图。3、第三层级数据与业务融合在第二层级时对于数据的应用只局限在“描述”业务上并没有使数据参与到业务中各种报表在业务用户的工作中扮演的是一种辅助性角色对于业务的影响是通过业务用户和管理者在报表的支持下做出的判断和决策从成熟度模型上看这是一种被动和滞后的数据应用方式并没有充分地发挥出数据蕴含的潜能。在进入第三层级之后这个状况会逐渐被扭转数据开始与业务进行融合数据以及数据处理能力将全面参与到业务流程的各个环节中去从而产生更大的价值。这是一个全新的阶段是数据驱动型企业在具备了大数据处理能力之后借助AI和机器学习而达到的一种更加智能的企业信息化水平在这一层级上企业将具备如下能力数据直接赋能业务数据分析的结果将直接反馈回业务系统作为业务系统某些关键性操作的直接输入已对丰富的多维度数据进行了融合可以更加准确地刻画数据背后的“事实”已具备实时的数据处理能力可以让业务用户实时掌握业务动向大数据平台已经成熟且稳定已经出现基于传统的机器学习和数据挖掘的应用在某些局部领域开始出现小范围的深度学习案例。第三层级看上去有些抽象我们可以通过一些案例来解读。例如会员体系是CRM系统中非常核心的一个功能其中的会员积分计算是一个逻辑复杂且牵涉数据量巨大的操作消费者的每一笔交易和若干行为都会触发积分的计算传统的CRM系统很难实现用户积分的实时计算基本都是按天进行批量处理这样一来用户体验就会变差。现在很多新的CRM系统都在积极地引入大数据的流式计算引擎通过实时处理用户交易和行为数据确保了用户积分的及时累加与兑换大大提升了用户体验。这是数据与业务融合的一个非常好的案例即借助大数据的计算能力来实现业务上的数据处理需求。另一个案例是用户画像系统用户画像是基于用户的基本信息消费记录社交行为等多种数据进行数据建模之后通过算法生成的关于用户的一套标签体系这些标签全面刻画了用户的特征和属性因此被称为“用户画像”。用户画像系统在CRM、精准营销和以用户为中心的产品与服务创新上发挥着重要作用是很多2C端企业非常看重的一类系统同时它也是典型的大数据系统但功能和定位又是业务性极强的应用系统。从第二层跃升到第三层时企业的数据基础设施会面临一次脱胎换骨的革新传统的关系型数据库数据仓库和BI等基础设施已经不能支撑第三层级的诸多需求了这时需要企业构建下一代的数据平台。业界对于“下一代数据平台”的认知经历过一些更迭早期方案是使用大数据技术替换传统的数仓系统后来出现了Data Lake——数据湖的理念其方案还是以大数据作为主要的技术支撑但是在理念上比传统数仓又有创新而现在业界特别是国内最认可也是呼声最高的方案则非“数据中台”莫属了。4、第四层级深度洞察与预测现在人们的一个共识是数据除了可以告诉我们现在还可以“预知未来”深度洞察与预测是数据金字塔最顶端的价值输出也是目前我们认为的企业可以达到的数据应用能力最高层级即运用AI和深度学习对数据进行深度洞察揭示传统分析方法无法发现的数据特征并基于现有数据对未来趋势进行预测。我们来看一下企业到达第四层级后会具备哪些能力。前面我们提到的智能门店选址的案例就是第四层级上的一个代表案例对于零售行业来说门店选址是非常重要的会直接影响到零售商的销售业绩传统选址的做法是通过人工现场勘查再经过主观判断而确定下来的这种方式选出的门店其实际效果难以量化成功率无法保证而如果能够基于人口、消费、竞争对手、环境业态和交通路网等丰富的多维度数据再配置适当的人工智能算法进行综合分析是可以得出更加精准的选址方案的并且不单单是门店位置还可以给出门店的预计销售额、门店产品的上货策略等更加细致和完备的数据。另一个示例是智能客服系统这类系统可以针对顾客提出的问题进行语义识别然后根据提出的问题在知识图谱中进行搜索寻找匹配的答案或决策人工智能客服可以7*24小时在线随时解答顾客的问题既提高了客户满意度又能节省商家的人力成本。以上四个层级并不一定非要自下而上逐层构建实际上很多企业的数据生态是在上层业务的驱动下自然形成的并不会像模型中描述的这样层次分明但是能力模型能给到企业管理者一个清晰的认识即自身企业目前整体上停留在哪个层级上以及接下来应该向哪个方向发展。5、两个纵深维度决策支持与业务创新最后在成熟度模型图的右侧还有两个贯穿始终的维度决策支持与业务创新它们既是企业构建数据平台进行数据分析的价值导向也是企业数据应用能力持续输出的效果企业达到的层级越高对于决策支持与业务创新起到的支撑作用就越大越明显。在这两个纵深维度上企业需要做的是建立业务部门与技术团队的互信以产出业务价值进行业务创新作为双方共同追求的目标同时潜移默化地培育企业的“数据文化”在企业内部形成“用数据说话”的氛围。所以这两个纵深维度更多考察的是企业在数据方向上的管理、协作以及企业文化是一个需要从管理者开始缔造和推动全员参与的良性互动过程。在这一过程中业务团队需要培养更好的数据素养善于通过数据分析业务现状并依靠数据进行业务决策而技术团队则应不断加强数据平台的各项能力确保更好的服务于业务分析同时积极主动地学习业务知识从IT视角为业务创新提供新鲜素材。如何度量企业的数据技术水平?前面我们是从数据应用的“效果”上观察企业的数据能力当落地到实现层面时“技术”就是不可或缺的了构建数据平台通常是从基础设施建设开始的然后配合业务上的需求逐步完善和打通各个技术环节。在这里我们不讨论传统技术框架下的构建路线和方案因为正如前面提到的如果企业想晋升到第三或更高的层级就需要以大数据技术作为基石构建新的数据平台所以我们下文讨论的所有技术内容都是以大数据作为背景展开的。图2 企业数据技术成熟度模型1、第一层级IT 基础设施首先IT基础设施是当然的前置条件构建基础设施包括硬件机器的安装组网和调试操作系统和必要软件工具的安装然后在硬件资源之上安装和维护一个大数据集群这个集群将负责承载企业全部数据的存数和处理任务。如果再宽泛一些用于支撑平台运行的基础服务例如DevOps数据和算法服务使用的容器和容器编排服务等也都算在基础设施内。过去企业的IT基础设施大多建设在自有机房或是租用数据中心的服务器随着云计算的普及越来越多的企业开始把部分的基础设施迁移到云上形成“混合云”架构。基于云平台的基础设施在运维的便捷性、性能的可伸缩性和成本控制上都有显著的优势同时在PaaS层面上云计算厂商也提供对标on-premise的数据平台服务如AWS的EMR等这些因素促使越来越多的企业选择将新一代数据平台建设在云上。但是需要提醒的是在云平台上企业需要特别重视数据安全问题。 2、第二层级数据采集/存储/标准化有了必要的基础设施之后就可以展开数据的采集、存储和标准化工作了这一工作也可以简单地表述为数仓的建设过程。这一阶段需要将分布在各个业务系统里的数据收集起来在进行一些必要的规范化处理之后存储到一个统一的大数据平台上这是一个长期的迭代过程特别是在建设初期上层对数据的广泛需求和下层集成数据源的繁重工作之间会存在冲突我们建议企业通过启动一到两个大型项目来驱动这一阶段的建设工作然后在中后期维持一个规模较小的团队持续跟进其他数据源的接入工作当企业在这一层级积累一段时间后就可以交付相应的报表和数据可视化应用了。3、第三层级实时处理、AI/机器学习再接下来进入第三层级就要将技术平台推升到更高水平了这里有两项非常重要的技术拓展实时处理和AI/机器学习这是现代大数据平台两项标志性的技术能力。实时处理是指通过流式计算、NoSQL数据库等技术实现大体量数据的实时处理和读写实时的数据处理能力对一些实时性要求很高的业务场景至关重要这也是以往传统数据平台很难做到的。由于实时处理对技术和研发人员的要求都更高因此大多数企业一般会先完善平台的批量处理能力然后再逐步拓展到实时处理领域。另一个领域就是AI/机器学习方面的建设了这一领域对技术能力的要求更高且参与人员的角色和背景也与传统的IT人员有所不同进入到该阶段时IT团队需要引入数据科学家算法工程师等AI领域的人才。最后实时处理和AI/机器学习这两大领域的能力是可以同步培养的彼此之间没有太大的依存关系。当企业具备了第三层级的技术能力之后就可以有力的支撑应用能力模型中的最高层级“深度洞察与预测”了。4、第四层级数据产品最后技术维度上企业的数据能力还有一段上涨空间那就是以业务领域为划分依据将现有各个层级上的技术能力进行提炼并培育成“数据产品”从功能、性能、灵活性和可扩展性等多种维度上进一步提升数据平台的技术成熟度。甚至一些长期服务于某些行业的乙方公司基于它们常年的积累可以有能力将一些完善的内部数据平台进行二次封装与提炼形成行业解决方案。5、两个纵深维度数据服务和数据治理与四个层级建设并行的还有两项贯穿始终的工作数据服务和数据治理。数据服务是指将数据平台上的各种数据以服务的方式提供给其他系统这种“服务”可以通过Restful APIJDBCODBCFTP等形式或协议体现出来这是将数据应用能力辐射到企业的各个系统与业务领域上的关键一步没有灵活而有效的数据接口数据平台在企业范围内发挥的作用就会受到限制。与此同时数据治理也是一个长期的持续性的工作数据治理就是对企业的数据资产进行清晰的梳理明确管理职责建立配套的标准规范同时要确保所有策略和规范能落地执行数据治理的最终目的就是保障数据质量。应用能力成熟度模型和技术成熟模型之间是有关联的根据我们的经验当企业的技术成熟度达到第二层级时可以支撑应用能力成熟度的第二层级和部分的第三层级当技术成熟度达到第三层级时就可以支撑应用能力成熟度的第三和第四层级了至于第四技术层级是一个技术上更加完备的等级通过将数据服务产品化为终端用户提供更加高级和便利的服务。关于作者耿立超架构师14年IT系统开发和架构经验对大数据、企业级应用架构、SaaS、分布式存储和领域驱动设计有丰富的实践经验热衷函数式编程。目前负责企业数据中台的架构设计和开发工作对Hadoop/Spark 生态系统有深入和广泛的了解参与过Hadoop商业发行版的开发曾带领团队建设过数个完备的企业数据平台。本文摘自《大数据平台架构与原型实现数据中台建设实战》已在京东上架推荐阅读仅用2年过渡到自研ARM芯片苹果的底气从何而来开源巨头 SUSE 收购 Rancher Labs云原生时代来临国内厂商 Onyx 违反 GPL 协议中国开源何去何从天上地下马斯克和贝佐斯终有一战空间-角度信息交互用于光场图像超分辨重构性能达到最新SOTA | ECCV 2020赠书 | DeFi沉思录历史、中国与未来点分享点点赞点在看
