网站首页制作怎么做的,西安将军山网站建设,嘉瑞建设有限公司网站,wordpress分页导航不显示不出来简介#xff1a; 随着数字化进程的深入#xff0c;数据应用的价值被越来越多的企业所重视。基于数据进行决策分析是应用价值体现的重要场景#xff0c;不同行业和体量的公司广泛依赖BI产品制作报表、仪表板和数据门户#xff0c;以此进行决策分析。
在利用BI产品进行数据分…简介 随着数字化进程的深入数据应用的价值被越来越多的企业所重视。基于数据进行决策分析是应用价值体现的重要场景不同行业和体量的公司广泛依赖BI产品制作报表、仪表板和数据门户以此进行决策分析。
在利用BI产品进行数据分析过程中数据处理“慢”会为业务带来很多的困扰可以想象一下
给老板看的报表加载展示非常慢有的时候还会崩掉本想做好向上汇报但却给老板带来了糟糕的体验~分析师或业务同学做数据探索式分析拖拽一个指标需要几分钟才能看到结果严重影响工作效率打断分析思路~
“慢”虽然只是一种难以精确定义的体感但想要解决以上问题就需要BI产品拥有很强的大数据处理架构和能力可以横向扩展支持不断增长的数据量和计算任务。
Quick BI阿里云飞天操作系统上的云BI
Quick BI产品是在阿里云飞天操作系统上打造的云BI软件支持SAAS模式和私有化部署定位多场景、多端、多行业的消费式BI本篇为大家详细介绍产品内核Quick引擎。 Quick BI基于阿里云横向可扩展的架构底座不但拥有可视化分析、中国式报表、自助分析等传统BI能力同时拥有企业级安全底座、移动端和三方系统开放集成能力。
Quick BI构建了自己的计算内核Quick引擎托管在阿里云上的SAAS服务实测数据十亿级数据在0.5秒以内完成聚合分析另外由于依托阿里云计算资源支持横向扩展通过增加服务器还可以提供更强大的数据分析计算能力。
Quick引擎多模式BI计算引擎
Quick引擎作为Quick BI的计算底座是一个多模式的BI计算引擎支持数据库直接连接、抽取加速、实时加速、查询缓存、维值加速等多种计算模式为不同用户提供最适合自身场景的高效计算方案。 上图为Quick引擎架构图从Quick BI产品使用链路上分为数据源、数据集和数据作品三部分。数据源是底层的数据库连接数据集用于对数据源里的表进行建模表关联、字段类型建模等把一张或多张表变成一个上层数据作品仪表板、电子表格、即席分析可用的数据对象。
Quick引擎架构在数据源和数据集之间用来处理上层数据作品发送到数据集最终下放到数据源上的查询在技术实现上Quick引擎分为三条链路数据库直连、数据库实时加速、数据库抽取在这三条链路进行了技术层抽象。
从用户使用视角来看我们提供如下5种计算模式
1直连模式计算负载直接跑在连接到BI产品的数据库或数仓上支持几十种数据源所有版本用户都可使用非常适用于底层计算资源满足查询负载的场景
2抽取加速把客户数据库或数仓的数据抽取到Quick引擎的高性能列式存储引擎中支持全量模式和增量模式分析计算负载直接跑在Quick BI引擎中充分利用Quick引擎性能的同时减少客户数仓的负担专业版客户可用非常适用于企业没有独立数仓或数仓负载过重的情况
3实时加速基于阿里云DLAData Lake Analysis内存计算引擎查询时实时从客户数据库取数据中间用DLA内存引擎加速计算专业版客户可用目前支持阿里云Max Compute数仓非常适合Max Compute数仓实时分析更多数据库支持开通中
4查询缓存所有版本用户可用应用端报表、仪表板在访问时临时查询结果被缓存下来在配置的缓存有效时间内接下来其他用户相同的查询直接取缓存结果加快返回速度同时避免重复计算的资源消耗非常适合应用端是重复查询较多的场景比如可视化展示类
5维值加速所有版本用户可用基于直连模式和维表配置实现通过配置维值加速使得高频且耗时的维度字段查询计算直接在数据库维表上进行而不是在原始的明细表上进行比如即席分析和查询控件的维值查询在这类场景下相比不进行维值加速可快速返回结果且节省计算资源
Quick引擎 - 使用指南
在正式开始介绍每种引擎具体用法时先结合每种引擎特点给出一个场景使用指南方便用户在不同场景下选择最合适的引擎。 Quick引擎通过数据集不同配置会采用不同计算模式依据数据集不同情况建议如下
1数据集默认采用直连模式如果查询性能良好则可不进行额外配置如果无法满足要求则进行以下判断
2数据集主要被用在仪表板、报表中偏固定数据展示类的没有被很多查询控件控制
实效性要求不是非常高很适合配缓存基本可以解决问题了可能80%以上可以解决实效性要求不是非常高如果配了缓存还不行比如某个数据集被做了很多报表第一次缓存查询就吃不消MySQL类非OLAP数据库建议用抽取加速ADB类的OLAP数据库建议首先优化下数据建模比如是不是大表join大表其次建议采用抽取加速分担些负载实效性要求很高每次看都想看最新数据ODPS数据源可以用DLA实时加速
3数据集主要被用在即席分析、电子表格分析这类偏个性分析查询中或者有非常多查询控件的仪表板报表中配缓存意义不是很大有点作用建议
底层数据库不是OLAP比如MySQL运行很慢首先建议采用抽取加速其次建议优化数据建模底层数据库是OLAP比如ADB运行很慢建议首先优化下数据建模比如是不是大表join大表其次建议采用抽取加速分担些负载底层数据库是ODPS运行很慢如果实效性要求高建议DLA实时加速实效性要求不高建议抽取加速
4数据集维度字段被频繁用于查询控件或即席分析推荐为该字段配置维值加速
Quick引擎 - 直连模式
直连模式是Quick引擎查询的默认模式所有的查询会发送给底层数据库或数仓执行Quick BI直连模式支持几十种云和自建数据库。
在数据集页面点击“新建数据集”选择已配置的数据源左侧面板会展示该数据源里的所有表拖入一张或多张表到面板中即可在数据预览区域进行字段配置配置完成后保存数据集方可进行后续分析。数据集保存后后续所建的分析查询默认直连模式。 Quick引擎 - 抽取加速
当直连模式查询过多或者数据量过大时会导致底层数据库负载过重查询变慢上层仪表表展示和分析就会变慢出现文章开头所讲的困扰此时可以考虑Quick引擎的抽取加速。
抽取加速是专业版特有功能目前覆盖MySQL、ADB for MySQL和MaxCompute三种数据源支持全量抽取和增量抽取数据到Quick引擎的高性能列式存储分析型数据库中抽取后的数据查询直接在列式分析数据库中完成而无需发到客户数据库上提升数据查询性能同时减少客户数据库负载。
点击数据集菜单选择“加速配置”在第一个 “Quick引擎”Tab点击开启引擎选择抽取加速
加速时间可选“手动触发”和“定时加速”定时加速设置时间后定期触发抽取任务智能聚合抽取支持“全表加速”、“预计算”、“全表计算预计算”三种模式其中全表加速抽取全表数据预计算基于历史查询智能预计算查询结果节省抽取空间勾选按日期加速可以选择日期字段每日根据日期字段增量抽取
配置完成后点击保存抽取任务即会自动触发抽取完成后之后的数据查询将在抽取引擎数据库中完成。 Quick引擎抽取加速性能测试10亿数据sum、count、avg和median等聚合均在0.5秒内返回具备十亿级数据亚秒级分析的能力如下表为性能测试结果。 数据量 sum聚合 count聚合 avg聚合 median聚合 1亿 0.043 s 0.044 s 0.040 s 0.061 s 10亿 0.3 s 0.21 s 0.25 s 0.35 s
同时由于Quick BI是依托于阿里云飞天底座的产品架构具备横向扩展的能力Quick引擎随着机器数量的增加数据处理能力会不断增强理论上具有无限扩展的能力。
Quick引擎 - 实时加速
当直连模式出现性能问题同时对数据的实效性要求较高天粒度更新无法满足要求而需要小时或分钟粒度数据更新由于抽取加速是天粒度数据更新而无法采用此时可以考虑另一种选择采用实时加速来进行高实效数据的查询加速。
与抽取加速一样实时加速也是专业版特有功能目前支持MaxCompute数据源基于阿里云DLAData Lake Analysis内存计算引擎查询时把数据实时加载到DLA中进行计算提升查询性能可以把离线型数仓MaxCompute通过实时加速变成在线分析型数仓。
在数据集加速配置页面开启Quick引擎切换到实时加速保存即可开启数据集实时加速模式。 Quick引擎 - 查询缓存
查询缓存的原理是应用端报表、仪表板在访问时临时查询结果被缓存下来在配置的缓存有效时间内接下来其他用户相同的查询直接取缓存结果命中缓存的查询可以立即返回结果没有命中缓存的查询会被发到底层数据库进行查询查询返回后该查询也会被缓存下来供接下来使用。
结果缓存是一种应用范围很广且非常有效的数据查询加速方式它适用于所有数据源对不同版本用户都可用对一定时间内存在重复查询的数据集都可以配置查询缓存特别是重复查询较多的场景比如仪表板展示类可以大幅提升查询性能。
在加速配置页面开启查询结果缓存可配置不同缓存时间表示缓存生效的有效期如果数据是非小时粒度实效性建议选择12小时。 Quick引擎 - 维值加速
在直连查询中关于维度值的查询是比较耗时的比如商品名称、客户名称、城市名称等因为这类查询在直连模式下需要去底层数据库做去重聚合操作要扫描全表数据所以比较耗时。而在某些场景下这类查询操作可能会非常频繁的出现比如即席分析的维度值分析和查询控件的维度值查询在这类场景下可以通过配置维值加速提升查询性能。
在加速配置页面开启维值加速该数据集是一张订单明细表在前端仪表板页面经常需要基于客户名称和产品名称查询成交情况因此把这两个字段配置维值加速分别对应上底层数据库两张用户和商品维表的字段之后维度值的查询将直接从这两张维表中取而无需去明细表做聚合从而提升查询速度。 以上是关于Quick BI的计算内核Quick引擎的功能和使用场景的介绍依托阿里云的计算底座Quick引擎实现了十亿级数据亚秒级分析的能力让上层分析可视化应用在大数据时代真正飞起来。
原文链接 本文为阿里云原创内容未经允许不得转载。
