用群晖做网站,网站规划书包括哪些内容,做动态在网站需要学什么,好看的手机网站模板免费下载治理工作如何对接下游推进 1.让下游配合最重要的是调动积极性#xff0c;让下游感觉到治理能对他们起作用 或者说能让业务方也能做大蛋糕#xff0c;因为数据治理对于下游来说可有可无 没你数据治理 下游数据模型不也跑的没问题嘛#xff0c;所以就如花姐刚才说的该警告的警…治理工作如何对接下游推进 1.让下游配合最重要的是调动积极性让下游感觉到治理能对他们起作用 或者说能让业务方也能做大蛋糕因为数据治理对于下游来说可有可无 没你数据治理 下游数据模型不也跑的没问题嘛所以就如花姐刚才说的该警告的警告 该配合的配合但这个警告也只是表面你可以从费用分摊上去说也可以从下游痛点去说共同做好保障措施让他们也能分到项目大家一起分蛋糕下游肯定有需要治理的点其中最痛的是数据质量 2.除了这些还可以加一些奖惩措施比如我之前说的解决dq吃dq的活动让下游觉得配合是有价值的 3.还可以做到更大的推进作用比如我们在和bi一起做治理等起了一定规模后可以发治理效果月报/周报 发送全部门让其他部门也有感知
具体治理的点 模型合规 1.数据标准重制定及修复包括对原来数据域重构表字段命名体系重构并对原来模型按照新标准合规改造 2.元数据补充 owner、使用说明、字段中文名具体内容、颗粒度声明、主键声明等补充保障下游及内部使用时候清晰 3.制度建设完善模型评审制度、代码提交强审核保障内容合规后上线 4.分层合理性治理不规范的模型分层引用例如ADS层表依赖了非DWS层的表建议优化 5.数据链路合理性本次新补充内容减少因内容不足产出烟囱模型从而相互依赖加长链路情况 数据质量合规 1.流程化任务上线/变更流程指标变更流程 2.dqc管控对原4大基础dqc进行补充以及核心业务模型dqc补充并对原无效dqc下线对常触发dqc进行调整例如表行数波动可通过算法对近7天数据量监测 3.sla及基线治理这里也可以放到人员运维roi治理中上线前把控保障基线正常运行核心任务优先产出且分配高资源培训及整理值班运维手册建设容灾备份快恢能力临时修复数据 4.上游问题数据治理数据质量长期监测体系详情见课程3-数据质量课件 数据安全合规 1.角色权限管控对不同使用/开发角色提供不同使用权限根据报表、看板的权限等级在同一个图表中限制不同的用户能够看到的数据也不一样(常用于报表各模块内容展示) 2.数据脱敏通过脱敏防止数据泄漏 3.表/字段分级对每个表及字段进行打标保障每张表都有数据安全管控 4.数据权限使用 表/字段走审批流程 并设置数据使用申请时卡点负责人/组 5.其他 数据下载管控一般来说最多下载1000行/次离职数据风险管控等等 存储资源治理 1.设置统一表生命周期并对当前表按照新标准裁剪对未分区表重制定分区 2.长期未引用/被使用/临时的表下线 3.压缩格式/存储格式优化 4.根据业务对表存储重划分对较大数据量表可以采取全量转增量操作、拉链表操作 计算资源治理 1.数据倾斜任务治理后面我会细讲治理方法 这里跳过 2.消耗大core/内存任务治理 3.无效监控项、重复开发情况占用计算资源、数据价值低的模型占用计算资源及时下线 4.梳理数据链路并对任务调度治理 5.规划核心任务 并分配任务执行优先级 把非核心的任务靠后运行 6.小文件治理 7.其他 例如hive spark2 切换spark3采用aqe特性 采用z-orderspark排序算法解决join时读取效果提升 数据价值治理 1.烟囱数据模型及对应任务、模型粒度重复及时下线 2.ads指标下沉到dws 3.建立模型价值度指标持续下线低价值模型 4.下线ads层对应业务不再使用的场景模型 人力成本治理 1.指导培训组员技术侧/业务侧能力能够独挡一面并完善文档沉淀帮助后续新人培训开展 2.让熟悉不同数据域的组员安排在合理的数据域范围同时做backup 3.建立相应需求开发流程机制统计人员产出效率方便针对性安排后续开发内容 4.为当前需求及项目难度打分帮助大家更好意识到项目能否落地、以及产出时间同时衡量每人产出roi
