怎么做网站,wordpress支付演示,上海市人才服务中心网首页,需要推广的软件背景互联网时代的数据重要性不言而喻#xff0c;任何数据的丢失都会给企事业单位、政府机关等造成无法计算和无法弥补的损失#xff0c;尤其随着云计算和大数据时代的到来#xff0c;数据中心的规模日益增大#xff0c;环境更加复杂#xff0c;云上客户群体越来越庞大任何数据的丢失都会给企事业单位、政府机关等造成无法计算和无法弥补的损失尤其随着云计算和大数据时代的到来数据中心的规模日益增大环境更加复杂云上客户群体越来越庞大从而造成硬件故障、软件失效等错误发生的频率也在猛增任何架构和流程上的疏漏都可能会造成大面积的数据丢失。由此可见保证客户的数据可靠性对云计算服务提供商有多重要。 阿里云自研的盘古作为一个已经演进了近10年的分布式存储系统经受了阿里巴巴内部各种产品、各种硬件的磨炼发布到公有云来普惠大众让每个基于阿里云的用户都可以享受到世界领先的数据可靠性服务。因此在此分享一下阿里云自研的分布式存储系统——盘古针对数据可靠性问题的保障。 数据可靠性的威胁说起云环境下的数据可靠性相信更多的一般云用户想到的是硬件错误这类错误非常多Firmware引起的静默数据丢失只是非常罕见的一类错误。但是硬件错误只是云环境下威胁数据可靠性的一小部分因素导致数据丢失的可能会是软件、运维部分出现错误。由此可以看出在云环境下保证客户数据可靠性不单单是硬件或者某一方面的事情其涉及到存储系统的方方面面是一个庞大的系统工程这就要求云服务提供商在各方面都能提供稳定的、可靠的、有效的措施来保障客户的数据。 数据可靠性的威胁一般包括硬件、软件、运维等方面。 硬件威胁 硬件错误类型非常多包括磁盘坏道、Firmware bug磁盘静默错误导致数据损坏无法及时发现、电压不稳定导致数据未写入但返回写入成功、SSD长时间下线导致数据丢失、网络传输错误导致数据通过网卡后产生bits反转等。 软件威胁 内核bug导致的文件系统数据错乱、系统Page cache导致的机器重启和机房掉电丢失数据、野指针、多线程竞争、上层应用程序指针错乱导致正在被写入和读取的数据污染、存储层软件在机制上有数据丢失的漏洞等。 运维威胁 运维是当前丢失数据概率最高的因素包括客户的误操作、误删除等因素。 数据可靠性的保障手段对于数据可靠性来说数据副本技术是目前大多数客户最容易理解的容错技术了也是提升分布式系统可靠性、可用性、可扩展性的常用手段之一。目前阿里云及各家厂商都提供了三副本技术保障数据的可靠另外阿里云的三副本技术是支持跨可用区的考虑到跨可用区的成本较高现在还仅有少数厂商才能做到。但是数据可靠性保障不是仅数据副本技术就能做到的其是一个庞大的系统工程并不是某一项或几项技术手段就能够保障的必须从数据中心的基础建设开始、一直到整个软件栈的构建以及多种技术手段共同来保障。下面将详细分析阿里云在云环境下如何系统保障客户数据的可靠性。 3.1. 数据中心基础设施建设 基础设施硬件一般会在不同时间分批次购买不同厂商的硬件设备其中就包含各种类型的磁盘设备。之所以这样做除了从成本上考虑之外还需要考虑影响范围问题。单纯一个厂商采购一旦出现类似Firmware的问题就出现大面积数据丢失影响众多用户。另外硬件投入使用中也需要对使用情况进行跟踪例如磁盘设备由于组装、运输等影响在初期投入生产使用时出错率远远高于后期正常使用期间的出错率所以刚投入使用的硬件应该有一个烤机的过程将出错率降低后再投入使用买来就大面积使用的方式是非常不负责任的一种做法。投入使用后也丝毫不能松懈需要跟踪每个批次磁盘的Firmware版本更新通知一旦发现高危风险更新需要及时打布丁或者将数据迁移把数据丢失风险降低到最低。 3.2. 数据可靠的软件栈构建 硬件错误类型非常多想要在数量众多的硬件错误中预期未来会出现哪种错误是非常困难的所以需要在软件设计上规避掉硬件问题设计一套优良的软件栈来防御预期和非预期的错误。 首先软件需要清晰的划分层次层次间通过清晰的接口来协作实现端到端的保证在每个环节都保证可靠性、无数据污染。 上层应用系统在接收到客户数据的第一刻起首先做好数据防错准备所有后续操作都依赖于此步骤的准备工作。数据防错最基本高效方法是对用户数据产生Checksum数据并传递到之后每一个层次更高可靠性可以利用对数据做MD5进行保护在之后的说明中用Checksum为例来说明如何对数据进行保护。 层次间传递数据的所有接口必须携带数据校验Checksum类型和数据的Checksum值。在本层次对数据加工的过程中首先通过数据加工产生新数据和数据对应的Checksum之后对新数据运行逆运算来重新产生原始数据并做验证对比保证加工过程并未损坏任何数据同时给下一个处理步骤提供数据检查依据直到数据和对应的Checksum值被存储到底层盘古系统中。 当系统终端用户读取数据时每个层次逐层检查下层系统的数据正确性并依照数据加工流程重新恢复出用户需要的数据并返回从而达到了整个阿里云系统对用户数据的全程无漏洞保护。 3.3. 存储系统设计要点 当上层业务系统加工完成数据后存盘过程中盘古需要利用三副本和Erasure Coding编码存储技术保证不会由于单点硬件/软件异常导致数据损坏和不可用。 3.3.1. 跨多可用区的三副本技术 三副本技术 阿里云提供一个扁平的线性存储空间在内部会对线性地址进行切片一个分片称为一个Chunk。对于每一个Chunk阿里云会复制出三个副本并将这些副本按照一定的策略存放在集群中的不同节点上保证数据的可靠性。 在阿里云数据存储系统中有三类角色分别称为Master、Chunk Server和Client。一个写操作经过层层转换最终会交由Client来执行执行过程简要说明如下 Client计算出这个写操作对应的Chunk。 Client向Master查询该Chunk的三份副本的存放位置。 Client根据Master返回的结果向这3个Chunk Server发出写请求。 如果三份都写成功Client向客户返回成功反之Client向客户返回失败。 Master的分布策略会综合考虑集群中所有Chunk Server的硬盘使用情况在不同交换机机架下的分布情况、电源供电情况、机器负载情况尽量保证一个Chunk的所有副本分布在不同机架下的不同Chunk Server上有效防止由于一个Chunk Server或一个机架的故障导致的数据不可用。 数据保护机制 当有数据节点损坏或者某个数据节点上的部分硬盘发生故障时集群中部分Chunk的有效副本数就会小于3。一旦发生这种情况Master就会发起复制机制在Chunk Server之间复制数据使集群中所有Chunk的有效副本数达到3份。. 支持跨多可用区的存储系统 盘古文件系统在生产系统中采用跨多可用区部署的方式目前还仅是少数能做到经典的模式是支持横跨三个以上可用区每个可用区距离30公里到50公里。无论是三副本还是EC纠删码副本都是均匀分布在三个可用区内。任何一次写入都在三个可用区数据落盘后才会返回客户成功。由于各可用区的数据中心有独立的供电网络和冷却系统等跨多可用区的存储提供了数据中心级别的容灾能力在任一可用区完全不服务的情况下整体服务无缝切换数据无任何丢失。跨多可用区对阿里云内部核心骨干网络的要求非常极高端到端的延迟要求在稳定1毫秒以内并且有Tb级别带宽能力。阿里云投入了大量的资源来建设高容错能力和高性能的多可用区互访的内部核心骨干网络。 综上所述对云盘上的数据而言所有用户层面的操作都会同步到底层三份副本上。因此无论遇到软硬件的错误这种模式都能够保障数据的可靠性和一致性。 3.3.2. 纠删码技术Erasure Coding 对于可靠性来说数据副本技术是最容易理解的容错技术目前一般云环境下采用三副本技术。数据副本技术另一大优势在于数据恢复的过程中对计算资源的消耗极少。由于采用的是直接复制除了数据的存放位置可能需要计算之外其它过程对CPU的利用极少。但是使用数据副本技术也会带来两大方面的问题一个是数据副本所占用的空间太大对于网络以及磁盘空间都有着极大的负担另一个问题在于维护副本间的数据一致性会带来极大的资源消耗。 为了提高磁盘的利用率阿里云的数据中心系统使用冗余纠删码的方法来降低所需要的磁盘并保证相同的容错能力。Reed Solomon是目前在云存储系统中最常用的纠删码算法。在这个编码中假设原始数据为k 个大小相同的块纠删码通过编码产生m 个冗余块这n k m 个块中如果损坏了不超过m 个块则利用剩下的至少k 个块可以将全部的n 个块恢复出来。如果采用k8, m4的情况下需要150%存储空间即可并且可以容忍4个磁盘的错误纠删码技术对副本技术很大的改进。因此云存储系统保证数据可靠性研究纠删码极其重要。现在通常采用的副本技术并发读性能好数据恢复速度快但成本较高通常用于保存热数据采用纠删码成本低容错能力可以进行选择但数据恢复代价高恢复速度慢通常用于保存冷数据。 传统的盘古文件系统中的纠删码技术酝酿于2012年末目标旨在通过应用Erasure Codes编码在保障数据安全的前提下节省盘古数据的存储空间通过使用某种Erasure Codes编码来达到节省空间的目的将数据存储效率提升了100%甚至更多。然而由于其潜在的网络流量、空间利用率等方面的局限性2017年新一代盘古2.0对纠删码进行了优化和升级除保持原有纠删码技术的基本功能之外在设计上读写场景、流量优化、空间效率上都会有大幅提升。 目前盘古2.0的纠删码技术对外支持多种存储业务被大量而广泛的使用各种应用场景。阿里云通过采用Cauchy Reed SolomonCRS算法编码该算法简单编解码效率很高使得相对于盘古三副本模式下3倍的存储效率提升到了约2倍同时能保证略好的理论数据安全性。阿里云存储的metadata需要设置数据块的数目和校验块的数目以3,2配置为例阿里云将一块数据拆成3份相同大小的数据块并利用ErasureCode计算出2块校验块将这五份数据分别写到5块机器上如果其中任意2块数据出现了错误都可以根据存活下来的块进行数据恢复从而保证了数据的可靠性。 另外盘古将Erasure Codes的能力实现在盘古内部而不是外部。HDFS Raid将Raid功能以contrib包的形式实现独立于HDFS核心之外。好处是不会增加核心文件系统的复杂度坏处是效率和灵活度不足。盘古将Raid功能实现在核心中通过同各个子模块的紧密结合实现了最高的效率和灵活度。同时支持实时编解码及文件级别指定编码方法和编码参数。实时编码直接写入Raid文件无需后台转换能最大程度节省网络和计算资源。文件级别编码参数的指定使得盘古能同时适用于在线和离线应用的独特要求。 综上所述阿里云已将纠删码技术大量应用在了云存储环境和产品中在保障客户数据可靠性的前提下提升存储效率。未来阿里云将继续深入研究纠删码技术的应用提升编码速度和数据恢复速度拓展应用场景。目前阿里云已和国内外顶尖高校在纠删码技术领域开展了广泛的科研合作如清华大学、上海交通大学等研究不同校验链融合的原理与策略和优化方法尽可能降低跨AZ数据迁移、恢复和校验修改的资源开销大大提高网络效率针对不同的应用场景在同时兼顾性能、成本、可靠性、可用性、可扩展性和管理策略的基础上进行优化。 3.3.3. 及时检测和快速恢复技术 结合三副本和纠删码技术确实能够保证数据一定程度的可靠性但也需要充分考虑到数据检测和恢复才能更大程度地保证客户的数据可靠性和可用性。因此阿里云的盘古提供了及时检测和快速恢复技术其设计要点 在选择存储参数时需要根据不同可靠性需求进行定制化。例如元数据的可靠性一定高于数据的可靠性否则会导致虽然有数据但是数据不知道如何访问虽然知道丢失了数据但是说不清楚给用户丢了哪些数据等情况出现。所以元数据应该能够容忍更多的硬件/软件失效情况一般类似Firmware磁盘静默等错误不会威胁到元数据的安全。在数据存储位置、介质类型等选择方面也需要做到精细控制例如为了数据安全性考虑多个副本需要尽量多的放置在多种介质类型上防止某个类型的硬件出现错误导致多个副本受到威胁同时也可以实现数据访问加速和节约成本的目的一箭双雕。磁盘存储完成后还需要防止类似Firmware bug、SSD长期不加电、磁盘坏道等导致的静默错误所以需要存储产品定期运行数据全量扫描、高频次的筛检等维护任务防止数据静默错误后不能及时发现的问题。及时发现数据损坏后需要对不同丢失风险的数据做优先级精确控制保证高风险的数据被优先恢复。 上面的策略中及时发现错误、快速数据恢复和数据原有的容错能力配置共同决定的数据可靠性有多高。 在数据存储格式上也需要非常缜密的设计需要保证 出现数据损坏可以高效发现发现过程可以是在用户触发的读操作也可能是存储产品的后台扫描等过程 如果出现了元数据丢失、文件系统损坏、运维误操作等情况或者Firmware导致的文件系统元数据损坏可以使用扫描落盘数据方式来快速重建元数据将数据丢失风险降低到最低。这种缜密的设计是盘古系统接近10年的生命期内能保证无数据丢失的安身立命的基本功。 3.3.4. 端到端CRC保护 盘古系统提供端到端的数据校验上层的云存储产品提供数据的CRC盘古在落盘的时候进行校验并且把CRC和数据一起写入磁盘。后台任务也一直巡检检查存储介质可能出现的位跳变bit rot错误一旦发现和写入的CRC不符找到正确的副本重新复制一份新的副本。 任何对数据转换的操作前后遵循检查步骤 数据D转换为D’计算CRC C’ 逆转换D’到D计算C’’检查C ? C’’ 进行后续数据传输或存储 防御能力 代码野指针导致的内存数据污染 网络bits翻转导致的数据错误 磁盘静默错误导致的数据损坏 数据块唯一性特征作为落盘前CRC的初始值 防止内核文件系统错乱 数据丢失后裸盘扫描特征识别 数据节点定期全盘CRC检查 防止数据静默错误 3.3.5. 灰度变更 灰度变更是另外一项保障客户数据可靠性的关键技术。顾名思义灰度变更是指在黑与白之间能够平滑过渡的一种变更方式。这种变更方式类似于A/B test让需要变更内容一部分先变更到目标内容一部分保留如果变更后的内容在运行一段时间内没有发生错误再逐渐扩大范围把全部内容变更为目标内容。灰度变更可以保证整体系统的稳定在初始灰度的时候就可以发现、调整问题以保证其影响度。灰度变更的优势在于 云服务数据可靠性及可用性优先保障。 灰度变更能降低云操作风险减少影响范围并且范围可控。 方便集中监控日志全量变更由于负载均衡的作用需要整体跟踪效率较低。 方便数据回滚。 避免出现错误给用户带来坏的体验。 阿里云将灰度变更用于硬件、软件及备份容灾等方面具体如下 软件灰度 操作系统升级 软件版本灰度 硬件灰度 新机型适配 新存储介质适配 跨地域容灾备份 防止自然灾害、战争引起的数据丢失 增加系统可用性 3.3.6. 防御运维误操作 盘古Pin 支持哪些顶级目录是不允许删除的可以有效防止命令行中的空格导致的顶级目录被误删除的问题。 回收站 目录树回收站保证文件删除后可以在目录树的回收站中保留一个可配置时间。 数据节点回收站在磁盘空间富裕时尽量保留删除的数据不被覆盖给误删除数据恢复留余地。 元数据备份 专有云中定期调用盘古功能对元数据的增量日志进行存储备份防止数据被误删后恢复时间过长的问题。 盘古集群唯一标识 防止运维操作数据节点从一个集群下线后重新上线到其他集群后数据被清空的问题。 格式化审批 所有数据盘格式化都必须经过盘古管控模块确认数据安全的前提下才允许进行下线格式化。 下线审批 机器和磁盘下线前需要经过全盘扫描后保证上面的数据在其他机器上有足后的副本数后才允许下线防止误操作导致服务停止。 总结综上所述阿里云非常重视客户数据的可靠性将其作为一个庞大的系统工程进行设计和保障久经磨练的盘古在经历了多次软件重构、架构迭代之后最终作为统一的存储平台支撑各种云产品并推向公共云、专有云利用跨多可用区的三副本技术、纠删码技术、纠删码和多副本融合技术、及时检测、快速恢复、端到端CRC保护、灰度变更、防止运维误操作等一系列的技术手段为客户的数据提供了一套系统的保障方案保障客户能够抵御涉及到硬件、软件及运维等多方面的错误也保证了阿里云为用户提供世界领先的数据可靠性。 本文作者刘晨旭 阅读原文 本文为云栖社区原创内容未经允许不得转载。
