青锐成长计划网站开发过程,提供建设服务的网络公司,抓取wordpress站点用户,宁波论坛网作者 | 刘艳杰责编 | 伍杏玲出品 | CSDN云计算#xff08;CSDNcloud)在企业里#xff0c;做活动是一种十分常见的需求#xff0c;有面向C端用户开展的活动#xff0c;也有面向公司内部员工的活动。随着互联网技术的不断发展和疫情等方面的原因#xff0c;线上开展的活动也… 作者 | 刘艳杰责编 | 伍杏玲出品 | CSDN云计算CSDNcloud)在企业里做活动是一种十分常见的需求有面向C端用户开展的活动也有面向公司内部员工的活动。随着互联网技术的不断发展和疫情等方面的原因线上开展的活动也越来越多常见的形式有内容征集、评论弹幕、点赞投票、竞猜答题、抽奖红包、组队分享、PK排行榜等无论是单项活动还是多种玩法其中不乏有会产生大量并发请求的活动。活动期间用户在短时间内密集参与像瓜分红包、秒杀等活动将引发用户集中点击产生高并发请求对系统产生一定的压力。如果活动期间负载过高或系统崩溃将会导致用户无法参与活动引起用户吐槽和投诉。然而活动类系统很多时候仅是“一次性”的所以大家在这类系统的开发上投入的人力物力将相对较少甚至有些活动是研发人员利用空隙时间开发的。所以往往我们发现如果不是进行细致的开发设计和上线前的压测一些大活动的系统在上线后出现问题的概率是非常高的。一个能支撑大流量的活动系统是活动能够成功的关键接下来我们一起看下大流量的活动系统应该如何设计架构。大流量活动系统的架构长啥样大流量活动系统需要应对大量并发调用在系统设计上就要求具备水平扩容的能力来满足业务需求。通常会采用如下的分层的系统架构设计因为活动系统功能通常比较简单模块较少所以系统架构不会很复杂。通常在系统从0~1阶段为了让系统快速上线通常是不考虑分层的但是在面对大流量活动系统时就不得不进行分层设计分层架构可让系统更容易进行横向扩展提升系统吞吐量这也是大流量系统的核心需求。同时分层架构也增加了系统的复杂度和工作量。以上架构分为LB、业务接入层、业务逻辑层、数据存储层等多个层次。LB用户流量入口对外屏蔽内部服务架构细节对内提供反向代理流量转发提升整个系统的吞吐量。LB的核心作用是通过流量分发提升整个系统的吞吐量。业务接入层这层用来实现一些通用的业务逻辑处理如数据编解码、用户身份校验、访问频率控制、限流降级、数据缓存、微服务入口等功能。这层通常在业务逻辑层内部通过中间件的形式实现。开发需要实现该层的业务逻辑还需要和底层资源进行交互。该层实现的业务功能是很多系统所需要的多个业务逻辑层服务共用该层服务。值得注意的是该层通常是无状态的可以通过水平扩展增加系统吞吐能力。业务逻辑层业务逻辑实现的核心层业务逻辑相关代码基本都集中在这一层。该层需要开发人员花费大量的时间进行设计实现开发时间的多少将直接影响业务逻辑是否能够进行充分的进行设计和实现。业务性能问题系统Bug常常光顾这一层。开发者需要实现该层的业务逻辑还需要和底层资源进行交互。该层通常是无状态的可以通过水平扩展增加系统吞吐能力。数据存储层业务数据存储层几乎所有的业务数据最终都需要持久化到数据库中这层通常是系统瓶颈所在。所有的活动类业务都需要数据库层正常合理的使用数据库对系统性能将会产生非常大的影响。数据存储层是有状态的较难通过水平扩展增加系统的吞吐能力。通常是通过纵向提升数据库实例配置规格来提升数据库性能但是纵向配置是有物理上限的不能无限提升的。这就需要开发人员在这一层进行充分的设计提升这一层的服务能力。如上的系统架构是最常见最基础的分层系统架构但在面临大流量活动系统时即使经验丰富的开发人员也不敢打保票说一定抗的住的。实现大流量系统面临的挑战有哪些系统各层需要考虑的问题有当我们把架构中每一层需要考虑事项展开之后系统的开发工作量就不会想前面看着少了原本看着简单的系统就不再简单需要考虑和解决的问题非常多。流量入口LB层安全防护防止各类安全攻击破坏系统、盗取数据接入质量需要考虑使用各类网络各个地域的用户的接入质量否则很可能有部分用户因接入质量无法参与活动LB配置维护需要靠性能可靠性负载均衡策略RS更新维护与健康检查、日志监控告警等多个方面的问题拨测监控监控系统是否正常提供服务网络带宽网络带宽是否足够带宽问题通常比较隐蔽不易发现业务核心层基础资源涉及计算、网络、存储等资源的创建配置管理涉及安全扫描、安全防护、监控告警、系统优化等多访问的问题业务部署涉及服务的发布变更、频控限流、容错容灾、性能优化、日志采集等诸多方面的问题业务开发业务逻辑设计实现容错、容灾能力实现数据存储层数据安全防止密码泄露数据被盗等问题业务设计数据库分库分表设计数据库索引设计性能优化提升系统吞吐能力高性能高可用高性能系统各层的处理能力及性能瓶颈如何排除链路中的性能瓶颈及优化排除链路中的性能瓶颈可能需要进行大量的工作才能发现高可用全链路的容错、容灾设计如何降低避免诸如网络抖动、可用区故障等故障对系统造成的影响除了图中列举的业务上还需考虑如下问题如何对用户身份进行校验保证用户身份的真实性如何防刷、防止羊毛党薅羊毛如何对业务数据进行统计如何快速搭建开发、生产等多套环境如何快速处理线上问题如何进行活动运营实现一套运营管理后台系统如何进行活动开关控制定时轮询 or 活动推送当所有这些问题汇集到一起时对开发人员产生了不小的挑战。为了使活动万无一失我们都需充分考虑。研发团队具备系统架构需要进行整体性的技术架构设计规划系统运维能够对全链路业务资源进行运维管控业务设计实现业务逻辑进行容错、容灾设计性能优化充分考虑系统可能存在性能瓶颈并针对性的进行设计优化容量设计对系统容量进行评估如何应对超出预估的大流量调用监控告警主动发现系统当中的各类问题提早排除隐患服务部署相关业务资源的申请及部署业务服务的部署如此一来开发团队的精力可能会被分散到系统的各个方面这将导致开发团队没有足够的精力聚焦于业务逻辑也没有足够的精力解决系统面临的最核心问题如何应对大量高并发的服务调用。高性能高可用的架构设计原则和方案目前有很多但要实现一个高性能高可用的系统却并非易事其背后有非常多的具体细致的工作要做如系统容错容灾容量等问题。基于Serverless模式的腾讯云·云开发以下简称为“云开发”可帮助开发者解决上述问题和挑战。Serverless 云开发解题之法业务系统概括起来需要实现两个能力业务逻辑实现业务业务逻辑包括前端、后端业务逻辑。部分业务逻辑为通用需求。访问链路搭建高性能大容量的访问链路连通用户侧和业务逻辑层。这是通用需求。腾讯云·云开发对通用的访问链路以及部分通用的逻辑抽象出来进行统一的实现帮助开发者解决通用问题。云开发提供安全、高可靠、高并发、高性能的通用后端能力基础为开发者提供高性能高并发大容量的访问链路让开发者无需关心链路搭建涉及的一系列问题让业务方基于Serverless架构实现业务逻辑为开发者屏蔽底层基础架构提供高效的弹性扩缩容能力解决业务容量问题。云开发帮助业务解决通用性问题让开发者有更多精力专注于解决业务本身降本增效。传统模式和云开发模式的对比如图所示在云开发模式下用户仅需关注前后端的核心业务逻辑设计实现无需关心底层基础设施和访问链路。云开发服务架构3.1 业务资源的弹性伸缩能力开发者基于腾讯云·云开发提供的业务资源实现其业务逻辑依托于云开发平台底层资源的弹性扩缩容能力用户业务具备了弹性伸缩的能力高效快速避免了传统模式下扩容所产生了资源和人力成本。业务服务按需使用资源按量计费节省项目成本。云函数云函数平台架构用户请求经云函数接入层 Invoker 进入到用户云函数运行时触发用户逻辑逻辑云函数是一种弹性的计算资源能够自动跟随用户的并发量进行弹性伸缩如下图所示每个并发的用户请求都会对应一个云函数实例当用户请求上涨时云函数实例自动进行扩容当用户请求量下降时云函数实例逐步进行缩容。弹性伸缩的过程是系统自动进行的方便快速为用户提供了强大的弹性伸缩能力进而为用户业务的高并发提供了强有力的能力支持。云开发目前为开发者提供单个云函数上限 1000 并发的能力支持如果云函数的平均执行时间为 100ms那么单个云函数可以达到 10000 QPS可满足大部分用户场景的需求50个云函数的总QPS将可以达到 50W QPS。云数据库腾讯云·云开发为用户原生提供数据库实例用户不需要购买维护数据库实例通过云开发SDK开发者可以快速开始进行业务开发节省时间。云数据库在接入层和数据库底层也做了非常多的专项优化同时也在部署方面进行了诸多方面的设计。云开发数据库架构云数据库接入层进行了分层设计并支持大规模的水平横向扩容用户请求可在集群间进行灵活调度应对可能出现的服务故障提供更高的可用性和更短的恢复时间。用户请求经数据接入层服务进入到数据库引擎层数据库接入层部署多个跨AZ的集群进行。数据库接入层帮助用户实现了数据库连接的维护与优化用户无需关心数据库如何连接访问维护数据库账密提升了数据库的安全性。腾讯云·云开发数据库为用户提供自动加索引对用户慢查询请求进行分析并针对性的进行自动索引优化能够在用户无感知的情况下优化数据库性能提升系统吞吐量提升并发能力。自动弹性Cgroups按需提供计算资源根据用户数据库负载按需调整数据库运行所需要的计算资源。自动进行在线热迁移当主机负载过较高时自动在线热迁移用户实例到负载低的主机此过程用户几乎是无感知的。热迁移同时也能够支持全局的数据库主机间的负载均衡。云开发通过以上措施在降低用户数据库成本的同时为用户提供数据库弹性能力借助这些能力开发者较少的关注数据库。云开发数据库还为开发者提供实时数据库推送能力用户基于此实现实时推送类业务降低搭建推动服务的成本。如前文所述数据库层是有状态的较难进行横向扩缩容云开发为用户提供一定的纵向扩缩容能力与优化提升数据库性能。用户自身也需要对数据进行一定的设计优化。3.2 访问链路的弹性伸缩能力及可靠性设计云开发平台为用户搭建了直达业务逻辑的高性能大容量的访问链路。用户不需要搭建和维护访问链上的一系列资源服务降低了资源和人力成本。云开发平台的性能和可用性将直接影响到用户业务的性能可用性。云开发作为一个公有云服务在给开发者提供各类能力支持同时更重要的是能为客户业务提高性能高可靠的服务为此云开发服务对系统的可用性容量等方面进行大量的设计优化。容错云开发服务通过链路优化、异常重试、多级缓存、缓存续期、失败降级、故障剔除等多方面的优化提升系统系统的容错能力。容量云开发通过容器化的服务部署方式实现访问链路的弹性伸缩能力具备了容器化所带来的优势当用户流量上涨时访问链路可随着用户流量自动的进行弹性扩缩容避免了因访问链路瓶颈导致等用户业务受限的问题。容灾基于容器化的部署方式数据流接入层服务进行了多集群的服务部署每个集群都进行了跨可用区部署具备跨可用区的容灾能力。当单机、单可用区出现故障时能够快速的通过集群切换进行容灾。同时数据流服务依赖的其他服务都具备多集群的跨AZ的容灾能力。在腾讯云·云开发模式下云开发搭建好从客户端到业务逻辑的访问链路开发者无需关注用户端到业务逻辑之间的链路搭建以及涉及的一系列问题。同时云开发为用户提供当前流行的Serverless架构能力开发者基于轻量云函数、云托管来实现业务逻辑无需关心基础设施具备Serverless所带来的极简运维、按量计费、弹性伸缩等方面的优势。帮助开发者真正的做到了仅需关注业务逻辑层的实现解放了开发者的生产力让开发者有更多的时间专注于业务设计。除了上述的降本增效、微信原生之外云开发还提供了CMS内容管理、开源工具插件和低代码开发平台等能力和服务支持帮助用户更快更好地进行开发。抗住 5亿访问腾讯云·云开发为你保驾护航当一种新的技术形态出现在人们面前有人选择先观望再决定是否尝试接纳而有人则大胆尝试。Serverless和腾讯云·云开发虽诞生仅两年不妨碍云开发受到一大批开发者的追捧。目前云开发注册账户数超过65万服务超过100万开发者云开发日均调用量近10亿次2021春节期间日服务调用量超过了16亿次。云开发在腾讯游戏、微信支付、微信读书、猫眼电影、深圳机场等多样化活动上有较好的应用帮助业务快速实现需求平稳支持大流量洪峰。如去年《创造营2020》决赛成团之夜云开发保障业务稳定运行实现了100%安全无死角的同时还在投票“秒杀”场景下高性能地 hold 住全场为节目的顺利进行保驾护航。上线两周、访问次数即破5亿的四川省官方健康码“四川天府健康通”小程序就是基于云开发底座完成开发的。前端采用WeApps云开发低码的可视化、组件化、低码化等能力后端采用了云函数、云数据库、云托管等云原生能力充分发挥了云端低码可视化开发的优势及便利。在十余天内就高质量地完成了定制化开发工作。同时与传统开发模式相比交付效率提升一倍人力成本却能缩减一半。今年春节微信红包封面再次引爆社交网络限时开放的个人红包封面制作活动更是直接拉低门槛让更多人能够便捷享受到定制红包封面带来的乐趣这活动便是搭载在云开发上在整个活动期间平台抗住了上亿流量洪峰资源成本仅花费几千元有效地提高研发效率极大降低人力成本。总结一个简单的系统需充分的设计才能迎接大流量活动的挑战各种类型的系统都有一些通用的基础性的工作腾讯云·云开发将这类通用的工作从系统中抽象出来以服务的方式提供给用户让开发者无需关心这些基础工作。大流量的活动系统往往需要线上扩容的需求云开发通过提供Serverless架构承载用户业务让业务无需关系底层基础设施的同时具备自动化的弹性扩缩容能力帮助系统抗住大流量访问。如此一来云开发可帮助开发者从基础性工作中解放出来有更多时间做业务设计、数据库设计、压力测试等工作让系统更好地迎接大流量活动调用。更多阅读推荐无法恢复欧洲云服务巨头数据中心起火CPU 空闲时在干嘛低代码让人人都可以是开发者三探云原生全景图这次聊聊运行时层一眼看尽5G江湖Gartner发布5G网络基础设施魔力象限报告冯诺依曼架构的 IO 鸿沟谁能来填补
