正规网站设计制作公司,百度信息,搜索引擎排名的三大指标,手机网站引导页转载自 理解大型分布式网站你必须知道这些概念 1. I/O优化 增加缓存#xff0c;减少磁盘的访问次数。 优化磁盘的管理系统#xff0c;设计最优的磁盘方式策略#xff0c;以及磁盘的寻址策略#xff0c;这是在底层操作系统层面考虑的。 设计合理的磁盘存储数据块#xff…转载自 理解大型分布式网站你必须知道这些概念 1. I/O优化 增加缓存减少磁盘的访问次数。 优化磁盘的管理系统设计最优的磁盘方式策略以及磁盘的寻址策略这是在底层操作系统层面考虑的。 设计合理的磁盘存储数据块以及访问这些数据库的策略这是在应用层面考虑的。例如我们可以给存放的数据设计索引通过寻址索引来加快和减少磁盘的访问量还可以采用异步和非阻塞的方式加快磁盘的访问速度。 应用合理的RAID策略提升磁盘I/O。 2. Web前端调优 减少网络交互的次数多次请求合并 减少网络传输数据量的大小(压缩) 尽量减少编码尽量提前将字符转化为字节或者减少从字符到字节的转化过程。 使用浏览器缓存 减少Cookie传输 合理布局页面 使用页面压缩 延迟加载页面 CSS在最上面JS在最下面 CDN 反向代理 页面静态化 异地部署 3.服务降级自动优雅降级
拒绝服务和关闭服务 4.幂等性设计
有些服务天然具有幂等性比如讲用户性别设置为男性不管设置多少次结果都一样。但是对转账交易等操作问题就会比较复杂需要通过交易编号等信息进行服务调用有效性校验只有有效的操作才能继续执行。
注幂等性是系统的接口对外一种承诺(而不是实现), 承诺只要调用接口成功, 外部多次调用对系统的影响是一致的. 声明为幂等的接口会认为外部调用失败是常态, 并且失败之后必然会有重试. 5.失效转移
若数据服务器集群中任何一台服务器宕机那么应用程序针对这台服务器的所有读写操作都需要重新路由到其他服务器保证数据访问不会失败这个过程叫失效转移。
失效转移包括失效确认心跳检测和应用程序访问失败报告、访问转移、数据恢复。
失效转移保证当一个数据副本不可访问时可以快速切换访问数据的其他副本保证系统可用。 6.性能优化
根据网站分层架构,性能优化可分为web前端性能优化、应用服务器性能优化、存储服务器性能优化。
1. web前端性能优化 浏览器访问优化减少http请求;使用浏览器缓存;启用压缩;css放在页面最上面、javaScript放在页面最下面;减少Cookie传输 CDN加速 反向代理 2. 应用服务器性能优化 分布式缓存Redis等 异步操作消息队列 使用集群负载均衡 代码优化 3. 存储性能优化 机械硬盘vs固态硬盘 B树 vs LSM树 RAID vs HDFS 7. 代码优化 多线程Q:怎么确保线程安全无锁机制有哪些 资源复用单例模式连接池线程池 数据结构 垃圾回收 8. 负载均衡
HTTP重定向负载均衡
当用户发来请求的时候Web服务器通过修改HTTP响应头中的Location标记来返回一个新的url然后浏览器再继续请求这个新url实际上就是页面重定向。通过重定向来达到“负载均衡”的目标。例如我们在下载PHP源码包的时候点击下载链接时为了解决不同国家和地域下载速度的问题它会返回一个离我们近的下载地址。重定向的HTTP返回码是302。
优点比较简单。
缺点浏览器需要两次请求服务器才能完成一次访问性能较差。重定向服务自身的处理能力有可能成为瓶颈整个集群的伸缩性国模有限使用HTTP302响应码重定向有可能使搜索引擎判断为SEO作弊降低搜索排名。 DNS域名解析负载均衡
DNSDomain Name System负责域名解析的服务域名url实际上是服务器的别名实际映射是一个IP地址解析过程就是DNS完成域名到IP的映射。而一个域名是可以配置成对应多个IP的。因此DNS也就可以作为负载均衡服务。
事实上大型网站总是部分使用DNS域名解析利用域名解析作为第一级负载均衡手段即域名解析得到的一组服务器并不是实际提供Web服务的物理服务器而是同样提供负载均衡服务的内部服务器这组内部负载均衡服务器再进行负载均衡将请求分发到真是的Web服务器上。
优点将负载均衡的工作转交给DNS省掉了网站管理维护负载均衡服务器的麻烦同时许多DNS还支持基于地理位置的域名解析即会将域名解析成举例用户地理最近的一个服务器地址这样可以加快用户访问速度改善性能。
缺点不能自由定义规则而且变更被映射的IP或者机器故障时很麻烦还存在DNS生效延迟的问题。而且DNS负载均衡的控制权在域名服务商那里网站无法对其做更多改善和更强大的管理。 反向代理负载均衡
反向代理服务可以缓存资源以改善网站性能。实际上在部署位置上反向代理服务器处于Web服务器前面这样才可能缓存Web相应加速访问这个位置也正好是负载均衡服务器的位置所以大多数反向代理服务器同时提供负载均衡的功能管理一组Web服务器将请求根据负载均衡算法转发到不同的Web服务器上。Web服务器处理完成的响应也需要通过反向代理服务器返回给用户。由于web服务器不直接对外提供访问因此Web服务器不需要使用外部ip地址而反向代理服务器则需要配置双网卡和内部外部两套IP地址。
优点和反向代理服务器功能集成在一起部署简单。
缺点反向代理服务器是所有请求和响应的中转站其性能可能会成为瓶颈。 LVS-NAT:修改IP地址 LVS-TUN: 一个IP报文封装在另一个IP报文的技术。 LVS-DR:将数据帧的MAC地址改为选出服务器的MAC地址再将修改后的数据帧在与服务器组的局域网上发送。 9.缓存
缓存就是将数据存放在距离计算最近的位置以加快处理速度。缓存是改善软件性能的第一手段现在CPU越来越快的一个重要因素就是使用了更多的缓存在复杂的软件设计中缓存几乎无处不在。大型网站架构设计在很多方面都使用了缓存设计。 CDN: 及内容分发网络部署在距离终端用户最近的网络服务商用户的网络请求总是先到达他的网络服务商哪里在这里缓存网站的一些静态资源较少变化的数据可以就近以最快速度返回给用户如视频网站和门户网站会将用户访问量大的热点内容缓存在CDN中。 反向代理反向代理属于网站前端架构的一部分部署在网站的前端当用户请求到达网站的数据中心时最先访问到的就是反向代理服务器这里缓存网站的静态资源无需将请求继续转发给应用服务器就能返回给用户。 本地缓存在应用服务器本地缓存着热点数据应用程序可以在本机内存中直接访问数据而无需访问数据库。 分布式缓存大型网站的数据量非常庞大即使只缓存一小部分需要的内存空间也不是单机能承受的所以除了本地缓存还需要分布式缓存将数据缓存在一个专门的分布式缓存集群中应用程序通过网络通信访问缓存数据。
使用缓存有两个前提条件一是数据访问热点不均衡某些数据会被更频繁的访问这些数据应该放在缓存中二是数据在某个时间段内有效不会很快过期否则缓存的数据就会因已经失效而产生脏读影响结果的正确性。网站应用中缓存处理可以加快数据访问速度还可以减轻后端应用和数据存储的负载压力这一点对网站数据库架构至关重要网站数据库几乎都是按照有缓存的前提进行负载能力设计的。 10. 负载均衡算法 轮询 Round Robin 加强轮询 Weight Round Robin 随机 Random 加强随机 Weight Random 最少连接 Least Connections 加强最少连接 源地址散列 Hash 其他算法 最快算法(Fastest)传递连接给那些响应最快的服务器。当其中某个服务器发生第二到第7 层的故障BIG-IP 就把其从服务器队列中拿出不参加下一次的用户请求的分配直到其恢复正常。 观察算法(Observed)连接数目和响应时间以这两项的最佳平衡为依据为新的请求选择服务器。当其中某个服务器发生第二到第7 层的故障BIG-IP就把其从服务器队列中拿出不参加下一次的用户请求的分配直到其恢复正常。 预测算法(Predictive)BIG-IP利用收集到的服务器当前的性能指标进行预测分析选择一台服务器在下一个时间片内其性能将达到最佳的服务器相应用户的请求。(被BIG-IP 进行检测) 动态性能分配算法(Dynamic Ratio-APM):BIG-IP 收集到的应用程序和应用服务器的各项性能参数动态调整流量分配。 动态服务器补充算法(Dynamic Server Act.):当主服务器群中因故障导致数量减少时动态地将备份服务器补充至主服务器群。 服务质量算法(QoS):按不同的优先级对数据流进行分配。 服务类型算法(ToS): 按不同的服务类型(在Type of Field中标识)负载均衡对数据流进行分配。 规则模式算法针对不同的数据流设置导向规则用户可自行 11. 扩展性和伸缩性的区别
扩展性指对现有系统影响最小的情况下系统功能可持续扩展或替身的能力。表现在系统基础设施稳定不需要经常变更应用之间较少依赖和耦合对需求变更可以敏捷响应。它是系统架构设计层面的开闭原则对扩展开放对修改关闭架构设计考虑未来功能扩展当系统增加新功能时不需要对现有系统的结构和代码进行修改。
衡量网站架构扩展性好坏的主要标准就是在网站增加新的业务产品时是否可以实现对现有产品透明无影响不需要任何改动或者很少改动既有业务功能就可以上线新产品。不同产品之间是否很少耦合一个产品改动对其他产品无影响其他产品和功能不需要受牵连进行改动。
伸缩性所谓网站的伸缩性指是不需要改变网站的软硬件设计仅仅通过改变部署的服务器数量就可以扩大或者缩小网站的服务处理能力。
指系统能够增加减少自身资源规模的方式增强减少自己计算处理事务的能力。如果这种增减是成比例的就被称作线性伸缩性。在网站架构中通常指利用集群的方式增加服务器数量、提高系统的整体事务吞吐能力。
衡量架构伸缩性的主要标准就是可以用多台服务器构建集群是否容易向集群中添加新的服务器。加入新的服务器后是否可以提供和原来服务无差别的服务、集群中的可容纳的总的服务器数量是否有限制。 12.分布式缓存的一致性hash
具体算法过程先构造一个长度为2^32的整数环这个环被称作一致性Hash环根据节点名称的Hash值其分布范围为[0,2^32 - 1]将缓存服务器阶段设置在这个Hash环上。然后根据需要缓存的数据的Key值计算得到Hash值其分布范围也同样为[0,2^32 - 1]然后在Hash环上顺时针查找举例这个KEY的hash值最近的缓存服务器节点完成KEY到服务器的Hash映射查找。
优化策略将每台物理服务器虚拟为一组虚拟缓存服务器将虚拟服务器的Hash值放置在Hash环上key在换上先找到虚拟服务器节点再得到物理服务器的信息。
一台物理服务器设置多少个虚拟服务器节点合适呢经验值150。 13. 网络安全
1. XSS攻击
跨站点脚本攻击(Cross Site Script)指黑客通过篡改网页注入恶意的HTML脚本在用户浏览网页时控制用户浏览器进行恶意操作的一种攻击方式。
防范手段消毒XSS攻击者一般都是通过在请求中嵌入恶意脚本大道攻击的目的这些脚本是一般用户输入中不使用的如果进行过滤和消毒处理即对某些html危险字符转移如“”转译为“ gt;”;HttpOnly(防止XSS攻击者窃取Cookie).
2. 注入攻击SQL注入和OS注入
SQL防范预编译语句PreparedStatement; ORM避免密码明文存放处理好相应的异常。
3. CSRFCross Site Request Forgery跨站点请求伪造。听起来与XSS有点相似事实上两者区别很大XSS利用的是站内的信任用户而CSRF则是通过伪装来自受信任用户的请求来利用受信任的网站。
防范httpOnly;增加token;通过Referer识别。
4. 文件上传漏洞
5. DDos攻击 14. 加密技术 摘要加密MD5, SHA 对称加密DES算法RC算法 AES 非对称加密RSA
非对称加密技术通常用在信息安全传输数字签名等场合。
HTTPS传输中浏览器使用的数字证书实质上是经过权威机构认证的非对称加密的公钥。 15. 流控流量控制 流量丢弃 通过单机内存队列来进行有限的等待直接丢弃用户请求的处理方式显得简单而粗暴并且如果是I/O密集型应用包括网络I/O和磁盘I/O瓶颈一般不再CPU和内存。因此适当的等待既能够替身用户体验又能够提高资源利用率。 通过分布式消息队列来将用户的请求异步化。
