做电商网站企业,wordpress侧栏菜单,网页链接调用服务需要开启还是关闭,网站里面那些工作是做晚上兼职的数据库管理-第116期 Oracle Exadata 06-ESS-下#xff08;202301114#xff09;
距离上一次正儿八经的技术分享又过了整整一周了#xff0c;距离上一期Exadata专题文章也过了11天了#xff0c;今天一鼓作气把ESS写完#xff0c;毕竟明天又要飞北京了。
1 Smart Scan
其…数据库管理-第116期 Oracle Exadata 06-ESS-下202301114
距离上一次正儿八经的技术分享又过了整整一周了距离上一期Exadata专题文章也过了11天了今天一鼓作气把ESS写完毕竟明天又要飞北京了。
1 Smart Scan
其实之前在数据库管理-第六十一期 Exadata是否需要索引20230314中简单介绍过smart scan数据的查询和检索处理可以卸载(offload)到Exadata存储节点
负载下沉到存储服务器充分发挥存储的计算能力存储转变为智能存储仅返回需要的数据 – 行过滤列过滤减少数据返回量减少IO通道需求减少数据库服务器CPU, 内存要求 Smart Scan自动优化使用直接路径读的full table scans, fast full index scans和fast full bitmap index scans即并行操作和大规模顺序扫描。其实最简单的触发offload的方式就是SQL使用并行。 在Exadata上数据库的SQL Monitor中可以看到语句的存储offload效率具体执行计划中也能看到TABLE ACCESS STORAGE FULL的操作内容。
2 Storage Index
存储索引是一个透明且自动维护无需任何额外开销即可消除减少IO的特性
存储索引不像Oracle的传统B-tree或位图索引那样存储在数据库中。它们无法识别在给定列中具有特定值的一组记录。是存储服务器软件的一个功能。存储索引的工作原理是为磁盘存储单元存储最小和最大列值默认情况下为1 MB称为区域索引。执行Smart Scan时SQL谓词会传递到存储节点因此存储软件可以在执行请求的I/O之前根据存储索引元数据最大值和最小值检查谓词。将跳过任何不可能具有匹配行的存储区域。
3 EHCC
EHCC混合列压缩兼顾性能和压缩比
占用磁盘空间更小压缩下获得更好的性能 – 基于压缩数据进行扫表 – 可在内存、Flash中保留更多数据 – 从磁盘到内存、Flash数据传递时使用更少IO在查询更快的前提下平均节省10倍空间 – QUERY5-10X ARCHIVE MODE10-15X EHCC语法
Warehouse Compression Syntax:
CREATE TABLE emp (…) COMPRESS FOR QUERY [LOW | HIGH];
Online Archival Compression Syntax:
CREATE TABLE emp (…) COMPRESS FOR ARCHIVE [LOW | HIGH];不同的压缩方式采用的算法不同query low使用LZO算法query high和archive low采用ZLIB算法archive high采用BZIP2算法。 Exadata特有的压缩compress for query|archive low|high –只有直接路径插入的数据才会被压缩普通的DML操作会降低压缩等级。 在混合列压缩中多个数据块组成一个压缩单元CUCompression Unit 压缩单元中数据是按列的形式存储的而不是将整个表的数据按列的形式来存储所以是混合列压缩而压缩单元中包含的数据块的个数也不是固定的由压缩模式被加载数据的压缩率等因素来决定使用了混合列压缩的表普通的insert数据插入新增的行记录会降级成OLTP压缩模式此时对表进行一个move操作重组一下表就会变成混合列压缩如果又进行DML操作则可能又会被退化为OLTP压缩因此HCC的表应该尽可能少的进行DML操作数据只有在以下几种方式加载时才会触发混合列压缩
直接路径insert语句(/* append */)并行的DML语句直接路径sqlloader;CTAS(Create Table As Select)方式。
HCC可以在表级别分区级别及表空间级别来指定。 可以在创建表时指定HCC也可以把现有的表修改为HCC的表此时表中的原数据没有进行压缩需要对表执行一下move重组才会使已有的数据进行混合列压缩。
4 智能存储处理流程
综合前面提到的Smart Scan, Storage Index和EHCC在Exadata中将一般存储智能化之后数据的处理流程变为下图所示 在充分利用硬件特性与资源基于Oracle对自己数据库存储充分的了解使用ESS极大加快了Exadata上的数据查询效率。
5 Smart Flash Cache
智能闪存缓存与回写 将热数据缓存在PMEM/XRMEM或Flash Card中即可以加速数据查询效率也可以加速数据库写的效率。 监控数据是否被cache
SQL SELECT data_object_id FROM DBA_OBJECTS object_nameEMP; DATA_OBJECT_ID---------57435
CellCLI LIST FLASHCACHECONTENT WHERE objectNumber57435 DETAIL cachedKeepSize: 0cachedSize: 495438874dbID: 70052hitCount: 415483missCount: 2059objectNumber: 57435tableSpaceNumber:保证热数据被cache
SQL ALTER TABLE xxx STORAGE (CELL_FLASH_CACHE KEEP);注意cell_flash_cache有三个值none永不放到闪存default按策略来放keep尽可能的放到闪存 为了防止keep属性的对象占满整个flashcache系统限制有keep属性的对象占用的总空间不得超过flashcache的80%为了防止一些极少访问却拥有keep属性的对象无限制的占用flashcache系统会定期的使用淘汰策 略来剔除这些对象。一般无需人为干预默认即可。 从 Oracle Exadata 系统软件 23.1.0 版开始XRMEM (PMEM) 缓存只能以 Write-through 模式运行。
6 Smart Flash Logging
智能闪存日志 即日志哪先写好即返回事务成功无需人为配置与干预加速写操作。
7 IORM
IO资源管理 存储资源池数据动态重分布消除I/O分布热点块数据库平台可不断线性扩展数据自动分布提供最高性能和高可用性
当新硬件添加时均衡仍然得以保持当旧硬件移除时均衡仍然得以保持当硬件出故障时均衡仍然得以保持单块磁盘损坏/单个storage cell损坏都能忍受 IORM可以根据承载业务数据库的重要程度、IO要求细粒度控制每个数据库的存储IO性能当然Exadata本身强大的IO性能在绝大多数环境是无需对IORM进行配置的。可以通过CELLCLI或EMCC对IORM进行配置
8 In_memory扩展
非Exadata运行Oracle数据库一张表只能在行格式和列格式选择一种方式 Exadata可以突破格式限制实现双格式存储 Exadata还实现了存储层In-memory列式分析
Exadata 自动智能转换、加载列格式数据到 Flash cache – 存储服务器实现快速的向量查询处理独特的双格式数据闪存缓存 – 混合负载支持同时支持基于行式的OLTP数据库和基于列式的分析型数据库完全自动化和透明
9 高性能协议
Exadata使用了以下高性能传输协议来提升机架内数据传输效率
总结
ESS基本完成老规矩知道写了些啥。
