创新的企业网站建设,上海网络整合推广,重装wordpress图片不见,做网站的公司都有哪些业务大量的应用程序、日益增长的用户规模、不断扩展的技术需求#xff0c;以及对即时响应的持续追求。想想这些是否正是你在经历的。也许你尝试过自己构建工具来应对这些需求#xff0c;但是大量的编码和集成工作使你焦头烂额。那你是否知道#xff0c;有这样一个工具可以帮助你…大量的应用程序、日益增长的用户规模、不断扩展的技术需求以及对即时响应的持续追求。想想这些是否正是你在经历的。也许你尝试过自己构建工具来应对这些需求但是大量的编码和集成工作使你焦头烂额。那你是否知道有这样一个工具可以帮助你实现从缓存中执行所有查询
一、推出Redis数据集成RDI的背景 企业面临着大量的应用程序、日益增长的用户规模、不断扩展的技术需求以及对即时响应的持续追求。Redis Enterprise提供对数据的实时访问并且可以水平扩展但是如何使 Redis 缓存与数据库保持一致以便所有查询都可以从缓存执行
有些组织决定自己承担只是发现构建缓存预取或有时称为提前刷新非常困难。 他们需要自己构建一个可靠的流传输管道。首先捕获源数据库中发生的所有数据更改然后将数据转换为 Redis 数据类型以允许应用程序获取它。此过程通常涉及数据转换和去规范化。他们需要集成多个组件变更数据捕获 (Change Data Capture, CDC)、流式传输和 Redis 连接器、编码转换、错误处理和许多其他企业基本要求而这些用于工具构建的时间可以去做更有成效的工作。
在用户面临着种种问题的情况下 Redis 数据集成 (RDI) 的公开预览版在万众期待下诞生了。RDI 允许开发人员将数据库转移到 Redis Enterprise、镜像应用程序数据并以内存中的速度运行而且不需要投入编码或集成工作。
二、进入Redis数据集成 Redis 数据集成(RDI) 是在 Redis Enterprise 内部运行的工具。它可以帮助用户近乎实时地将数据从现有关系数据库同步到 Redis以便应用程序读取查询完全从关系数据库转移到 Redis。 数据转换过程RDI 管道有两个阶段
捕获数据库更改并将其流式传输到 RDI 转换任务中使用声明性指令对数据进行转换和去规范化然后将其写入目标Redis 缓存
数据转换过程
Debezium是一个开源 CDC 平台捕获源数据库中数据的更改并将其流式传输到 RDI。在 Redis 内数据可以被进一步过滤、转换并映射到一个或多个 Redis 键。RDI 支持多种Redis 数据类型Hash、JSON、Set 和 Stream。RDI 将数据写入目标 Redis 数据库。它承担了繁重的工作因此开发人员可以专注于应用程序代码而不是集成琐事和数据转换代码。RDI可以与其他CDC工具和数据流连接借助这样的集成解决方案开发人员可以使用 RDI 作为核心以简单的方式将各种数据库的更改流式传输到 Redis Enterprise 和其他数据平台。 使用 Debezium 服务器提取三、无代码数据过滤和转换 从源数据库捕获更改并将数据从一个地方传输到另一个地方已经很困难了。然而流动数据还存在另一个挑战转换部分这意味着过滤数据并将数据映射到 Redis 数据模型。
1RDI 提供了一个选项来指定每个源表所需的所有过滤和转换步骤。用 RDI 术语来说这称为作业每个作业都是一个 YAML 文件。 数据转换管道过滤
RDI 无需编码即可完成过滤而不需要开发人员编写自定义代码。开发人员可以使用SQL 表达式或Jmespath 函数的声明式过滤器。RDI 附带了额外的自定义 Jmespath 函数以方便作业创建者使用。
RDI 有几个级别的数据转换
基本转换 这是由 RDI 引擎自动完成的。结构化 RDI 引擎有一种默认的结构方式可以通过无代码转换的功能将其构造为哈希或JSON 。您可以选择转换键和字段甚至重新计算这些字段中的值。去规范化 RDI 将源数据转换为 JSON 文档其中文档中的父级详细信息被转换为 JSON 对象的映射。
故障排除
RDI 包含一个跟踪工具可帮助开发人员无需编写自定义代码就可以创建复杂的数据管道并对其进行故障排除。这加快了流程并减少了所需的工作量和技能。 故障排除后通过简单的部署命令即可修改管道无需停机。
四、公开预览版中的附加功能 至少保证一次交付 Debezium 服务器和 RDI 的高可用性 死信队列 (Dead Letter Queue, DLQ) 中的硬拒绝条目处理 支持的源数据库Oracle、Postgres、MySQL、MariaDB、Percona XtraDB、Microsoft SQL Server 和 Cassandra包括 DataStax DSE 数据提取模式初始快照和CDC流更改 声明式转换过滤条件、Redis 键模式、更改字段名称、添加字段、删除字段、嵌套 支持的 Redis 数据类型Hash、JSON、Set、Stream 开发人员工具RDI 命令行界面脚手架和跟踪命令 操作员工具RDI 命令行界面、Grafana 仪表板通过 Prometheus 导出器进行指标
五、什么情况下可以使用RDI
应用数据来自关系型数据库不可替换 。关系数据库可以适应数据写入的速度但无法扩展和执行以满足读取查询的负载。从关系数据库中转移读取查询是必要的。缓存中的数据必须近乎实时地反映关系数据库中的数据这一点至关重要。关系数据库的更改率为中高水平批量插入更改不能满足要求。源数据库和Redis之间的数据映射需要一些数据操作。
六、Redis数据集成RDI的发展 RDI的目前版本是公开预览以相反方向集成 Redis 的功能正在研究中将对 Redis 数据的更改应用到下游数据库。
Write-behind CDC 源是用户的 Redis 数据库用户的目标是下游关系数据库或 NoSQL 数据库。此流程将让用户享受 Redis Enterprise 的实时写入和读取速度同时保留应用程序生态系统和下游服务。Write-through 对 Redis 的每次写入也会应用于关系数据库。通读如果发生缓存未命中RDI 会自动从下游数据库获取丢失的数据并将其作为键写回 Redis以便将其返回给请求的应用程序。
七、如何开始使用 RDI RDI 目前仅适用于自我管理的 Redis Enterprise 集群。
如果您是 Redis Enterprise 的现有客户请下载 RDI CLI软件包并按照快速入门指南中的步骤操作。安装指南将引导您完成 Debezium 服务器的安装和配置。运行一些 RDI CLI 命令后您的管道会将数据从源数据库转移到 Redis。如果您不是Redis Enterprise 的现有客户则需要首先安装适用于 Kubernetes 的 Redis Enterprise Software。然后下载 RDI CLI 软件包并按照快速入门指南中的步骤操作。
