网站建设公司文案,关于建筑设计的网站,云南网站优化建站,网站建设市场趋势简介#xff1a; 本文由阿里巴巴技术专家周凯波#xff08;宝牛#xff09;分享#xff0c;主要介绍如何跑通第一个SQL。 一、SQL的基本概念
1.SQL 分类
SQL分为四类#xff0c;分别是数据查询语言#xff08;DQL#xff09;、数据操纵语言#xff08;DML#xff09… 简介 本文由阿里巴巴技术专家周凯波宝牛分享主要介绍如何跑通第一个SQL。 一、SQL的基本概念
1.SQL 分类
SQL分为四类分别是数据查询语言DQL、数据操纵语言DML、数据定义DDL语言和数据控制语言DCL。今天将介绍前三种语言的使用。 接下来介绍几个基本概念。
2.SQL 开发 ● Scripts即SQL文本。在SQL文本里面可以写上文介绍的前三种语言 ● Schema即元数据。SQL里面需要使用的表和函数是通过Schema进行定义的 ● Artifacts即UDF Jar包
3.Catalog
在 Flink SQL里Catalog是管理元数据的。Catalog通过Catalog.DB.Table来定位一张表。除了DB和TableCatalog还能注册函数如UDF、UDTF和UDAF。 在Flink Catalog里有三种Catalog实现
● 第一个是GenericInMemoryCatalog是内存版的Catalog。平常在使用 Flink SQL的时候默认是内存版的Catalog。当程序运行结束第二次重新运行的时候会重新生成一个Catalog实例。 ● 第二个是HiveCatalogFlink里比较好的支持了HiveCatalog可以从Hive HMS里读取元数据同时也可以往Hive里注册表写数据到Hive里面去。 ● 第三个Catalog是 VVP平台里面开发的Catalog即VvpCatalog它实现了Flink Catalog的接口底层是使用的数据库。
4.Deployment
Deployment是一个作业的描述目前有两种任务类型JAR和SQL。 Deployment上有升级策略Upgrade strategy和恢复策略Restore strategy。Upgrade strategy是指Deployment运行后用户可以对Deployment的参数进行修改这个修改如何影响Deployment的运行就是由不同的升级策略决定的Restore strategy 指启动 Flink任务时是否从 Savepoint/Checkpoint进行恢复就是不同的恢复策略。
Flink的版本和配置常用的Flink的参数都可以在这里进行配置。例如Task Managers 数量Jobmanager和Taskmanager 的 CPU 和内存等。
Deployment上除了作业描述外还有期望状态和实际状态。期望状态是指用户所期望的目标状态例如当要将运行中的作业停止时期望状态就是Canceled操作完成的实际运行状态就是实际状态。
总的来说Deployment是一个任务的描述模板。VVP平台内部的状态机会根据Deployment的期望状态和实际状态来控制作业的实际运行。
5.Job
Deployment启动时会生成一个Job这个Job对应一个具体的 Flink Job。同一时间一个Deployment上只会有一个正在运行的Job。
二、SQL的语法说明
1.语法说明
首先看下图的语句分别是创建源表和创建结果表。 下图是注册函数。函数的注册分为两步第一步上传JAR包然后在系统上可以勾选自动注册第二种是使用 Flink 语法进行手工注册。 使用函数有两种方式第一是内置函数的使用如下图UPPER是 Flink 自带的函数第二种是自定义函数像MyScalarFunc。 在VVP平台里也支持 Flink 里的Temporary Table可以将它理解为临时表只在当前会话周期内有效。在下图例子中我们创建了两个Temporary Table读取datagen_source表中的数据输出到blackhole_sink表。 下图是Temporary View的语法示例。前面两段是一样的临时表第三条语句是创建了一个tmp_view它代表从Datagen_source的查询。在Flink里面Temporary View可以理解为让SQL的书写变得更简单它不会对数据进行一个持久化和数据库里面View概念是不一样的。第四条语句是从 view里面读取数据并写入到sink表里。 下图是Statement set的语法示例这个语法目前在 Flink 1.11版本里还没有但是在VVP平台做了一些支持。 如上图BEGIN STATEMENT SET和END这两个语句之间可以写多条 insert into语句。上图的例子是读取datagen_source 表往两张sink表同时写。这个语句提交后会启动一个完整的Flink Job里面会有1个source和两个sink。
2.SQL的应用范围 Create Table它注册的表会写入系统Catalog里在VVP平台上面会写到VvpCatalog中并进行持久化。好处是适合多个query共享元数据。
Create Temporary Table临时表。它会写到内存版的Catalog里不会持久化。所以它适合不需要共享元数据的场景只给当前query使用。
Create Temporary View主要目的是简化SQL语句。如果不通过Create Temporary View对于逻辑复杂的SQL写起来会相当复杂可读性也很差。
Statement Set适合需要输出到多个下游的场景。
三、SQL 实战
接下来向大家展示销量统计的实例。如下图所示需求是统计每小时成交量。 我们首先创建两张表一个是源表一个是结果表。下图是创建源表的语句数据源来自kafka然后定义watermark是5秒钟。 下图是结果表也是一个kafka表。
下图是查询语句从源表读取数据后会通过tumble window窗口聚合对数据做一个统计这样就求出了每小时的成交量。 1.实战演示
打开VVP的界面左侧有SQL编辑器在这个编辑器左边有三栏第一栏是Scripts写SQL文本的地方第二栏是Schemas用来定义元数据第三栏是Artifacts 用来注册UDF。 首先定义一张datagen_source的表。点击右上角的验证按钮验证通过后点击旁边的运行。点击运行之后可以在下面看到运行的结果运行成功后点击左侧的Schemas可以找到刚刚创建的datagen_source表。 然后再创建一张sink表connector类型是blackhole。然后验证并运行。 这样两张表都已经注册到Catalog里面去了默认的Catalog名字是VVPDatabase名字是Default。 接下来就可以写SQL语句。比如说写一条INSERT INTO语句写完之后点验证并运行。在运行这条INSERT INTO语句时系统会提示是否要创建一个SQL作业点击确认补充名称等信息SQL作业就创建好了。 点击启动这个作业启动过程中可以在页面上看到关于这个作业的很多信息和配置。 2.UDF实战展示
UDF开发完成后会打一个JAR包然后点SQL编辑器左侧的Artifacts然后点“”号将JAR 包上传上来。 上传完毕完善JAR 包名称等信息后点确认完成。JAR包上传过程中VVP系统会对JAR 包进行解析。解析之后系统会提示是否注册勾选需要注册的内容点击创建Function。 然后如下图上面就是已注册的Function下面是可用Function可以选择继续注册或关掉窗口。 如果不需要这个函数了可以在页面左侧找到已经注册的Function点击右侧尾部图标选择Drop Function。若想重新注册有两种方法第一可以点击管理Function第二通过 Flink的注册函数手动注册。 用注册好的Function创建SQL作业。
在创建页面下拉可以看到很多高级配置只修改自己需要的配置即可。 3.Temporary table的使用
上面的例子是注册在Catalog里的如果不想每次都在Catalog里面进行注册那就可以直接使用 Temporary table。
如下图将table的创建和INSERT INTO全部写在一起这样就可以直接创建一个新的SQL作业而不用提前在Catalog里注册了。 4.Temporary View
将前面Temporary View例子页面中的语句复制到VVP平台的SQL编辑器中直接点击运行就可以创建一个作业。 5.Statement Set
将前面Statement Set例子页面中的语句复制到编辑器中直接点击运行就可以创建一个作业。启动后可以通过下图看到运行情况这个任务从一个源表中读取数据输出到了两个不同的sink表中。
6.查询实战
将前面SQL 实战中创建源表、结果表和查询页面的语句分别复制粘贴到VVP平台的SQL编辑器并启动运行。从下图可以看到这个读写kafka的任务运行起来了。 作者周凯波宝牛阿里巴巴技术专家
原文链接
本文为阿里云原创内容未经允许不得转载
