吉林省级建设行政主管部门政务网站,烟台网站制作企业,免费影视剧网站,百度推广去哪里学技术sparksql整合hive 步骤 1、需要把hive安装目录下的配置文件hive-site.xml拷贝到每一个spark安装目录下对应的conf文件夹中2、需要一个连接mysql驱动的jar包拷贝到spark安装目录下对应的jars文件夹中3、可以使用spark-sql脚本 后期执行sql相关的任务 启动脚本
spark-sql \
--…sparksql整合hive 步骤 1、需要把hive安装目录下的配置文件hive-site.xml拷贝到每一个spark安装目录下对应的conf文件夹中2、需要一个连接mysql驱动的jar包拷贝到spark安装目录下对应的jars文件夹中3、可以使用spark-sql脚本 后期执行sql相关的任务 启动脚本
spark-sql \
--master spark://node1:7077 \
--executor-memory 1g \
--total-executor-cores 4 \
--conf spark.sql.warehouse.dirhdfs://node1:9000/user/hive/warehouse 应用场景
#!/bin/sh
#定义sparksql提交脚本的头信息
SUBMITINFOspark-sql --master spark://node1:7077 --executor-memory 1g --total-executor-cores 4 --conf spark.sql.warehouse.dirhdfs://node1:9000/user/hive/warehouse
#定义一个sql语句
SQLselect * from employee;
#执行sql语句 类似于 hive -e sql语句
echo $SUBMITINFO
echo $SQL
$SUBMITINFO -e $SQL
