深圳互联网企业排名,网站优化关键词排名,辽阳太子河网站建设,wordpress 评论 瀑布一、目的
由于先前使用的kettle8.2版本在Linux上安装后#xff0c;创建共享资源库点击connect时页面为空#xff0c;后来采用如下方法#xff0c;在/opt/install/data-integration/ui/menubar.xul文件里添加如下代码
menuitem idfile-openZiyuanku label创建共享资源库点击connect时页面为空后来采用如下方法在/opt/install/data-integration/ui/menubar.xul文件里添加如下代码
menuitem idfile-openZiyuanku labelopenZiyuanku commandspoon.openRepository()/
共享资源库创建后又遇到任务Save时为空的问题。
首先在Windows本地安装的kettle8.2无论有没有连接共享资源库kettle任务都可以正常执行
其次在Linux上安装的kettle8.2启动后
如果不连接共享资源库那么kettle任务可以正常运行没有问题。
只有在连接共享资源库后kettle任务才无法保存save页面为空如下图所示 所以这可能是kettle8.2与Linux的版本匹配问题因此换成最新的版本kettle9.3尝试一下
二、版本说明
一kettle9.3.0
kettle9.3.0安装包网盘链接
链接https://pan.baidu.com/s/1MS8QBhv9ukpqlVQKEMMHQA?pwddqm0 提取码dqm0
二Hive3.1.2
三Hadoop3.1.3
三、前提准备
一安装前提掌握Kettle8.2.0本地连接Hive3.1.2
因为我之前一直用的是kettle8.2所以kettle9.3连接hive3.1.2时我就直接从kettle8.2的文件夹复制jar包
至于kettle8.2如何本地安装后连接hive详情请参考鄙人拙作
http://t.csdn.cn/qyuDjhttp://t.csdn.cn/qyuDj
二Windows本地解压即安装Kettle9.3.0 三注意Kettle9.3里MySQL驱动包的版本以及Hive312里MySQL驱动包的版本
1、Hive312的lib里面MySQL驱动包的版本是mysql-connector-java-5.1.37.jar 2、Kettle9.3里MySQL驱动包的版本
mysql-connector-java-5.1.37.jar mysql-connector-java-8.0.30.jar 四、安装步骤
一根据Hadoop版本在选择对应的文件千万不要随便选
1、文件路径
D:\java\kettle\pdi-ce-9.3.0.0-428\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations 2、Hadoop版本与文件夹对应规则 3、选择文件复制文件名Hadoop版本与文件夹一定要匹配
因为我的Hadoop版本是Hadoop3.1.3所以我选择的文件夹是hdp30
注意kettle9.3的hdp30文件夹里最初只有hdp30\lib\pmr这一个文件夹与kettle8.2里的hdp30文件夹最初状况大不相同这也是困扰我许久的原因
二修改kettle里pentaho-big-data-plugin文件夹里的源文件plugin.properties
文件路径D:\java\kettle\pdi-ce-9.3.0.0-428\data-integration\plugins\pentaho-big-data-plugin 只要设置 active.hadoop.configurationhdp30 三根据kettle8.2的hdp30文件夹把kettle9.3的hdp30文件夹相比而言缺少的部分复制过去
1、第一部分
把kettle8.2的hdp30文件夹里原先的hive、Hadoop、hbase的6个配置文件 复制到kettle9.3的hdp30文件夹 2、第二部分
把kettle8.2的hdp30\lib文件夹里除了pmr和client两个所有jar包 复制到kettle9.3的hdp30\lib文件夹 3、第三部分与kettle8.2不同之处
把hive的安装路径hive312/jdbc里的驱动包 复制到 kettle9.3的data-integration\lib文件下
文件路径D:\java\kettle\pdi-ce-9.3.0.0-428\data-integration\lib 四启动Hadoop和Hive服务打开kettle9.3连接Hive数据库 kettle9.3连接hive312连接成功 五执行从Hive到ClickHouse的kettle任务测试一下 kettle任务运行成功
六注意kettle里的中文乱码问题
解决措施修改kettle9.3\data-integration里的文件Spoon.bat
文件路径D:\java\kettle\pdi-ce-9.3.0.0-428\data-integration 注意Kettle9.3的Spoon.bat文件原有的只是
if %PENTAHO_DI_JAVA_OPTIONS% set PENTAHO_DI_JAVA_OPTIONS-Xms1024m -Xmx2048m 然后在它后面加上 -XX:MaxPermSize256m -Dfile.encodingUTF-8
其中 -XX:MaxPermSize256m是kettle8.2默认有的堆内存最大值设置而-Dfile.encodingUTF-8才是解决中文乱码的但我这边把两个都加上 到这里Kettle9.3.0本地连接Hive3.1.2就结束了
我之前查了好多博文都没找到Kettle9.3.0如何连接Hive3.1.2困扰许久终于一朝解决整理此博文公诸于众希望能够帮助和我受到一样困扰的你
乐于奉献共享帮助你我他
