wordpress 资讯,中山网站建设乐云seo模板中心,网站设计制作全网优惠,郑州制作微信小程序第一种方式操作#xff1a;将第三方jar文件打包到最终形成的spark应用程序jar文件中应用场景#xff1a;第三方jar文件比较小#xff0c;应用的地方比较少第二种方式操作#xff1a;使用spark-submit提交命令的参数: --jars要求#xff1a;1、使用spark-submit命令的机器上…第一种方式操作将第三方jar文件打包到最终形成的spark应用程序jar文件中应用场景第三方jar文件比较小应用的地方比较少第二种方式操作使用spark-submit提交命令的参数: --jars要求1、使用spark-submit命令的机器上存在对应的jar文件2、至于集群中其他机器上的服务需要该jar文件的时候通过driver提供的一个http接口来获取该jar文件的(例如http://192.168.187.146:50206/jars/mysql-connector-java-5.1.27-bin.jar Added By User)## 配置参数--jars JARS如下示例$ bin/spark-shell --jars /opt/cdh-5.3.6/hive/lib/mysql-connector-java-5.1.27-bin.jar应用场景要求本地必须要有对应的jar文件第三种方式操作使用spark-submit提交命令的参数: --packages## 配置参数--packages jar包的maven地址如下示例$ bin/spark-shell --packages mysql:mysql-connector-java:5.1.27 --repositories http://maven.aliyun.com/nexus/content/groups/public/## --repositories 为mysql-connector-java包的maven地址若不给定则会使用该机器安装的maven默认源中下载## 若依赖多个包则重复上述jar包写法中间以逗号分隔## 默认下载的包位于当前用户根目录下的.ivy/jars文件夹中应用场景本地可以没有集群中服务需要该包的的时候都是从给定的maven地址直接下载第四种方式操作更改Spark的配置信息:SPARK_CLASSPATH, 将第三方的jar文件添加到SPARK_CLASSPATH环境变量中注意事项要求Spark应用运行的所有机器上必须存在被添加的第三方jar文件A.创建一个保存第三方jar文件的文件夹:命令$mkdirexternal_jarsB.修改Spark配置信息命令$ vim conf/spark-env.sh修改内容SPARK_CLASSPATH$SPARK_CLASSPATH:/opt/cdh-5.3.6/spark/external_jars/*C.将依赖的jar文件copy到新建的文件夹中命令$ cp /opt/cdh-5.3.6/hive/lib/mysql-connector-java-5.1.27-bin.jar ./external_jars/应用场景依赖的jar包特别多写命令方式比较繁琐被依赖包应用的场景也多的情况下备注(只针对spark on yarn(cluster)模式)spark on yarn(cluster)如果应用依赖第三方jar文件最终解决方案将第三方的jar文件copy到${HADOOP_HOME}/share/hadoop/common/lib文件夹中(Hadoop集群中所有机器均要求copy)
