用phython做网站,婚庆公司收费标准,女生做网站运营,本机做网站服务上传到一、前言 首先说明一下#xff0c;这个框架的整合可能对大神来说十分容易#xff0c;但是对我来说十分不易#xff0c;踩了不少坑。虽然整合的时间不长#xff0c;但是值得来纪念下#xff01;#xff01;#xff01;我个人开发工具比较喜欢IDEA#xff0c;创建的sprin…一、前言 首先说明一下这个框架的整合可能对大神来说十分容易但是对我来说十分不易踩了不少坑。虽然整合的时间不长但是值得来纪念下我个人开发工具比较喜欢IDEA创建的springboot的java工程再引入scala的library之后当前工程即可创建java文件又可创建scala文件这个一个工程里可采用javascala双语言来开发。用了这个框架搭建成功后给我们开发spark代码能带来什么便利之处 1、springboot可以开发非web项目与spark不相关的代码可以采用java来开发比如访问数据库中间件等用java十分便利。 2、spark相关开发采用scala语言代码量更少开发效率更高。 主要基于以上两点搭建这个框架还是具有不小的意义。 二、搭建过程 1、利用maven引入springboot的基础jar包 2、利用maven引入spark相关jar包 3、利用maven引入解决冲突的jar包 完整pom文件如下 ?xml version1.0 encodingUTF-8?project xmlnshttp://maven.apache.org/POM/4.0.0 xmlns:xsihttp://www.w3.org/2001/XMLSchema-instance xsi:schemaLocationhttp://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd modelVersion4.0.0/modelVersion parent groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-parent/artifactId version2.0.0.RELEASE/version /parent groupIdba/groupId artifactIdSparkTest01/artifactId version1.0-SNAPSHOT/version nameSparkTest01/name !-- FIXME change it to the projects website -- urlhttp://www.example.com/url properties project.build.sourceEncodingUTF-8/project.build.sourceEncoding maven.compiler.source1.7/maven.compiler.source maven.compiler.target1.7/maven.compiler.target spark.version2.1.0/spark.version hadoop.version2.7.4/hadoop.version springboot.version2.0.0.RELEASE/springboot.version /properties dependencies !--spark框架开始-- dependency groupIdorg.apache.spark/groupId artifactIdspark-core_2.11/artifactId version${spark.version}/versionexclusions exclusion groupIdorg.slf4j/groupId artifactIdslf4j-log4j12/artifactId /exclusion /exclusions /dependency dependency groupIdorg.apache.spark/groupId artifactIdspark-sql_2.11/artifactId version${spark.version}/version /dependency dependency groupIdorg.apache.spark/groupId artifactIdspark-hive_2.11/artifactId version${spark.version}/version /dependency dependency groupIdorg.apache.spark/groupId artifactIdspark-streaming_2.11/artifactId version${spark.version}/version /dependency dependency groupIdorg.apache.hadoop/groupId artifactIdhadoop-client/artifactId version${hadoop.version}/version exclusions exclusion groupIdorg.slf4j/groupId artifactIdslf4j-log4j12/artifactId /exclusion /exclusions /dependency !--spark框架结束-- !--springboot开始 -- dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter/artifactId version${springboot.version}/version /dependency dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-configuration-processor/artifactId version${springboot.version}/version optionaltrue/optional /dependency dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-autoconfigure/artifactId version${springboot.version}/version /dependency dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-test/artifactId version${springboot.version}/version /dependency !-- springboot框架结束-- dependency groupIdmysql/groupId artifactIdmysql-connector-java/artifactId version5.1.6/version /dependency !--解决框架加载失败 -- dependency groupIdjavax.validation/groupId artifactIdvalidation-api/artifactId version1.1.0.Final/version /dependency !--解决框架加载失败 -- dependency groupIdorg.hibernate/groupId artifactIdhibernate-validator/artifactId version5.2.4.Final/version /dependency /dependencies build plugins !-- springboot maven打包-- plugin groupIdorg.springframework.boot/groupId artifactIdspring-boot-maven-plugin/artifactId /plugin /plugins/build /project注意1、黄色标记是作用是jar包冲突。 2、青色标记是解决框架引入失败的问题。 三、实测结果 四、打jar包发布至spark平台 坑将spark安装包里的gson-2.2.4.jar从jars目录移除 打包打用的spring-boot-maven-plugin插件将jar放至spark服务器上提交代码时指定类为springboot的启动代理类--class org.springframework.boot.loader.JarLauncher。以下是提交命令 spark-submit --class org.springframework.boot.loader.JarLauncher SparkStudy01-1.0-SNAPSHOT.jar 以下是运行的结果 转载于:https://www.cnblogs.com/runnerjack/p/9446660.html
