单仁营销网站的建设,黄骅港旅游景点,网站怎么做百度优化,如何自己制作公司网站本节书摘来自华章社区《Spark核心技术与高级应用》一书中的第3章#xff0c;第3.2节构建Spark的开发环境#xff0c;作者于俊 向海 代其锋 马海平#xff0c;更多章节内容可以访问云栖社区“华章社区”公众号查看 3.2 构建Spark的开发环境无论Windows或Linux操作系统第3.2节构建Spark的开发环境作者于俊 向海 代其锋 马海平更多章节内容可以访问云栖社区“华章社区”公众号查看 3.2 构建Spark的开发环境无论Windows或Linux操作系统构建Spark开发环境的思路一致基于Eclipse或Idea通过Java、Scala或Python语言进行开发。安装之前需要提前准备好JDK、Scala或Python环境然后在Eclipse中下载安装Scala或Python插件。3.2.1 准备环境准备环境包括JDK、Scala和Python的安装。1.安装JDK1下载JDK1.7以上版本下载地址http://www.oracle.com/technetwork/java/javase/downloads/index.html。2配置环境变量以Windows为例新增JAVA_HOME变量值C:Program FilesJavajdk1.7.0_71。新增CLASSPATH变量值.;%JAVA_HOME%lib。增加PATH变量补充;%JAVA_HOME%bin。进入cmd界面测试JDK是否安装成功。 C:\Users\adminjava -version
java version 1.7.0_71
Java(TM) SE Runtime Environment (build 1.7.0_71-b14) 2.安装Scala下载Scala2.10以上版本下载地址http://www.scala-lang.org/download/。安装完毕配置环境变量增加PATH变量补充C:Program Files (x86)scalabin;。进入cmd界面测试Scala是否安装成功。 C:\Users\adminscala
Welcome to Scala version 2.10.5 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_7
Type :help for more information. 3.安装Python下载Python下载地址https://www.python.org/downloads/。安装完毕配置环境变量增加PATH变量补充C:Python33;。进入cmd界面测试Python是否安装成功。 C:\Users\adminpython
Python 3.3.5 (v3.3.5:62cf4e77f785, Mar 9 2014, 10:37:12) [MSC v.1600 32 bit (Intel)] on win32
Type help, copyright, credits or license for more information. 3.2.2 构建Spark的Eclipse开发环境使用Eclipse进行Spark开发需要安装Scala和Python插件安装步骤如下1安装Eclipse在官网下载Eclipse解压缩到本地后直接使用即可。2安装Scala插件打开Eclipse依次选择“Help”→“Install New Software…”在选项里填入http://download.scala-ide.org/sdk/e38/scala210/stable/site/并按回车键如图3-1所示选择Scala IDE for Eclipse和Scala IDE for Eclipse development support完成Scala插件在Eclipse上的安装。3安装Python插件与安装Scala插件一样打开Eclipse利用Eclipse Update Manager安装PyDev。在Eclipse菜单栏中找到Help栏选择“Help”→“Install New Software”命令在弹出的Install界面中点击“Add”按钮会弹出“Add Repository”界面在名称项输入PyDev在链接里输入地址如https://dl.bintray.com/fabioz/pydev/all/然后点击“OK”按钮。接下来Eclipse的Update Manager将会在刚才输入的站点中搜索安装包选中搜索出的结果PyDev并点击“Next”按钮等待一段时间PyDev会安装成功。 安装完毕PyDev之后配置Python/Jython解释器在Eclipse菜单栏中选择“Window”→ “Preferences”→“Pydev”→“Interpreter - (Python/Jython)”命令。 重启Eclipse使安装生效。3.2.3 构建Spark的IntelliJ IDEA开发环境除了使用Eclipse进行Spark程序开发之外Spark支持的另外一种开发工具是IntelliJ IDEA下载地址http://www.jetbrains.com/idea/。官方提供了Ultimate版和Community版可供选择主要区别如下1Ultimate版功能齐全的IDE支持Web和Enterprise免费试用30天由官方提供一个专有的开发工具集和架构支持。2Community版支持Java、Groovy、Scala、Android的开发免费并且开源由社区进行支持。作者使用的版本是ideaIC-14.1.4请选择适合的操作系统进行安装。如何安装IntelliJ IDEA?Windows 直接运行.exe文件按照向导步骤操作即可。Mac OS X打开.dmg包并复制IntelliJ IDEA到应用文件夹。Linux解压.tar.gz压缩包并运行bin/idea.sh需要在环境变量PATH中加入IDEA目录并执行source命令使配置文件生效。根据实际需求我们选择Windows系统的Community版本进行Scala程序的开发。步骤包括安装Scala插件和创建项目并在IDEA中编写Scala代码。1.?安装Scala插件①?运行IDEA并安装和配置IDEA的Scala开发插件启动程序界面如图3-2所示此时需要选择“Conf?igure”然后进入IDEA的配置页面。 ③?点击安装界面左下角的“Install JetBrains plugin”选项进入JetBrains插件选择页面如图3-4所示。 插件安装完毕重启IDEA。2.?创建项目并在IDEA中编写Scala代码①?进入首页见图3-2选择“Create New Project”命令此时选择左侧列表中的“Scala”选项为了方便以后的开发工作选择右侧的“SBT”选项如图3-6所示。 ③?由于在前面选择了“SBT”选项所以此时IDEA智能地构建SBT工具点击工程名称“HelloSpark”可以看到SBT自动创建的一些目录如图3-8所示。④?此时右击src目录下main中的scala在弹出的“New”菜单下选择“Scala Class”在弹出的“Create New Scala Class”对话框中输入文件名“HelloSpark”把Kind选择为“Object”点击“OK”按钮完成如图3-9所示。 3.?加入Spark开发包使用IDEA导入外部Jar包具体步骤“File”→“Project Structure”→“Modules”→“Dependencies”→...→“Library...”→“Library TypeJava”→“Select Library Files”→“Conf?igure Library”以添加spark-assembly-1.5.0-hadoop2.3.0.jar为例添加步骤如下①?点击“File”选择“Project Structure”如图3-11所示。 ④?通过“Select Library Files”选择“spark-assembly--.jar”如图3-14所示。选择完毕进行Spark开发包加载。4.?JDK路径错误处理如果SBT出现如图3-15提示这是由于没有设置Java的JDK路径。请点击最右侧的“Project Structure”如图3-16所示进入视图并配置项目JDK。选择最左侧的“Project”选项并选择“No SDK”的“New”如图3-17所示选择项目JDK为1.7。 重启IDEA问题解决。5.?SBT下载不完整问题处理如果不能出现完整的SBT目录选择“View”目录的下拉菜单“Tool Windows”目录选择“SBT”如图3-18所示。 如果完整目录还是不可见可以查看具体日志然后将需要下载的sbt包下载下来放到相应的目录一般是当前用户的.ivy2目录然后删除HelloSpark项目重新建项目。最终可以见到完整的SBT路径。6.?IDEA生成Jar包使用IDEA编译class文件同时可以将class打包成Jar文件方法如下①?选择菜单“File”→“Project Structure”弹出“Project Structure”的设置对话框②?选择左边的“Artifacts”点击上方的“”按钮③?在弹出的对话框中选择“Jar”→“from moduls with dependencies”④?选择要启动的类然后确定⑤?应用之后选择菜单“Build”→“Build Artifacts”选择“Build”或者“Rebuild”后即可生成生成的Jar文件位于工程项目目录的out/artifacts下。
