当前位置: 首页 > news >正文

潍坊市建设工程管理处网站wordpress 404 not found

潍坊市建设工程管理处网站,wordpress 404 not found,做网站需要前置审批,如何做资讯网站#x1f4cb; 博主简介 #x1f496; 作者简介#xff1a;大家好#xff0c;我是wux_labs。#x1f61c; 热衷于各种主流技术#xff0c;热爱数据科学、机器学习、云计算、人工智能。 通过了TiDB数据库专员#xff08;PCTA#xff09;、TiDB数据库专家#xff08;PCTP… 博主简介 作者简介大家好我是wux_labs。 热衷于各种主流技术热爱数据科学、机器学习、云计算、人工智能。 通过了TiDB数据库专员PCTA、TiDB数据库专家PCTP、TiDB数据库认证SQL开发专家PCSD认证。 通过了微软Azure开发人员、Azure数据工程师、Azure解决方案架构师专家认证。 对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究对Databricks的使用有丰富的经验。 个人主页wux_labs如果您对我还算满意请关注一下吧~ 个人社区数据科学社区如果您是数据科学爱好者一起来交流吧~ 请支持我欢迎大家 点赞收藏⭐️吐槽您的支持是我持续创作的动力~ 《PySpark大数据分析实战》-12.Spark on YARN配置Spark运行在YARN上 《PySpark大数据分析实战》-12.Spark on YARN配置Spark运行在YARN上前言启动Hadoop集群配置Spark运行在YARN上使用spark-submit提交代码结束语 《PySpark大数据分析实战》-12.Spark on YARN配置Spark运行在YARN上 前言 大家好今天为大家分享的是《PySpark大数据分析实战》第2章第4节的内容Spark on YARN配置Spark运行在YARN上。 启动Hadoop集群 在node1上执行集群启动命令启动Hadoop集群包括HDFS和YARN。Hadoop集群启动命令如下 $ start-all.shHadoop集群启动后各个节点的进程信息如图所示。 对于HDFS每个节点都是DataNodenode1是NameNode对于YARN资源调度框架每个节点都是NodeManagernode1是ResourceManager。Spark集群不需要启动节点的进程中看不到任何Spark相关的进程。 Hadoop 3中HDFS的Web端口默认是9870通过浏览器访问该端口可以打开Web界面了解集群的概览信息如图所示。 在Web界面的Datanodes页面列出了集群的DataNode列表如图所示。 在服务器上通过hdfs命令将words.txt文件上传到HDFS命令如下 $ hdfs dfs -put words.txt /文件上传成功后通过Web界面浏览HDFS的文件如图所示。 Hadoop 3中YARN的Web端口默认是8088通过浏览器访问该端口可以查看YARN的信息YARN集群信息如图所示。 配置Spark运行在YARN上 Spark on YARN是不需要启动Spark的所以Spark的配置大多数都是可以省略的但是需要配置告诉Spark在哪里去寻找YARN所以需要配置spark-env.sh为Spark配置HADOOP_CONF_DIR和YARN_CONF_DIR。需要保证在集群的每个节点上这个配置保持同步可以在每个节点单独配置也可以在一个节点上配置完成后同步到其他节点。spark-env.sh配置命令如下 $ vi $SPARK_HOME/conf/spark-env.shspark-env.sh配置内容如下 HADOOP_CONF_DIR/home/hadoop/apps/hadoop-3.3.5/etc/hadoop YARN_CONF_DIR/home/hadoop/apps/hadoop-3.3.5/etc/hadoop使用spark-submit提交代码 words.txt已经上传到HDFS在Spark应用程序中可以访问HDFS上的文件修改脚本/home/hadoop/WordCount.py读取HDFS上的文件。修改后WordCount.py的代码如下 from pyspark import SparkConf, SparkContextif __name__ __main__:conf SparkConf().setAppName(WordCount)# 通过SparkConf对象构建SparkContext对象sc SparkContext(confconf)# 通过SparkContext对象读取文件fileRdd sc.textFile(hdfs://node1:8020/words.txt)# 将文件中的每一行按照空格拆分成单词wordsRdd fileRdd.flatMap(lambda line: line.split( ))# 将每一个单词转换为元组wordRdd wordsRdd.map(lambda x: (x, 1))# 根据元组的key分组将value相加resultRdd wordRdd.reduceByKey(lambda a, b: a b)# 将结果收集到Driver并打印输出print(resultRdd.collect())使用spark-submit命令指定master是yarn提交代码进行运行命令如下 $ spark-submit --master yarn WordCount.py在YARN的Web界面Applications菜单下可以看到提交运行的Spark应用程序如图所示。 在列表中点击应用ID链接可以查看应用程序执行的详细信息如图所示。 在详情页面底部的列表中点击Logs链接可以查看应用程序运行日志等信息如图所示。 结束语 好了感谢大家的关注今天就分享到这里了更多详细内容请阅读原书或持续关注专栏。
http://wiki.neutronadmin.com/news/95145/

相关文章:

  • 有名做网站公司济宁网络公司电话
  • 网站建设的技术难点做网站需要合同吗
  • jsp建网站广告推广的软件
  • vs2010网站开发示例网易企业邮箱客户端设置
  • 微信公众号模板素材网站wordpress没有安装主题选项卡
  • 网站网页设计海报图片网站设计哪家公司好
  • 自己做淘宝优惠券网站杭州微信小程序开发公司排名
  • 个人单页网站建设有限公司有哪些
  • 把开发的网站让外网能访问要怎么做刚成立公司如何做网站
  • 设计模板网站都有哪些网络营销专业
  • 二级域名分发站免费wordpress 显示微信
  • 中国纪检监察报app下载关键词seo优化服务
  • 网站建设规划书参考模板山西免费网站制作
  • 怎么样建立学校网站别人给我们做的网站如何关闭
  • 广东网站建设微信网站定制成都市城乡建设管理局网站
  • 单位网站建设的意义做网站能不备案么
  • 怎么给公司做简单网站h5网站的好处
  • 信邦建设工程有限公司网站企业门户网站平台建设招标采购文件
  • 门户网站模板html5房地产市场规模
  • 北京市住房和城乡建设部网站首页wordpress怎么添加菜单
  • 东莞市建设培训中心网站安庆网站建设公司简
  • 免费行业网站源码南宁新技术产业建设开发总公司网站
  • 千锋培训江苏网站优化
  • 网站设计对网站建设有哪些意义?网站推广在线推广
  • 网站制作生成器浙江省建设业协会网站
  • 东莞订制网站建设wordpress上传到空间
  • 网站开发制作公wordpress访问速度
  • 陕西省煤炭建设公司第一中学官方网站推广链接点击器安卓版
  • 婚纱摄影行业网站中国商检局做备案网站
  • 江西建设职业技术学院最新官方网站wordpress支付宝免签约