当前位置: 首页 > news >正文

唐山中小企业网站制作外贸网站建设关键点

唐山中小企业网站制作,外贸网站建设关键点,wordpress一句话木马,做的网站里面显示乱码怎么解决方法目录 1.广播变量#xff08;broadcast variables#xff09; 2.累加器#xff08;accumulators#xff09; 在分布式计算中#xff0c;当在集群的多个节点上并行运行函数时#xff0c;默认情况下#xff0c;每个任务都会获得函数中使用到的变量的一个副本。如果变量很…目录 1.广播变量broadcast variables 2.累加器accumulators 在分布式计算中当在集群的多个节点上并行运行函数时默认情况下每个任务都会获得函数中使用到的变量的一个副本。如果变量很大这会导致网络传输占用大量带宽并且在每个节点上都占用大量内存空间。为了解决这个问题Spark引入了共享变量的概念。 共享变量允许在多个任务之间共享数据而不是为每个任务分别复制一份变量。这样可以显著降低网络传输的开销和内存占用。Spark提供了两种类型的共享变量广播变量broadcast variables和累加器accumulators。 1.广播变量broadcast variables 通常情况下Spark程序运行时通常会将数据以副本的形式分发到每个执行器Executor的任务Task中但当变量较大时这会导致大量的内存和网络开销。通过使用广播变量Spark将变量只发送一次到每个节点并在多个任务之间共享这个副本从而显著降低了内存占用和网络传输的开销。 Scala 实现 scala val broadcastVar sc.broadcast(Array(1, 2, 3)) broadcastVar: org.apache.spark.broadcast.Broadcast[Array[Int]] Broadcast(0)scala broadcastVar.value res0: Array[Int] Array(1, 2, 3) Java 实现 Broadcastint[] broadcastVar sc.broadcast(new int[] {1, 2, 3});broadcastVar.value(); // returns [1, 2, 3] 2.累加器accumulators 累加器是Spark中的一种特殊类型的共享变量主要用来把Executor端变量信息聚合到Driver端。在Driver程序中定义的变量在Executor端的每个task都会得到这个变量的一份新的副本每个task更新这些副本的值后传回Driver端进行merge。累加器支持的数据类型仅限于数值类型包括整数和浮点数等。 Scala 实现 scala val accum sc.longAccumulator(My Accumulator) accum: org.apache.spark.util.LongAccumulator LongAccumulator(id: 0, name: Some(My Accumulator), value: 0)scala sc.parallelize(Array(1, 2, 3, 4)).foreach(x accum.add(x)) ... 10/09/29 18:41:08 INFO SparkContext: Tasks finished in 0.317106 sscala accum.value res2: Long 10 Java 实现 LongAccumulator accum jsc.sc().longAccumulator();sc.parallelize(Arrays.asList(1, 2, 3, 4)).foreach(x - accum.add(x)); // ... // 10/09/29 18:41:08 INFO SparkContext: Tasks finished in 0.317106 saccum.value(); // returns 10 内置累加器功能有限但可以通过继承AccumulatorV2来创建自己的类型。AccumulatorV2抽象类有几个方法必须重写reset用于将累加器重置为零add用于向累加器中添加另一个值merge用于将另一个相同类型的累加器合并到此累加器。 自定义累加器Scala实现 package com.yichenkeji.demo.sparkscalaimport org.apache.spark.util.AccumulatorV2class CustomAccumulator extends AccumulatorV2[Int, Int]{//初始化累加器的值private var sum 0override def isZero: Boolean sum 0override def copy(): AccumulatorV2[Int, Int] {val newAcc new CustomAccumulator()newAcc.sum sumnewAcc}override def reset(): Unit sum 0override def add(v: Int): Unit sum voverride def merge(other: AccumulatorV2[Int, Int]): Unit sum other.valueoverride def value: Int sum }自定义累加器Java实现 package com.yichenkeji.demo.sparkjava;import org.apache.spark.util.AccumulatorV2;public class CustomAccumulator extends AccumulatorV2Integer, Integer {// 初始化累加器的值private Integer sum 0;Overridepublic boolean isZero() {return sum 0;}Overridepublic AccumulatorV2Integer, Integer copy() {CustomAccumulator customAccumulator new CustomAccumulator();customAccumulator.sum this.sum;return customAccumulator;}Overridepublic void reset() {this.sum 0;}Overridepublic void add(Integer v) {this.sum v;}Overridepublic void merge(AccumulatorV2Integer, Integer other) {this.sum ((CustomAccumulator) other).sum;}Overridepublic Integer value() {return sum;} }自定义累加器的使用 package com.yichenkeji.demo.sparkjava;import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.api.java.function.Function;import java.util.Arrays; import java.util.List;public class AccumulatorTest {public static void main(String[] args) {//1.初始化SparkContext对象SparkConf sparkConf new SparkConf().setAppName(Spark Java).setMaster(local[*]);JavaSparkContext sc new JavaSparkContext(sparkConf);CustomAccumulator customAccumulator new CustomAccumulator();//注册自定义累加器才能使用sc.sc().register(customAccumulator);sc.parallelize(Arrays.asList(1, 2, 3, 4, 5, 6, 7, 8, 9, 10)).foreach(x - customAccumulator.add(x));System.out.println(customAccumulator.value());//5.停止SparkContextsc.stop();} }
http://wiki.neutronadmin.com/news/387056/

相关文章:

  • 电商网站建设技术外包本地顺德网站建设
  • 设计网站国外php网站制作工具
  • 邯郸wap网站建设价格wordpress移动导航插件
  • 网站 加域名网页设计html教程
  • 山西中交建设工程招标有限公司网站基金会网站开发方案
  • 北京网站建设策划建设卢氏住房和城乡建设厅网站
  • 如果我的网站被百度收录了_以后如何做更新争取更多收录网站建设提供源代码有什么用
  • 网站的建设服务中心网站公司建设个服务号多少钱
  • 自助做app的网站wordpress问答社区模板
  • 企业网站怎么做两种语言如何创建链接
  • 重庆企业网站推广报价西安网站建设云李
  • 网站建设中html中关于图片显示的标签有哪些wordpress优酷自适应
  • 网站管理系统深圳城建局
  • 云南网站推广的目的西安网站建设培训中心
  • 科技公司网站模板下载手机开发者模式利弊
  • 检查目录遍历漏洞wordpress站点内网域名
  • 设计师网站 知乎个人主页是什么
  • 怎么把自己的网站做自适应网站中企动力建的网站如何
  • 个人主页界面网站搬家
  • 哪个网站可以做微信推送深圳专业网站建设平台网页
  • 建立一个购物网站做淘宝客必须建网站吗
  • 关键词工具网站厦门建站比较好的公司
  • 建设大学网站费用网站建设详细过程
  • 怎么创建网站域名做玩具什么 网站比较好
  • 行业门户网站运营wordpress分类不显示图片
  • 昆明建网站的公司cpanel伪静态wordpress
  • 成都网站排名优化报价wordpress本地数据库密码忘记
  • 兰州市网站建设公司怎样查看wordpress
  • 青岛做网站优化的公司一站式做网站
  • 二道网站建设上海企业服务云官网