网站建设案例模板,公司网站怎么发布文章,龙江手机网站建设,myphoto wordpress 国外#x1f4cb; 博主简介 #x1f496; 作者简介#xff1a;大家好#xff0c;我是wux_labs。#x1f61c; 热衷于各种主流技术#xff0c;热爱数据科学、机器学习、云计算、人工智能。 通过了TiDB数据库专员#xff08;PCTA#xff09;、TiDB数据库专家#xff08;PCTP… 博主简介 作者简介大家好我是wux_labs。 热衷于各种主流技术热爱数据科学、机器学习、云计算、人工智能。 通过了TiDB数据库专员PCTA、TiDB数据库专家PCTP、TiDB数据库认证SQL开发专家PCSD认证。 通过了微软Azure开发人员、Azure数据工程师、Azure解决方案架构师专家认证。 对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究对Databricks的使用有丰富的经验。 个人主页wux_labs如果您对我还算满意请关注一下吧~ 个人社区数据科学社区如果您是数据科学爱好者一起来交流吧~ 请支持我欢迎大家 点赞收藏⭐️吐槽您的支持是我持续创作的动力~ 《PySpark大数据分析实战》-16.云服务模式Databricks介绍运行案例 《PySpark大数据分析实战》-16.云服务模式Databricks介绍运行案例前言创建笔记本运行案例结束语 《PySpark大数据分析实战》-16.云服务模式Databricks介绍运行案例
前言
大家好今天为大家分享的是《PySpark大数据分析实战》第2章第5节的内容云服务模式Databricks介绍运行案例。 图书在当当、京东、机械工业出版社以及各大书店有售 创建笔记本
Databricks中交互式代码采用笔记本编写并运行。在Workspace菜单下点击鼠标右键在弹出菜单中选择Create菜单下的Notebook来创建笔记本如图所示。 在笔记本界面输入笔记本的名称、开发语言、集群可以创建一个在Cluster1集群下运行的基于Python语言进行开发的笔记本如图所示。 在笔记本中编写Python代码并点击Run Cell菜单直接运行代码如图所示。 运行完成可以在笔记本中看到输出结果如图所示。 Spark版本是3.4.0。Spark Master地址是spark://10.139.64.4:7077这与独立集群的master地址一致。应用名称是Databricks Shell。
点击输出结果中的Spark UI链接打开Spark Driver Web UI如图所示。 运行案例
在笔记本中写入WordCount代码将代码中访问HDFS的文件路径改成访问DBFS的文件路径修改后的代码如下
count sc.textFile(dbfs:/FileStore/tables/words.txt) \
.flatMap(lambda x: x.split( )) \
.map(lambda x: (x, 1)) \
.reduceByKey(lambda a,b: a b).collect()
print(count)点击Run Cell菜单执行单元格代码执行结果会直接显示在笔记本中单元格的下方如图所示。 结束语
好了感谢大家的关注今天就分享到这里了更多详细内容请阅读原书或持续关注专栏。
