做实体上什么网站找项目,哈尔滨做网站企业,微信下载网址是多少,益阳网站建设详细教程利用hadoop计算技术对采集的气象数据信息进行处理#xff0c;主要分两个阶段#xff1a;mapper阶段和reducer阶段#xff0c;mapper阶段主要是对日志文件进行按行读取并进行字符串截取#xff0c;reducer阶段对mapper阶段传过来的数据进行大小比较#xff0c;最终获取每一…利用hadoop计算技术对采集的气象数据信息进行处理主要分两个阶段mapper阶段和reducer阶段mapper阶段主要是对日志文件进行按行读取并进行字符串截取reducer阶段对mapper阶段传过来的数据进行大小比较最终获取每一年中的最高温度。
具体气象数据的格式可以参考https://blog.csdn.net/lihuinihao/article/details/38315209
1. 首先将eclipse将MaxTemperature项目打成jar包并将jar包和气象数据拖拽到虚拟机上。本文中分析的是1941-1950十年间的数据信息分别存在10个文件中。
2. 在hdfs系统中新建一个名为/inputdata_t的安装目录 hdfs dfs -mkdir /inputdata_t
3. 将数据集上传到inputdata_t目录下 hdfs dfs -put ~/桌面/19* /inputdata_t
4. 切换到根目录并对数据进行分析 cd hadoop jar ~/桌面/MaxTemperature.jar MinTemperature /inputdata_t /output/mintemp 5. 查看结果 hdfs dfs -cat /output/mintemp/part-r-00000
6. 下载至本地 hadoop fs -get /output/mintemp/part-r-00000 /opt/hadoop-2.7.6/tmp/ ls ../tmp/ 7. 删除文件 hdfs dfs -rm -r /output/mintemp
