都匀网站开发公司,上海代理记账公司排名,网站开发服务承诺书,西餐甜点网站建设一.HDFS命令行Hadoop help命令的使用1.hadoop -help查询所有Hadoop Shell支持的命令2.distcp这是Hadoop下的一个分布式复制程序#xff0c;可以在不t同的HDFS集群间复制数据#xff0c;也可以在本地文件间复制数据。hadoop distcp将/test/test.txt文件复制到/test/cp下面可以在不t同的HDFS集群间复制数据也可以在本地文件间复制数据。hadoop distcp将/test/test.txt文件复制到/test/cp下面hadoop distcp/test/test.txt/test/cp将master1集群/test目录(包含内容)复制到master2集群/test_cp目录下Hadoop distcp hdfs://master1/test hdfs://master2/test_cp3.用户可以把MapReduce代码捆绑到jar文件中使用这个jar文件命令格式hadoop jar [mainClass]arges4.archive 创建一个Hadoop存档文件这是一种特殊的文档格式。一个Hadoop archive对应一个文件系统目录。Hadoop archive的扩展名为*.har。可以将文件写入HDFS块一定程度上解决了大量小文件耗费NameNode节点的现象同时允许对文件的透明访问。命令格式hadoop archive-archiveName*命令选项-archiveName 要创建存档文件的名字src 文件系统的路径名和通常含正则表达式一样dest 保存存档文件的目录索引目标for example:1.hadoop archive-archiveName part-20170906-0.har -p/input/ child1 child2/ah_input/har2.查看归档后的目录结构hadoop fs-lsr/3.查看结果文件part -0的内容hadoop fs-cat /test/in/har/0825.har/part-04.使用har uri访问原始数据har是HDFS之上的一个文件系统因此所有fs shell命令对har文件有用只不过路径格式不一样hadoop -lsr har://ah_input/har/part-20170906-0.har5. 用har uri访问下一级目录hdfs dfs-lsr har://ah_input/har/part-20170906-0.har/input6.远程访问hadoop fs-lsr har://master:8020/ah_input/har/part-20170906-0.har其中master是NameNode所在节点的主机名8020是core-site.xml文件中的fs.defaultFS参数配置中对应的端口号7.删除har文件必须使用rmr命令来删除har文件rm命令是不行的hadoop fs-rmr/ah_input/har/part-20170906-0.har除此之外har还可以作为MapReduce的输入进行使用。HDFS常用命令行操作1.dfsadmin -helphelp命令会在屏幕客户端列出dfsadmin下的命令的列表及语法的命令格式的帮助信息hadoop dfsadmin -help2.report-report [-live][-dead][-decommissioning]:报告HDFS的基本信息和统计信息3.safemode-safemode:安全模式维护命令可以说它是NameNode状态。处于安全模式时它不接受对空间名字的修改(即只读)同时它不复制或删除块。在NameNode启动时系统自动进入安全模式当配置最小的Block百分比满足最小的复制条件时就会自动离开安全模式。安全模式也可以手动输入此时只能手动关闭。4.job -history 看历史日志汇总5.dfs- mkdir在DFS创建目录hadoop dfs- mkdir/testmkdir6.fs- put该命令上传本地file到HDFS指定目录7.fs-lsr查看所有文件以及所在的目录信息8.fs- cat查看HDFS上的文件内容9.fs-rm删除指定文件10.fs-rm-r 删除HDFS上的文件夹以及文件夹的内容11.fs-chmod更改HDFS文件权限-r只读权限-w写入权限-rw读写权限-x执行权限
