零食天堂专做零食推荐的网站,大秦建设集团有限责任公司官方网站,设计一个简单的物联网系统,大庆油田app下载安装欢迎关注大数据和人工智能技术文章发布的微信公众号#xff1a;清研学堂#xff0c;在这里你可以学到夜白#xff08;作者笔名#xff09;精心整理的笔记#xff0c;让我们每天进步一点点#xff0c;让优秀成为一种习惯#xff01; 日常的大数据使用都是在服务器命令行中… 欢迎关注大数据和人工智能技术文章发布的微信公众号清研学堂在这里你可以学到夜白作者笔名精心整理的笔记让我们每天进步一点点让优秀成为一种习惯 日常的大数据使用都是在服务器命令行中进行的可视化功能仅仅依靠各个组件自带的web界面来实现不同组件对应不同的端口号如HDFS(50070)Yarn(8088),Hbase(16010)等等而大数据的组件又有很多为了解决某个问题常常需要结合多个组件来使用但是每个组件又有独立的web界面进行可视化这时如果有一个统一的web界面来管理并可以开发所有大数据的组件是非常方便的而Hue正是这样的工具它管理的大数据组件包括HDFS、HBase、Hive、Pig、Sqoop、Spark、Scala等等几乎所有常用的组件。 一、HUE的介绍 HUE是一个开源的Apache hadoop UI系统管理hadoop生态体系结构的所有组件基于python web框架Django实现由Cloudera开发 HUE的tar包是源码包采用源码安装 源码安装的好处卸载和移植软件方便 源码安装三步骤 1、配置./configure --preifix安装的目录 #检测系统配置生成makefile文件 如果有makefile文件直接进行编译和安装 2、编译make 3、安装make install HUE的http服务端口8888 二、安装和配置HUE 安装HUE前需要安装它所需要的rpm包及其依赖(27个)否则HUE运行会报错 rpm包redhat软件包管理器 存放在redhat光盘Packages目录下 rpm包与tar.gz/.tgz、.bz2的区别 rpm形式的软件包安装、升级、卸载方便推荐初学者使用rpm形式的软件包 安装rpm -ivh 卸载rpm -e tar.gz形式的软件包安装方便卸载麻烦用tar工具打包、gzip/bzip2压缩安装时直接调用gzip/bzip2解压即可。如果解压后只有单一目录 用rm -rf命令删除如果解压后分散在多个目录必须手动一一删除 安装tar -zxvf *.tar.gz/ tar -yxvf *.bz2 卸载rm -rf/手动删除 一、安装rpm包 方法使用yum安装rpm包 yum能够从指定的资源库(repository)自动下载、安装、升级rpm包及其依赖必须要有可靠的资源库(repository) 1、挂载光盘 mount /dev/cdrom /mnt mount命令挂载硬盘/光盘/iso文件到指定目录下访问其中的数据 2、建立yum资源库 cd /etc/yum.repos.d #yum资源库默认所在的目录 vim redhat7.repo [redhat-yum] 资源库的标识 nameredhat7 资源库的名字 baseurlfile:///mnt 资源库的位置 enabled1 启用资源库 gpgcheck0 不检查资源库中的rpm包是否是官方的 3、执行下面的语句 yum install gcc g libxml2-devel libxslt-devel cyrus-sasl-devel cyrus-sasl-gssapi mysql-devel python-devel python-setuptools sqlite-devel ant ibsasl2-dev libsasl2-modules-gssapi-mit libkrb5-dev libtidy-0.99-0 mvn openldap-dev libffi-devel gmp-devel openldap-devel 二、安装HUE 解压tar -zxvf hue-4.0.1.tgz 指定安装目录安装PREFIX/root/training make install 注如果不指定prefix,可执行文件默认安装到/usr/local/bin中配置文件默认安装到/usr/local/etc中库文件默认安装到/usr/local/lib中其他文件默认安装到/usr/local/share中 注HUE的tar包是源码包采用源码安装 三、配置HUE 1、与hadoop集成1、开启hdfs的web功能 2、允许HUE操作hdfs !--开启hdfs的web功能-- property namedfs.webhdfs.enabled/name valuetrue/value /property !--设置hadoop集群root的代理用户-- property namehadoop.proxyuser.root.hosts/name value*/value /property !--设置hadoop集群root的代理用户组-- namehadoop.proxyuser.root.groups/name value*/value /property 3、添加一个新用户并授权hue要对/root/training/hue有访问权限 adduser hue chown -R hue.hue /root/training/hue 4、修改配置文件hue.ini$HUE_HOME/desktop/conf: http_hosts 192.168.182.11 http_port 192.168.182.11 server_user root server_group root default_user root default_hdfs_superuser root fs_defaulfs hdfs://192.168.182.11:9000 webhdfs_url http://192.168.182.11:50070/webhdfs/v1 hadoop_conf_dir /root/training/hadoop-2.7.3/etc/hadoop resourcemanager_host 192.168.182.11 resourcemanager_api_url http://192.168.182.11:8088 proxy_api_url http://192.168.182.11:8088 history_server_api_url http://192.168.182.11:19888 二、与HBase集成: 1、修改配置文件hue.ini: hbase_clusters(Cluster|192.168.182.11:9090) hbase_conf_dir/root/training/hbase-1.3.1/conf 三、与Hive集成 hive_server_host192.168.182.11 hive_server_port10000 hive_conf_dir/root/training/apache-hive-2.3.0-bin/conf 三、启动HUE 1、启动hadoop:start-all.sh hue就可以访问hadoop 2、启动hbase:start-hbase.sh 3、启动hbase的thrift server:hbase-daemon.sh start thrift hue就可以访问hbase 4、启动hive的元信息存储hive --service metastore表示前台运行 hue就可以访问hive的元信息 5、启动hive的thrift server:hiveserver2 表示后台运行 hue就可以访问hive 6、启动huebin/supervisor($HUE_HOME/build/env) 作者李金泽清华大学在读硕士研究方向大数据和人工智能
