深圳nft网站开发公司,2345浏览器网址入口,网站设计方案图,上海泵阀网站建设1.hadoop安全机制历史在Hadoop1.0.0或者CDH3 版本之前#xff0c; hadoop并不存在安全认证一说。默认集群内所有的节点都是可靠的#xff0c;值得信赖的。用户与HDFS或者M/R进行交互时并不需要进行验证。导致存在恶意用户伪装成真正的用户或者服务器入侵到hadoop集群上#…1.hadoop安全机制历史在Hadoop1.0.0或者CDH3 版本之前 hadoop并不存在安全认证一说。默认集群内所有的节点都是可靠的值得信赖的。用户与HDFS或者M/R进行交互时并不需要进行验证。导致存在恶意用户伪装成真正的用户或者服务器入侵到hadoop集群上恶意的提交作业修改JobTracker状态篡改HDFS上的数据伪装成NameNode 或者TaskTracker接受任务等。 尽管在版本0.16以后 HDFS增加了文件和目录的权限但是并没有强认证的保障这些权限只能对偶然的数据丢失起保护作用。恶意的用户可以轻易的伪装成其他用户来篡改权限致使权限设置形同虚设。不能够对Hadoop集群起到安全保障。在Hadoop1.0.0或者CDH3版本后加入了Kerberos认证机制。使得集群中的节点就是它们所宣称的是信赖的。Kerberos可以将认证的密钥在集群部署时事先放到可靠的节点上。集群运行时集群内的节点使用密钥得到认证。只有被认证过节点才能正常使用。企图冒充的节点由于没有事先得到的密钥信息无法与集群内部的节点通信。防止了恶意的使用或篡改Hadoop集群的问题确保了Hadoop集群的可靠安全。2.Hadoop面临的安全问题2.1 用户到服务器的认证问题1)NameNode,JobTracker上没有用户认证用户可以伪装成其他用户入侵到一个HDFS 或者MapReduce集群上。2)DataNode上没有认证Datanode对读入输出并没有认证。导致如果一些客户端如果知道block的ID就可以任意的访问DataNode上block的数据3)JobTracker上没有认证可以任意的杀死或更改用户的jobs可以更改JobTracker的工作状态2.2 服务器到服务器的认证问题1)没有DataNode, TaskTracker的认证用户可以伪装成datanode ,tasktracker去接受JobTracker, Namenode的任务指派。3.安全机制3.1Java的安全机制详细介绍请参考JAAS:灵活的Java安全机制简单来说,用户首先使用LoginContext的接口进行登录验证。LoginContext可以配置使用不同的验证协议。验证通过后用户得到一个subject里面包含凭证公私钥等。之后在涉及到需要进行权限认证的地方(例如资源访问外部链接校验协议访问等)使用doAs函数()代替直接执行。这样java的权限认证就和用户的业务逻辑分离了。//一段典型的代码如下LoginContext lc new LoginContext(MyExample);try {lc.login();} catch (LoginException) {// Authentication failed.}// Authentication successful, we can now continue.// We can use the returned Subject if we like.Subject sub lc.getSubject();Subject.doAs(sub, new MyPrivilegedAction());3.2Kerberos认证协议Kerberos是一种网络认证协议其设计目标是通过密钥系统为客户机 / 服务器应用程序提供强大的认证服务。简单介绍使用Kerberos时一个客户端需要经过三个步骤来获取服务:认证客户端向认证服务器发送一条报文并获取一个含时间戳的Ticket-Granting Ticket(TGT)。授权客户端使用TGT向Ticket-Granting Server(TGS)请求一个服务Ticket。服务请求客户端向服务器出示服务Ticket以证实自己的合法性。该服务器提供客户端所需服务在Hadoop应用中服务器可以是namenode或jobtracker。为此Kerberos需要The Key Distribution Centers(KDC)来进行认证。KDC只有一个Master可以带多个slaves机器。slaves机器仅进行普通验证。Mater上做的修改需要自动同步到slaves。另外KDC需要一个admin来进行日常的管理操作。这个admin可以通过远程或者本地方式登录。4.Hadoop Kerberos安全机制安装安装这里就不讲解了网上资料一大堆5.kerberos安装后hbase客户端链接的变化5.1 客户端链接kerberos的准备一台机器叫hbaseclient.com,首先在其上安装kerberos客户端安装后连接kadmin工具创建用户test并生成keytab文件kinit admin/adminkadmin: addprinc -randkey testkadmin: xst -k test.keytab test5.2 未安装kerberos之前hbase客户端链接代码public class Test1 {public static void main(String[] args) throws IOException {Configuration conf HBaseConfiguration.create();conf.set(hbase.zookeeper.quorum, zookeeperserver1,zookeeperserver2,zookeeperserver3);conf.set(hbase.zookeeper.property.clientPort, 2181);HTable t new HTable(conf, test);Scan s new Scan();ResultScanner rs t.getScanner(s);try{for(Result r:rs){for(Cell cell:r.rawCells()){System.out.println(Row: new String(CellUtil.cloneRow(cell)));System.out.println(CF: new String(CellUtil.cloneFamily(cell)));System.out.println(Qualifier: new String(CellUtil.cloneQualifier(cell)));System.out.println(Value: new String(CellUtil.cloneValue(cell)));}}}finally{t.close();}System.out.println(Done!);}5.3 安装kerberos之后hbase客户端链接代码public class Test1 {public static void main(String[] args) throws IOException {Configuration conf HBaseConfiguration.create();conf.set(hbase.zookeeper.quorum, zookeeperserver1,zookeeperserver2,zookeeperserver3);conf.set(hbase.zookeeper.property.clientPort, 2181);conf.set(hadoop.security.authentication, kerberos);UserGroupInformation.setConfiguration(conf);UserGroupInformation.loginUserFromKeytab(hbaseclient.com, /home/test/test.keytab);HTable t new HTable(conf, test);Scan s new Scan();ResultScanner rs t.getScanner(s);try{for(Result r:rs){for(Cell cell:r.rawCells()){System.out.println(Row: new String(CellUtil.cloneRow(cell)));System.out.println(CF: new String(CellUtil.cloneFamily(cell)));System.out.println(Qualifier: new String(CellUtil.cloneQualifier(cell)));System.out.println(Value: new String(CellUtil.cloneValue(cell)));}}}finally{t.close();}System.out.println(Done!);}6.spring-data-hadoop中如何使用kerberos6.1 kerberos安装之前配置xmlns:xsihttp://www.w3.org/2001/XMLSchema-instancexmlns:hdphttp://www.springframework.org/schema/hadoopxmlns:beanshttp://www.springframework.org/schema/beansxmlns:contexthttp://www.springframework.org/schema/contextxsi:schemaLocationhttp://www.springframework.org/schema/beanshttp://www.springframework.org/schema/beans/spring-beans.xsdhttp://www.springframework.org/schema/hadoophttp://www.springframework.org/schema/hadoop/spring-hadoop.xsdhttp://www.springframework.org/schema/contexthttp://www.springframework.org/schema/context/spring-context-3.1.xsdfs.defaultFShdfs://master:9000/6.2 kerberos安装之后配置xmlns:xsihttp://www.w3.org/2001/XMLSchema-instancexmlns:hdphttp://www.springframework.org/schema/hadoopxmlns:beanshttp://www.springframework.org/schema/beansxmlns:contexthttp://www.springframework.org/schema/contextxsi:schemaLocationhttp://www.springframework.org/schema/beanshttp://www.springframework.org/schema/beans/spring-beans.xsdhttp://www.springframework.org/schema/hadoophttp://www.springframework.org/schema/hadoop/spring-hadoop.xsdhttp://www.springframework.org/schema/contexthttp://www.springframework.org/schema/context/spring-context-3.1.xsdfs.defaultFShdfs://master:9000/hadoop.security.authenticationkerberoshadoop.security.authorizationtruekeyTab/home/test/test.keytabprincipalhbaseclient.com7.以上配置是参见hadoop-common-2.6.0.jar中源码org.apache.hadoop.security.UserGroupInformation.java得知8.参考资料
