上海黄浦 网站建设,信息流投放公司,施工企业应建立的安全健康与环境管理制度包括,外贸公司网站空间hadoop3 禁用ec在Hadoop的Wiki页面上放置了一个旧教程#xff1a; http : //wiki.apache.org/hadoop/AmazonEC2 #xff0c;但是最近我不得不遵循本教程#xff0c;并且我注意到它没有涵盖某些Amazon新功能。 建议您已经熟悉Hadoop的基础来学习本教程#xff0c;可以在Had… hadoop3 禁用ec 在Hadoop的Wiki页面上放置了一个旧教程 http : //wiki.apache.org/hadoop/AmazonEC2 但是最近我不得不遵循本教程并且我注意到它没有涵盖某些Amazon新功能。 建议您已经熟悉Hadoop的基础来学习本教程可以在Hadoop的主页http://hadoop.apache.org/上找到非常有用的“如何开始”教程。 另外您必须至少熟悉Amazon EC2内部和实例定义。 当您在Amazon AWS上注册帐户时您可以运行750小时 t1.micro实例但不幸的是您无法在此类计算机上成功运行Hadoop。 在以下步骤中当命令以$开头时意味着它应该在本地计算机中执行而在EC2实例中以命令执行。 创建一个X.509证书 由于我们将使用ec2-tools因此我们在AWS的帐户需要有效的X.509证书 创建.ec2文件夹 $ mkdir ~/.ec2 在AWS上登录 选择“安全凭证”然后在“访问凭证”上单击“ X.509证书” 您有两种选择 使用命令行创建证书 $ cd ~/.ec2; openssl genrsa -des3 -out my-pk.pem 2048$ openssl rsa -in my-pk.pem -out my-pk-unencrypt.pem$ openssl req -new -x509 -key my-pk.pem -out my-cert.pem -days 1095 仅在您的机器日期确定的情况下才有效。 使用该站点创建证书并下载私钥请记住将其放在〜/ .ec2中。 设置Amazon EC2-Tools 下载并解压缩ec2-tools 编辑〜/ .profile以导出ec2-tools所需的所有变量因此您不必在每次打开提示时都这样做 以下是应附加到〜/ .profile文件的示例 导出JAVA_HOME / usr / lib / jvm / java-6-sun 出口EC2_HOME 〜/ ec2-api-tools- * 导出PATH $ PATH$ EC2_HOME / bin 出口EC2_CERT 〜/ .ec2 / my-cert.pem 要访问实例您需要进行身份验证出于安全方面的明显原因通过这种方式您必须创建密钥对公共密钥和私有密钥 在https://console.aws.amazon.com/ec2/home上单击“密钥对”或 您可以运行以下命令 $ ec2-add-keypair my-keypair | grep –v KEYPAIR ~/.ec2/id_rsa-keypair$ chmod 600 ~/.ec2/id_rsa-keypair 设置Hadoop 下载并解压缩Hadoop后您必须编辑src / contrib / ec2 / bin / hadoop-ec2-env.sh上的EC2配置脚本。 AWS变量 这些变量与您的AWS账户AWS_ACCOUNT_IDAWS_ACCESS_KEY_IDAWS_SECRET_ACCESS_KEY相关可以在您的账户登录时在“安全凭证”中找到。 安全变量 安全变量EC2_KEYDIRKEY_NAMEPRIVATE_KEY_PATH是与EC2实例的启动和访问有关的变量。 选择一个AMI 根据要运行的Hadoop版本HADOOP_VERSION和实例类型INSTANCE_TYPE应使用正确的映像来部署实例 您可以使用许多公共AMI图像它们必须满足大多数用户的需求来列出键入 $ ec2-describe-images -x all | grep hadoop 或者您可以构建自己的映像然后将其上传到Amazon S3存储桶 选择了将要使用的AMI之后基本上可以在hadoop-ec2-env.sh上编辑三个变量 S3_BUCKET将要使用的图像例如hadoop-images放置在存储桶中 ARCH您选择的AMI映像i386或x84_64的体系结构以及 BASE_AMI_IMAGE映射AMI图像的唯一代码例如ami-2b5fba42。 其他可配置变量是JAVA_VERSION您可以在其中定义将与实例一起安装的版本 您还可以提供二进制文件所在的链接JAVA_BINARY_URL例如如果您具有JAVA_VERSION 1.6.0_29则可以使用JAVA_BINARY_URL http//download.oracle.com/otn-pub/java/ jdk / 6u29-b11 / jdk-6u29-linux-i586.bin。 跑步 您可以将src / contrib / ec2 / bin的内容添加到PATH变量中以便能够从打开提示的位置运行独立的命令 要启动EC2集群并启动Hadoop请使用以下命令。 参数是集群名称hadoop-test和从站数2。 群集启动时公共DNS名称将被打印到控制台。 $ hadoop-ec2 launch-cluster hadoop-test 2 要从“集群”登录主节点请输入 $ hadoop-ec2 login hadoop-test 登录到主节点后便可以开始作业 例如要测试您的集群您可以运行hadoop * -examples.jar已提供的pi计算 # cd /usr/local/hadoop-*# bin/hadoop jar hadoop-*-examples.jar pi 10 10000000 您可以通过http// MASTER_HOST50030 /查看工作进度。 其中MASTER_HOST是群集启动后返回的主机名。 工作完成后群集仍处于活动状态。 要关闭请使用以下命令 $ hadoop-ec2 terminate-cluster hadoop-test 请记住在Amazon EC2中实例是按小时收费的因此如果您只想进行测试则可以在集群上再玩几分钟。 参考 Hadoop Amazon EC2 –我们的JCG合作伙伴 Rodrigo Duarte在Thinking Bigger博客上的更新教程 。 翻译自: https://www.javacodegeeks.com/2012/11/hadoop-amazon-ec2-an-updated-tutorial.htmlhadoop3 禁用ec
