L
L

VMWare Workstation use RedHat Enterprise6搭建Hadoop运行环境

学校不允许使用固定IP,手头没有路由器,服务器机房不通网,每周例会时间紧迫,只得用VMware 虚拟Linux3台,跑跑实验应付过关,参考他人工作,总结如下: 整个Hadoop环境搭建过程用到了三个虚拟机:Red Hat Linux1、Red Hat Linux2、Red Hat Linux3,其IP地址分别为192.168.11.188、192.168.11.189、192.168.11.190(具体为虚拟机分配IP的过程下面详细说明)。其中192.168.11.188作为Hadoop的Namenode和Jobtracker。其他两台机器均作为Datanode和Tasktracker。 环境搭建过程中用到的软件及版本如下: VMWare Workstation**:VMware-workstation-full-9.0.1**

JDK:1.7

Hadoop:hadoop-1.0.3

Linux:Redhat Linux Enterprise 6

安装过程:

一、VMWare Workstation安装

       略,软件官网下载,序列号下列任选 JA4YE-48J57-VZEF1-D91ZP-3CDP9
4U6W2-2D290-4ZE08-2VCE6-2CDM9
JG6QL-06J0J-ZZY21-TJAQ6-0256M
NY0K2-2ULDJ-LZUP1-MV154-8363F
4F4R4-AEK53-TZYU9-KK9X4-9AWPQ

二、虚拟机的安装

安装过程自动,Redhat Enterprise6虚拟机至少需要划分12G硬盘空间,否则提示空间不足,可创建三次虚拟机,也可创建一次Copy两次,不过后者需要手动修改网卡Mac地址,否则三个虚拟机一样无法互联

1. 更改三个虚拟机的网络连接方式

选中虚拟机点击Setting, 如下图:

0_13068324876V1G

2. 配置虚拟机的IP地址和主机名

Linux Terminal 里改为Root用户 su root 输入如下指令: vi /etc/sysconfig/network-scripts/ifcfg-eth0 三台虚拟机分别设置IP地址和默认网关,进行保存 BOOTPROTO="static"
IPADDR="192.168.11.188"
GATEWAY="192.168.11.9"
NETMASK="255.255.255.0"
ONBOOT="yes"
添加修改以上几项即可
vi简单使用,i 键进入编辑模式,esc退出至只读,:进入命令行,wq保存退出 3. 配置虚拟机主机名 vi /etc/sysconfig/network HOSTNAME=redhat1

0_1306832587vUKw

三 安装JAVA JDK 外部文件可直接COPY到虚拟机目录中,不需安装软件 例如COPY Java Jdk至 Downloads文件夹,命令行执行如下 rpm -ivh jdk-7u9-linux-x64.rpm JDK自动安装至 /usr/java文件夹下 命令行输入java查看是否安装成功

0_1306833927DP9i

0_1306833972Oz5m

至此,JDK安装和配置全部完成

四 建立虚拟机之间SSH无密码登陆

1

2

注意 执行如 ssh localhost后开通ssh服务,需exit后再执行其它命令 Copy id_dsa.pub 文件至子结点时 scp /root/.ssh/id_dsa.pub root@192.168.11.189:/root

注意写全路径或进入root目录下执行命令,否则可能找不到文件,同理之后操作 cat /root/id_dsa.pub >> /root/.ssh/authorized_keys

虚拟机之间SSH无密码登录配置成功,下面就要进行Hadoop环境的安装

五 Hadoop 环境安装

1. 安装Hadoop

官网下载,只需解压,放在/usr下

解压命令 tar –zvxf hadoop-1.0.3.tar.gz

移动命令 cp –r hadoop-1.0.3 /usr

2. 配置Hadoop 环境变量

vi /etc/profile

3

4

5

6

7

8

注意去掉#注释 最后一副图中mapred-site.xml配置,应为: <name>mapred.job.tracker</name>

三个虚拟器都要改一下

修改DNS服务器

vi /etc/resolv.conf

nameserver 192.168.11.9

vi /etc/hosts

192.168.11.188 redhat1

192.168.11.189 redhat2

192.168.11.190 redhat3

vi /etc/hostname

redhat1

 

环境搭建完成

六 验证是否成功

在master结点主机192.168.11.188执行如下命令,格式化文件系统

cd /usr/hadoop-1.0.3/

bin`/hadoopnamenode –format`

在master结点上执行如下命令启动系统,只需在master节点执行

bin/start-all.sh(stop-all.sh)启动全部

bin/start-dfs.sh(stop-dfs.sh)启动HDFS文件系统

bin/start-mapred.sh(stop-mapred.sh)启动Mapreduce框架

在master与data结点分别运行JPS,查看是否正常开启

列出HDFS文件系统存在的目录

hadoop fs –ls 或 hadoop fs –ls \path

关于hadoop fs 指令详细参数说明见 hadoop fs

浏览器监视HDFS文件系统运行情况

输入[http://192.168.11.199:50070](http://192.168.11.199:50070)

查看任务运行情况

输入[http://192.168.11.188:50030](http://192.168.11.188:50030)