Hadoop 集群 傻瓜式搭建手记 (一) 软件准备

By | 12月11日
Advertisement

听说Hadoop很久了,今天开始尝试自己搭建一个集群来玩玩,同时学习下Linux各种操作。

主要参考资料当然是官方文档了:

Hadoop 集群搭建:http://hadoop.apache.org/common/docs/r0.19.2/cn/cluster_setup.html

Hadoop 快速入门:http://hadoop.apache.org/common/docs/r0.19.2/cn/quickstart.html

采用的操作系统是 Ubuntu 11.04.03 64-bit Server。

通过VMware 来创建虚拟网络,这也是现实问题,没有那么多机器啊Hadoop 集群 傻瓜式搭建手记 (一) 软件准备

预计的设计是这样,4台虚拟机:NameServer, JobTracker, DataNode01, DataNode02。

主机为Win7。

首先安装系统,这个没有什么好说的,VMware有Easy Install,中间偶尔干涉一下,就完事了。

然后安装必须的软件,第一个就是JAVA,Hadoop推荐使用Sun公司的Java, 但是用apt-get install java, 只有openjdk之类的。于是上网搜了半天,找到一篇文章(http://blog.csdn.net/ansomray/article/details/5825096),根据其说明,添加apt source,再重新安装,命令如下:

sudo add-apt-repository "deb http://archive.canonical.com/ lucid partner"

sudo apt-get update

sudo apt-get install sun-java6-jdk

然后设置JAVA_HOME:

sudo vi /etc/environment

在其中添加

JAVA_HOME=/usr/lib/jvm/java-6-sun
CLASSPATH=.:/usr/lib/jvm/java-6-sun/lib

接着再安装ssh,这个没有什么好说的:

sudo apt-get install ssh
sudo apt-get install rsync

再来就是获取Hadoop的发行版,这个可以从这里获取稳定发行版。

在Win7中下载下来后,问题就来了,怎么从Ubuntu Server中访问Win7的东西,这玩意儿只有命令行啊。继续搜索,发现是通过mount 的方式来处理: 先在mnt下建立一个目录,然后把Win7中共享的文件mount 到那个目录上,这样就可以访问了。命令如下:

sudo mkdir /mnt/HostShare
sudo mount -t cifs -o username=myname,password=11111 //192.168.0.100/share /mnt/HostShare

这里本来是查到的用smbfs,结果Ubuntu说这个好像将从2.6.27内核中删除,不推荐使用,于是采用了cifs。同时好像必须要同时提供username和password,不然就会说writen-protected,mount不上去。

最后当然是建立Hadoop目录,解压弄下来的文件,我下载的是.tar.gz文件,所以命令如下:

sudo tar zxvf hadoop.tar.gz
sudo mv hadoop-hadoop-0.20.203 /hadoop

第二个命令是把解压后的文件夹移动到根目录并重命名为hadoop,这个是为了管理方便。

这样,基本的软件准备就搞定了,下面就是拷贝装好的第一台虚拟机,再复制三台出来,分别按照预定各自命名,然后就是组建网络了。

时间太晚了,明天再写吧。

Similar Posts:

  • Hadoop集群完全分布式搭建教程-CentOS

    本篇在前一篇<Hadoop单机模式和伪分布式搭建教程>的基础上完成完全分布式的搭建,所以本篇的前提是已经按照之前的教程完成了伪分布式的安装.注意截图中的slaver应该是slave,哈哈,搭建的时候多打了r,没弄清slaver和slave的区别. 1. 说明 本教程中电脑为8G内存,故而将使用四个节点作为集群环境,其中一个为master,3个为slave(分别是slave1.slave2和slave3.master节点将仅为namenode存在,而slave节点是datanode),这样也算是

  • Ubuntu 12.04 搭建 Hadoop 集群版环境

    转自:http://www.linuxidc.com/Linux/2013-01/78113.htm 终于把Hadoop集群的环境搭建好了,搭建的流程和单机版基本差不多,但是搭建过程中也遇到了许多的困难,例如:ssh授权这块,搭建过程中,出现的问题很多,导致我耽误了好长的时间!现在我把我的搭建过程梳理一下,如果有什么问题,请多多指教! 一. 搭建环境前的准备: 我的本机Ubuntu 12.04 32bit作为maser,就是上篇hadoop单机版环境搭建时用的那台机子,http://www.li

  • hadoop集群环境搭建之安装配置hadoop集群

    在安装hadoop集群之前,需要先进行zookeeper的安装,请参照hadoop集群环境搭建之zookeeper集群的安装部署 1 将hadoop安装包解压到 /itcast/ (如果没有这个目录可以先自行创建之) tar -zxvf hadoop-2.6.4.tar.gz -C /itcast 2 配置HDFS(hadoop2所有的配置文件都在$HADOOP_HOME/etc/hadoop目录下) 2.1将hadoop添加到环境变量中,可以在一台机器上添加,然后发送给其他节点 vim /et

  • Hadoop4 利用VMware搭建自己的hadoop集群

    前言: 前段时间自己学习如何部署伪分布式模式的hadoop环境,之前由于工作比较忙,学习的进度停滞了一段时间,所以今天抽出时间把最近学习的成果和大家分享一下. 本文要介绍的是如何利用VMware搭建自己的hadoop的集群.如果大家想了解伪分布式的大家以及eclipse中的hadoop编程,可以参考我之前的三篇文章. 1.在Linux环境中伪分布式部署hadoop(SSH免登陆),运行WordCount实例成功. http://www.cnblogs.com/PurpleDream/p/4009

  • hadoop学习一:hadoop 集群搭建

    hadoop集群搭建 硬件环境:redhat 三个节点node1,node2,node3(虚拟机) 一:为三个节点新建用户grid 二:配置ssh免登录 (在node1节点)使用grid用户登录,<br><div> 运行ssh -keygen -t rsa<br> 切换到 .ssh目录下,复制当前目录下的id_rsa.pub并重命名为authorized_keys (在node2节点)使用grid用户登录, 运行ssh -keygen -t rsa 切换到 .ssh目录

  • 在Redhat AS6上搭建Hadoop集群总结

    于本周末在家里的两台电脑上用Vmware+Redhat As6 + hadoop-0.21.0上搭建了一个3节点的Hadoop集群,虽说是原来已经搭建过类似的集群了,也跑过JavaAPI来操作HDFS与Map/reduce,但是这一次依然是受到挑战了,好些小细节,稍有遗漏就会有如坐过山车一般大起大落.故此,记下本次的操作的几个步骤,以供后续参考. 1.建3个VM的虚拟机,保证互联互通 IP address:192.168.43.201 hostname :zhangzk01 IP address

  • 搭建6个节点的Hadoop集群

    搭建6个节点的Hadoop集群 节点 在实验室192.168.100.20:8006,用户名:root,密码:**,申请了6个节点,分别是: 192.168.101.44 #主节点 192.168.101.45 #节点1 192.168.101.46 #节点2 192.168.101.47 #节点3 192.168.101.48 #节点4 192.168.101.49 #节点4 网络基本配置 255.255.254.0 #子网掩码 192.168.100.1 #网关 233.6.6.6 #使用阿

  • 如何搭建Hadoop集群环境

    第一步:安装 (1) 下载hadoop包 http://hadoop.apache.org/ (2) 登录需要配置hadoop的服务器(HadoopSrv01) su -gird(官方建议用grid账户搭建) (3) 解压 tar -xvf hadoop-2.1.0-bin.tar.gz 到一个目录比如/home/gird (4) 进入/home/gird 创建临时目录 tmp (5) 配置 hadoop-env.sh, core-site.xml, hdfs-site.xml,mapred-s

  • 10分钟搭建Hadoop集群

    10分钟搭建Hadoop集群 1. 准备 3台Linux机器或虚拟机,安装了CentOS6/Redhat6/Ubuntu; 在所有机器上都安装了ssh和rsync,ubuntu安装例子: $ sudo apt-get install ssh $ sudo apt-get install rsync 安装java. 2. 规划节点: 将其中一台机器作为master作为NameNode,另外两台作为DataNode,命名3台机器为:node1,node2,node3,这里将node1作为NameNo

  • Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程(修改纠错版)

    历时一周多,终于搭建好最新版本hadoop2.2集群,期间遇到各种问题,作为菜鸟真心被各种折磨,不过当wordcount给出结果的那一刻,兴奋的不得了~~(文当中若有错误之处或疑问欢迎指正,互相学习) PS:转载请注明来源:http://blog.csdn.net/licongcong_0224/article/details/12972889 另外:欢迎配置过程中遇到问题的朋友留言,相互讨论,并且能够把解决方法共享给大家.下面评论中有几个朋友遇到的问题和解决方法,欢迎参考! 特别说明:我本人也

Tags: