标签归档:HDFS

Hadoop安装部署笔记

最近一直在看Hadoop分布式计算框架,也打算在这个基础之上做一些简单的应用研究。在研读了一些Hadoop相关的论文之后,发现做理论研究的一般都很少提及Hadoop的安装与搭建。作为一个实践派的骨灰级粉丝,我决定从搭建Hadoop环境开始认识这个仅仅0.2的版本号就能被推上神坛的分布式计算框架。

查阅了一些资料,发现Hadoop似乎只支持在Linux上部署生产环境,如果在Windows下部署开发调试环境,也需要Cygwin的支持。首先,搭建Linux环境。我选用的Linux发行版是Ubuntu Server 10.4 LTS版本。虽然11.10已经释出,但是基于稳定性的考虑,还是使用LTS(Long Time Support)版本。

Hadoop允许用户使用三种不同的部署方式:

  • 单机部署
  • 伪分布式部署
  • 分布式部署

为了全面体验Hadoop的特性,了解在生产环境下部署Hadoop可能遇到的问题,我悍然选择第三种部署方式。这种部署方式至少需要两台电脑,即一个NameNode和一个DataNode。我选用了一个Name节点和两个Data节点的部署方式。首先启动VMWare,建立一个虚拟机,安装Ubuntu Server 11.04。像大多数部署Ubuntu环境一样,选择最基本环境,外加OpenSSH,大约20分钟左右,即可安装成功。
继续阅读