最近买了些大数据库的视频和书来学习，希望自己能坚持下去。

本文介绍 Mac 下安装 Hadoop，Linux 环境和 Mac 并无区别。

一、准备

1、安装 JDK1.8

我这里是通过 brew install java 安装

2、配置Java环境变量



 

我相信搞 Java 的朋友这里已经配置过了，不需要再弄了

 

二、安装 Hadoop

官方文档地址：

https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html

1、下载 Hadoop

我们这里选择 CDH，而不选择 apache 官方的

下载链接地址：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.1.tar.gz

可以直接在浏览器访问下载，或者使用 wget 命令下载

 

2、解压

我这里下载到我本地 /Users/liuyanzhao/Documents/HadoopStudy/hadoop 下面，然后解压



这里说一下 hadoop 的几个目录结构

bin：hadoop客户端命令
etc/haddop：hadoop相关配置文件
sbin：启动hadoop相关进程的脚本（server端）
examples：案例
lib：依赖的包
share：常用例子

 

3、设置 Hadoop 环境变量

目的是后面可以在任意目录下执行 hadoop 命令

1）编辑 /etc/profile 文件，或者 ~/.bash_profile

vim /etc/profile

HADOOP_HOME=/Users/liuyanzhao/Documents/HadoopStudy/hadoop/hadoop-2.6.0-cdh5.15.1
PATH=$HADOOP_HOME/bin:$PATH

 

2）执行 source 命令，使之生效

source /etc/profile

 

 

4、修改 etc/hadoop/hadoop-env.sh 文件（可选）

修改 hadoop-2.6.0-cdh5.15.1 下的 etc/hadoop/hadoop-env.sh

这里主要是设置一下 JAVA_HOME

如果你之前配置了JAVA_HOME环境变量就不需要配了

但是建议这里还是配置一下



 

5、修改 etc/hadoop/core-site.xml

修改 hadoop-2.6.0-cdh5.15.1 下的 etc/hadoop/core-site.xml 文件

在 <configuration> </configuration> 里添加

    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop000:8020</value>
    </property>

这里指定 hdfs 的端口是8020

 

6、修改 etc/hadoop/hdfs-site.xml

修改 hadoop-2.6.0-cdh5.15.1 下的 etc/hadoop/hdfs-site.xml

在 <configuration> </configuration> 里添加

    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/Users/liuyanzhao/Documents/HadoopStudy/hadoop/tmp</value>
    </property>

cd /Users/liuyanzhao/Documents/HadoopStudy/hadoop/hadoop-2.6.0-cdh5.15.1

 

三、启动 HDFS

1、进入 sbin 目录

cd sbin

 

2、启动 HDFS

./start-dfs.sh

执行完毕后，会启动 namenode、datanode、secondarynamenode 三个进程

如果启动失败，比如如果 namenode 没有成功，查看日志

tail -n 100 logs/hadoop-liuyanzhao-namenode-localhsot.log

3、访问浏览器

地址栏输入：http://localhost:50070/

会进入 hadoop 可视化页面



 

 

四、停止 HDFS

停止命令只需要把 start 改成 stop 即可

1、进入 sbin 目录

cd sbin

 

2、启动 HDFS

./stop-dfs.sh