Mac安装Hadoop单机版和启动HDFS

avatar 2020年6月26日13:40:30 评论 35 views

最近买了些大数据库的视频和书来学习,希望自己能坚持下去。

本文介绍 Mac 下安装 Hadoop,Linux 环境和 Mac 并无区别。

一、准备

1、安装 JDK1.8

我这里是通过 brew install java 安装

2、配置Java环境变量

 

我相信搞 Java 的朋友这里已经配置过了,不需要再弄了

 

二、安装 Hadoop

官方文档地址:

https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html

1、下载 Hadoop

我们这里选择 CDH,而不选择 apache 官方的

下载链接地址:http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.1.tar.gz

可以直接在浏览器访问下载,或者使用 wget 命令下载

 

2、解压

我这里下载到我本地 /Users/liuyanzhao/Documents/HadoopStudy/hadoop 下面,然后解压

这里说一下 hadoop 的几个目录结构

bin:hadoop客户端命令
etc/haddop:hadoop相关配置文件
sbin:启动hadoop相关进程的脚本(server端)
examples:案例
lib:依赖的包
share:常用例子

 

3、设置 Hadoop 环境变量

目的是后面可以在任意目录下执行 hadoop 命令

1)编辑 /etc/profile 文件,或者 ~/.bash_profile

vim /etc/profile

HADOOP_HOME=/Users/liuyanzhao/Documents/HadoopStudy/hadoop/hadoop-2.6.0-cdh5.15.1
PATH=$HADOOP_HOME/bin:$PATH

 

2)执行 source 命令,使之生效

source /etc/profile

 

 

4、修改 etc/hadoop/hadoop-env.sh 文件(可选)

修改 hadoop-2.6.0-cdh5.15.1 下的 etc/hadoop/hadoop-env.sh

这里主要是设置一下 JAVA_HOME

如果你之前配置了JAVA_HOME环境变量就不需要配了

但是建议这里还是配置一下

 

5、修改 etc/hadoop/core-site.xml

修改 hadoop-2.6.0-cdh5.15.1 下的 etc/hadoop/core-site.xml 文件

在 <configuration> </configuration> 里添加

    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop000:8020</value>
    </property>

这里指定 hdfs 的端口是8020

 

6、修改 etc/hadoop/hdfs-site.xml

修改 hadoop-2.6.0-cdh5.15.1 下的 etc/hadoop/hdfs-site.xml

在 <configuration> </configuration> 里添加

    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/Users/liuyanzhao/Documents/HadoopStudy/hadoop/tmp</value>
    </property>
这里是指定 hdfs 文件存储时副本数为1,设置 hadoop 文件存储位置
7、HDFS 初始化
注意,只是安装的时候才执行,以后不需要执行
1)切换到 hadoop 安装目录
cd /Users/liuyanzhao/Documents/HadoopStudy/hadoop/hadoop-2.6.0-cdh5.15.1
2)格式化 HDFS
hdfs namenode -format

 

三、启动 HDFS

1、进入 sbin 目录

cd sbin

 

2、启动 HDFS

./start-dfs.sh

执行完毕后,会启动 namenode、datanode、secondarynamenode 三个进程

如果启动失败,比如如果 namenode 没有成功,查看日志

tail -n 100 logs/hadoop-liuyanzhao-namenode-localhsot.log

3、访问浏览器

地址栏输入:http://localhost:50070/

会进入 hadoop 可视化页面

 

 

四、停止 HDFS

停止命令只需要把 start 改成 stop 即可

1、进入 sbin 目录

cd sbin

 

2、启动 HDFS

./stop-dfs.sh

 

 

 

  • 微信
  • 交流学习,有偿服务
  • weinxin
  • 博客/Java交流群
  • 资源分享,问题解决,技术交流。群号:590480292
  • weinxin
avatar

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: