Mac安装Hadoop单机版和启动HDFS

avatar 2020年06月26日13:40:30 0 1103 views
最近买了些大数据库的视频和书来学习,希望自己能坚持下去。

本文介绍 Mac 下安装 Hadoop,Linux 环境和 Mac 并无区别。

一、准备


1、安装 JDK1.8

我这里是通过 brew install java 安装

2、配置Java环境变量



 

我相信搞 Java 的朋友这里已经配置过了,不需要再弄了

 

二、安装 Hadoop


官方文档地址:

https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html

1、下载 Hadoop

我们这里选择 CDH,而不选择 apache 官方的

下载链接地址:http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.1.tar.gz

可以直接在浏览器访问下载,或者使用 wget 命令下载

 

2、解压

我这里下载到我本地 /Users/liuyanzhao/Documents/HadoopStudy/hadoop 下面,然后解压



这里说一下 hadoop 的几个目录结构
bin:hadoop客户端命令
etc/haddop:hadoop相关配置文件
sbin:启动hadoop相关进程的脚本(server端)
examples:案例
lib:依赖的包
share:常用例子

 

3、设置 Hadoop 环境变量

目的是后面可以在任意目录下执行 hadoop 命令

1)编辑 /etc/profile 文件,或者 ~/.bash_profile

vim /etc/profile
HADOOP_HOME=/Users/liuyanzhao/Documents/HadoopStudy/hadoop/hadoop-2.6.0-cdh5.15.1
PATH=$HADOOP_HOME/bin:$PATH

 

2)执行 source 命令,使之生效
source /etc/profile

 

 

4、修改 etc/hadoop/hadoop-env.sh 文件(可选)

修改 hadoop-2.6.0-cdh5.15.1 下的 etc/hadoop/hadoop-env.sh

这里主要是设置一下 JAVA_HOME

如果你之前配置了JAVA_HOME环境变量就不需要配了

但是建议这里还是配置一下



 

5、修改 etc/hadoop/core-site.xml

修改 hadoop-2.6.0-cdh5.15.1 下的 etc/hadoop/core-site.xml 文件

在 <configuration> </configuration> 里添加
    <property>
       <name>fs.defaultFS</name>
        <value>hdfs://hadoop000:8020</value>
    </property>

这里指定 hdfs 的端口是8020

 

6、修改 etc/hadoop/hdfs-site.xml

修改 hadoop-2.6.0-cdh5.15.1 下的 etc/hadoop/hdfs-site.xml

在 <configuration> </configuration> 里添加
    <property>
       <name>dfs.replication</name>
       <value>1</value>
   </property>
   <property>
       <name>hadoop.tmp.dir</name>
       <value>/Users/liuyanzhao/Documents/HadoopStudy/hadoop/tmp</value>
    </property>

这里是指定 hdfs 文件存储时副本数为1,设置 hadoop 文件存储位置



7、HDFS 初始化

注意,只是安装的时候才执行,以后不需要执行

1)切换到 hadoop 安装目录

cd /Users/liuyanzhao/Documents/HadoopStudy/hadoop/hadoop-2.6.0-cdh5.15.1


2)格式化 HDFS

hdfs namenode -format

 

三、启动 HDFS


1、进入 sbin 目录
cd sbin

 

2、启动 HDFS
./start-dfs.sh

执行完毕后,会启动 namenode、datanode、secondarynamenode 三个进程

如果启动失败,比如如果 namenode 没有成功,查看日志
tail -n 100 logs/hadoop-liuyanzhao-namenode-localhsot.log

3、访问浏览器

地址栏输入:http://localhost:50070/

会进入 hadoop 可视化页面



 

 


四、停止 HDFS


停止命令只需要把 start 改成 stop 即可

1、进入 sbin 目录
cd sbin

 

2、启动 HDFS
./stop-dfs.sh

 

 

 

  • 微信
  • 交流学习,有偿服务
  • weinxin
  • 博客/Java交流群
  • 资源分享,问题解决,技术交流。群号:590480292
  • weinxin
avatar

发表评论

avatar 登录者:匿名
可以匿名评论或者登录后台评论,评论回复后会有邮件通知

  

已通过评论:0   待审核评论数:0