Mac安装Hadoop单机版和启动HDFS

avatar 2020年06月26日13:40:30 6 5123 views
博主分享免费Java教学视频,B站账号:Java刘哥 ,长期提供技术问题解决、项目定制:本站商品点此

最近买了些大数据库的视频和书来学习,希望自己能坚持下去。
本文介绍 Mac 下安装 Hadoop,Linux 环境和 Mac 并无区别。

一、准备

1、安装 JDK1.8
我这里是通过 brew install java 安装
2、配置Java环境变量

我相信搞 Java 的朋友这里已经配置过了,不需要再弄了

二、安装 Hadoop

官方文档地址:
https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html
1、下载 Hadoop
我们这里选择 CDH,而不选择 apache 官方的
下载链接地址:http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.1.tar.gz
可以直接在浏览器访问下载,或者使用 wget 命令下载
2、解压
我这里下载到我本地 /Users/liuyanzhao/Documents/HadoopStudy/hadoop 下面,然后解压

这里说一下 hadoop 的几个目录结构

bin:hadoop客户端命令
etc/haddop:hadoop相关配置文件
sbin:启动hadoop相关进程的脚本(server端)
examples:案例
lib:依赖的包
share:常用例子

3、设置 Hadoop 环境变量
目的是后面可以在任意目录下执行 hadoop 命令
1)编辑 /etc/profile 文件,或者 ~/.bash_profile
vim /etc/profile

HADOOP_HOME=/Users/liuyanzhao/Documents/HadoopStudy/hadoop/hadoop-2.6.0-cdh5.15.1
PATH=$HADOOP_HOME/bin:$PATH

2)执行 source 命令,使之生效

source /etc/profile

4、修改 etc/hadoop/hadoop-env.sh 文件(可选)
修改 hadoop-2.6.0-cdh5.15.1 下的 etc/hadoop/hadoop-env.sh
这里主要是设置一下 JAVA_HOME
如果你之前配置了JAVA_HOME环境变量就不需要配了
但是建议这里还是配置一下

5、修改 etc/hadoop/core-site.xml
修改 hadoop-2.6.0-cdh5.15.1 下的 etc/hadoop/core-site.xml 文件
在 <configuration> </configuration> 里添加

    <property>
       <name>fs.defaultFS</name>
  <value>hdfs://hadoop000:8020</value>
</property>

这里指定 hdfs 的端口是8020
6、修改 etc/hadoop/hdfs-site.xml
修改 hadoop-2.6.0-cdh5.15.1 下的 etc/hadoop/hdfs-site.xml
在 <configuration> </configuration> 里添加

    <property>
       <name>dfs.replication</name>
       <value>1</value>
   </property>
   <property>
       <name>hadoop.tmp.dir</name>
       <value>/Users/liuyanzhao/Documents/HadoopStudy/hadoop/tmp</value>
</property>

这里是指定 hdfs 文件存储时副本数为1,设置 hadoop 文件存储位置

 

 

7、HDFS 初始化

注意,只是安装的时候才执行,以后不需要执行

1)切换到 hadoop 安装目录

cd /Users/liuyanzhao/Documents/HadoopStudy/hadoop/hadoop-2.6.0-cdh5.15.1

 

2)格式化 HDFS

hdfs namenode -format

三、启动 HDFS

1、进入 sbin 目录

cd sbin

2、启动 HDFS

./start-dfs.sh

执行完毕后,会启动 namenode、datanode、secondarynamenode 三个进程
如果启动失败,比如如果 namenode 没有成功,查看日志

tail -n 100 logs/hadoop-liuyanzhao-namenode-localhsot.log

3、访问浏览器
地址栏输入:http://localhost:50070/
会进入 hadoop 可视化页面

四、停止 HDFS

停止命令只需要把 start 改成 stop 即可
1、进入 sbin 目录

cd sbin

2、启动 HDFS

./stop-dfs.sh

  • 微信
  • 交流学习,资料分享
  • weinxin
  • 个人淘宝
  • 店铺名:言曌博客咨询部

  • (部分商品未及时上架淘宝)
avatar

发表评论

avatar 登录者:匿名
匿名评论,评论回复后会有邮件通知

  

已通过评论:0   待审核评论数:0