最近买了些大数据库的视频和书来学习,希望自己能坚持下去。
本文介绍 Mac 下安装 Hadoop,Linux 环境和 Mac 并无区别。
一、准备
1、安装 JDK1.8
我这里是通过 brew install java 安装
2、配置Java环境变量
我相信搞 Java 的朋友这里已经配置过了,不需要再弄了
二、安装 Hadoop
官方文档地址:
https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html
1、下载 Hadoop
我们这里选择 CDH,而不选择 apache 官方的
下载链接地址:http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.1.tar.gz
可以直接在浏览器访问下载,或者使用 wget 命令下载
2、解压
我这里下载到我本地 /Users/liuyanzhao/Documents/HadoopStudy/hadoop 下面,然后解压
这里说一下 hadoop 的几个目录结构
bin:hadoop客户端命令
etc/haddop:hadoop相关配置文件
sbin:启动hadoop相关进程的脚本(server端)
examples:案例
lib:依赖的包
share:常用例子
3、设置 Hadoop 环境变量
目的是后面可以在任意目录下执行 hadoop 命令
1)编辑 /etc/profile 文件,或者 ~/.bash_profile
vim /etc/profile
HADOOP_HOME=/Users/liuyanzhao/Documents/HadoopStudy/hadoop/hadoop-2.6.0-cdh5.15.1
PATH=$HADOOP_HOME/bin:$PATH
2)执行 source 命令,使之生效
source /etc/profile
4、修改 etc/hadoop/hadoop-env.sh 文件(可选)
修改 hadoop-2.6.0-cdh5.15.1 下的 etc/hadoop/hadoop-env.sh
这里主要是设置一下 JAVA_HOME
如果你之前配置了JAVA_HOME环境变量就不需要配了
但是建议这里还是配置一下
5、修改 etc/hadoop/core-site.xml
修改 hadoop-2.6.0-cdh5.15.1 下的 etc/hadoop/core-site.xml 文件
在 <configuration> </configuration> 里添加
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop000:8020</value>
</property>
这里指定 hdfs 的端口是8020
6、修改 etc/hadoop/hdfs-site.xml
修改 hadoop-2.6.0-cdh5.15.1 下的 etc/hadoop/hdfs-site.xml
在 <configuration> </configuration> 里添加
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/Users/liuyanzhao/Documents/HadoopStudy/hadoop/tmp</value>
</property>
cd /Users/liuyanzhao/Documents/HadoopStudy/hadoop/hadoop-2.6.0-cdh5.15.1
三、启动 HDFS
1、进入 sbin 目录
cd sbin
2、启动 HDFS
./start-dfs.sh
执行完毕后,会启动 namenode、datanode、secondarynamenode 三个进程
如果启动失败,比如如果 namenode 没有成功,查看日志
tail -n 100 logs/hadoop-liuyanzhao-namenode-localhsot.log
3、访问浏览器
地址栏输入:http://localhost:50070/
会进入 hadoop 可视化页面
四、停止 HDFS
停止命令只需要把 start 改成 stop 即可
1、进入 sbin 目录
cd sbin
2、启动 HDFS
./stop-dfs.sh
您可以选择一种方式赞助本站
支付宝扫一扫赞助
微信钱包扫描赞助
赏