目录
- 手动安装CDH笔记
- 一、集群情况介绍
- 二、环境准备
- 三、安装ZooKeeper
- 四、安装HDFS和YARN
- 五、安装LZO
- 六、在集群中部署HDFS
- 七、在集群中部署MapReduce v2(YARN)
- 八、CDH中使用的Hadoop用户
- 九、安装Crunch
- 十、安装Flume
- 十一、安装HBase
- 十二、安装HCatalog
- 十三、安装Hive
- 十四、安装Impala
- 十五、安装HttpFS
- 十六、安装Oozie
- 十六、安装Hue
- 十七、安装Presto
手动安装CDH笔记
一、集群情况介绍
集群节点:dev16–dev21
- 已安装的服务:
- ZooKeeper
- HDFS
- YARN
- LZO
- Hive
- HCatalog
- Hue
- Impala
- Presto
- 准备安装的服务:
- Hue
- Flume
二、环境准备
1.使用puppet管理所有节点,并初始化环境
2.使用Ganglia监控集群性能变化
将dev21
节点作为监控服务节点,其他节点为被监控节点。
3.访问Ganglia监控Web界面
1 2 |
http://dev21.yonyou.com |
三、安装ZooKeeper
官方文档建议zookeeper-server
应安装在奇数个节点上,最少三个
在每个节点执行如下命令:
1 2 |
pdsh -R ssh -w dev[16-21] yum install -y zookeeper.x86_64 zookeeper-server.x86_64 |
分别在每个节点上执行如下命令,每个节点的myid
值都应该是唯一的:
1 2 |
for i in `seq 4`;do ssh root@h${i} "service zookeeper-server init --myid=${i}";done |
在每个节点上编辑zookeeper
的配置文件zoo.cfg
:
1 2 |
vim /etc/zookeeper/conf/zoo.cfg |
在文件的最后添加如下内容:
1 2 3 4 5 6 7 |
server.1=dev17:2888:3888 server.2=dev18:2888:3888 server.3=dev19:2888:3888 server.4=dev20:2888:3888 server.5=dev21:2888:3888 server.6=dev16:2888:3888 |
启动zookeeper-server
:
1 2 |
pdsh -R ssh -w dev[16-21] service zookeeper-server start |
测试zookeeper-server
是否正常启动:
1 2 |
zookeeper-client -server dev18:2181 |
四、安装HDFS和YARN
在dev16
节点安装resource manager
: