手动安装CDH笔记

目录

手动安装CDH笔记

一、集群情况介绍

集群节点:dev16–dev21

  • 已安装的服务:
    1. ZooKeeper
    2. HDFS
    3. YARN
    4. LZO
    5. Hive
    6. HCatalog
    7. Hue
    8. Impala
    9. Presto
  • 准备安装的服务:
    1. Hue
    2. Flume

二、环境准备

1.使用puppet管理所有节点,并初始化环境

2.使用Ganglia监控集群性能变化

dev21节点作为监控服务节点,其他节点为被监控节点。

3.访问Ganglia监控Web界面

三、安装ZooKeeper

官方文档建议zookeeper-server应安装在奇数个节点上,最少三个

在每个节点执行如下命令:

分别在每个节点上执行如下命令,每个节点的myid值都应该是唯一的:

在每个节点上编辑zookeeper的配置文件zoo.cfg

在文件的最后添加如下内容:

启动zookeeper-server

测试zookeeper-server是否正常启动:

四、安装HDFS和YARN

dev16节点安装resource manager