[Kafka 클러스터 환경 구축] 3강. Zookeeper 설치 및 환경설정

 

이번에는 Kafka 클러스터에 꼭 필요한 Zookeeper 설치 및 환경 설정을 진행 하였습니다. 
메타데이터를 관리하고 Kafka broker의 Leader를 산출하는 등의 많은 역할을 하는 Zookeeper 클러스터
역시 Kafka 클러스터 서버와 별도로 설치, 운영 하는 것이 좋지만,
Kafka 클러스터 구축에 초점을 맞췄기 때문에 Kafka와 Zookeeper 모두 같은 인스턴스에서 진행할 예정입니다.

 

 

## zookeeper 다운로드 및 설치  (-C 옵션 압축 풀 디렉토리 지정)

 

 

 

## Zookeeper 환경변수 설정

 

## Zookeeper 사용자 환경변수 설정

 

 

 

## zoo.cfg 파일 편집

 

 

 

## Zookeeper 디렉토리 사용자 그룹 변경

 

 

 

 

## Zookeeper myid 설정

 

 

 

===================================================================

 

 

• Apache Zookeeper 3.8.0 설치 및 압축 해제

# EC2 Ubuntu terminal

# 설치파일 관리용 디렉토리 생성
sudo mkdir /install_dir && cd /install_dir
# 설치 관리용 디렉토리 이동
cd /install_dir
# Zookeeper 3.8.0 설치
sudo wget <https://dlcdn.apache.org/zookeeper/zookeeper-3.8.0/apache-zookeeper-3.8.0-bin.tar.gz>
# Zookeeper 3.8.0 압축 해제
sudo tar -xzvf apache-zookeeper-3.8.0-bin.tar.gz -C /usr/local
# Zookeeper 디렉토리 이름 변경
sudo mv /usr/local/apache-zookeeper-3.8.0-bin /usr/local/zookeeper

• Zookeeper 환경변수 설정

# EC2 Ubuntu terminal

# Zookeeper 시스템 환경변수 설정
sudo vim /etc/environment

# 아래 내용 추가 후 저장
ZOOKEEPER_HOME="/usr/local/zookeeper"

# 시스템 환경변수 활성화
source /etc/environment

#  Zookeeper 사용자 환경변수 설정
echo 'export ZOOKEEPER_HOME=/usr/local/zookeeper' >> ~/.bashrc

# 사용자 환경변수 활성화
source ~/.bashrc

• zoo.cfg 파일 편집

# EC2 Ubuntu terminal

# Zookeeper 설정 경로 이동
cd /usr/local/zookeeper
# Zookeeper 설정 파일 복사
sudo cp ./conf/zoo_sample.cfg ./conf/zoo.cfg 

# zoo.cfg 편집
sudo vim ./conf/zoo.cfg

# 아래 내용 수정 후 저장
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/local/zookeeper/data
dataLogDir=/usr/local/zookeeper/logs
clientPort=2181
maxClientCnxns=0
maxSessionTimeout=180000
server.1=kafka01:2888:3888
server.2=kafka02:2888:3888
server.3=kafka03:2888:3888

• Zookeeper zoo.cfg 속성 설명
  • maxClientCnxns : 하나의 클라이언트에서 동시 접속하는 개수를 제한할 수 있다. 기본은 60이며, 0으로 설정하면 무제한이 된다.
• Zookeeper 데이터 디렉토리 생성

# EC2 Ubuntu terminal

# Zookeeper 데이터 디렉토리 생성
sudo mkdir -p /usr/local/zookeeper/data
sudo mkdir -p /usr/local/zookeeper/logs

# Zookeeper 디렉토리 사용자 그룹 변경
sudo chown -R $USER:$USER /usr/local/zookeeper

• Zookeeper myid 설정

: 차후 AMI로 여러개의 인스턴스를 추가로 배포하였을 때 각 인스턴스가 myid 중복 없이 수정해야한다. (예: Kafka01 의 myid : 1, Kafka02 의 myid : 2, Kafka03 의 myid : 3)

 

 

 

Kafka 클러스터 환경 구축 - 3강. Zookeeper 설치 및 환경설정