[Kafka]Confluent Platform 6.2.x Community 설치

1. Confluent Platform 

컨플루언트(Confluent)는 링크드인에서 Kafka를 만들었던 제이 크랩스와 그의 동료들이 설립한 회사이다. 컨플루언트는 아파치 카프카를 기반으로 하는 데이터 스트리밍 플랫폼으로써, 컨플루언트 카프카라고 불리는 것은 컨플루언트 플랫폼이 포함된 카프카 배포판이라고 볼 수 있다.

2. 설치

설치 OS: CentOS 7
설치 버전: Confluent paltform 6.2.x community 버전

 

▣ 소프트웨어 다운로드 및 설치

YUM 리포지토리는 RHEL, CentOS 및 Fedora 기반 배포용 패키지를 제공합니다. 개별 Confluent Platform 패키지 또는 전체 플랫폼을 설치할 수 있습니다.

1) curl, which tool 설치

sudo yum install curl which

 

2) Confluent 플랫폼 공개 키를 설치합니다. 이 키는 YUM 저장소의 패키지에 서명하는 데 사용됩니다.

sudo rpm --import https://packages.confluent.io/rpm/6.2/archive.key

 

3) /etc/yum.repos.d/ 로 이동하여 confluent.repo라는 파일을 만들고 해당 파일에 Confluent 저장소를 추가합니다.

cd /etc/yum.repos.d/
sudo vim confluent.repo

아래의 내용을 추가

[Confluent.dist]
name=Confluent repository (dist)
baseurl=https://packages.confluent.io/rpm/6.2/$releasever
gpgcheck=1
gpgkey=https://packages.confluent.io/rpm/6.2/archive.key
enabled=1

[Confluent]
name=Confluent repository
baseurl=https://packages.confluent.io/rpm/6.2
gpgcheck=1
gpgkey=https://packages.confluent.io/rpm/6.2/archive.key
enabled=1

 

4) YUM caches를 지우고 Confulent Platform을 설치 합니다.

sudo yum clean all
sudo yum install confluent-community-2.13

 

반응형

3. 실행

시스템 서비스 단위 파일을 사용하여 Confluent Platform 및 해당 구성 요소를 시작합니다. systemctl start 명령을 사용하여 즉시 시작하거나 systemctl enable 명령을 사용하여 자동 시작을 활성화할 수 있습니다.

ZooKeeper, Kafka 및 Schema Registry는 특정 순서로 시작해야 하며 다른 구성 요소보다 먼저 시작해야 합니다.

 

1) Zookeeper 시작

sudo systemctl start confluent-zookeeper

# 부팅시 자동 실행
sudo systemctl enable confluent-zookeeper
sudo systemctl daemon-reload

 

2) Kafka 시작

sudo systemctl start confluent-kafka

# 부팅시 자동 실행
sudo systemctl enable confluent-kafka
sudo systemctl daemon-reload

 

3) 기타 서비스 시작(필요시) 

# Start Schema Registry
sudo systemctl start confluent-schema-registry

# Start other Confluent Platform components as desired.
# confluent REST Proxy
sudo systemctl start confluent-kafka-rest

# ksqlDB
sudo systemctl start confluent-ksqldb

4. 삭제

아래의 명령어를 이용하여 Confluent Platform을 삭제한다.

sudo yum autoremove confluent-community-2.13

5. 참고 URL

https://docs.confluent.io/platform/6.2.7/installation/installing_cp/rhel-centos.html#manual-install-using-systemd-on-rhel-and-centos

Manual Install using Systemd on RHEL and CentOS | Confluent Documentation