Kafka, Zookeeper 실행 및 topic 생성

Kafka

분산 메세징 시스템으로 게시-구독 형태의 메세징 시스템을 제공함

 

Zookeeper

Kafka 클러스터 관리 (Kafka 다운 시 함께 제공됨)

 

 

Broker는 kafka의 서버를 뜻하고 동일 노드 내에서 여러 개의 Broker를 띄울 수 있다. 또한 이렇게 분산돼 여러 개의 Broker가 띄워져 있으면 이 분산 Message Queue를 관리해주는 역할을 하는 것이 Zookeeper이다!

따라서, kafka 서버를 띄우기 전에 Zookeeper를 먼저 띄워줘야 한다.

 

 

kafka 설치 디렉터리의 bin/windows로 이동 후, 

 

 

1. Zookeeper 실행

.\zookeeper-server-start.bat ..\..\config\zookeeper.properties

 

2. kafka 서버 실행

.\kafka-server-start.bat ..\..\config\server.properties

.\kafka-server-start.bat ..\..\config\server.properties

 

 

3. 실행 확인

kafka 서버의 기본 포트는 9092 이고 zookeeper의 기본 포트는 2181이다
cmd나 powershell에서 netstat-ao 명령어를 입력하면 제대로 실행됐는지 확인 가능하다.

 

---

kafka 실행

 

1. topic 생성 (broker)

새 cmd창을 열고 topic 생성 (topic이름을 'testtopic' 으로 설정함 !)

.\kafka-topics.bat --create --bootstrap-server localhost:9092 --topic testtopic

 

2. 생성한 topic에 메세지 보내기 (producer)

.\kafka-console-producer.bat --broker-list localhost:9092 --topic testtopic

 

3. topic에 있는 메세지 가져오기 (consumer)

.\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic testtopic --from-beginning

 

producer와 consumer를 동시에 열고 producer에서 메세지를 보내면 consumer쪽에서 메세지들을 바로 받아볼 수 있다.