윈도우환경에서 카프카 & MogoDB 설치

Aphache Kafka

카프카는 대용량 메시지 발행-구독 서버이다.

다음 그림과 같이 메시지발행(producer)-구독(consumer) 패턴을 가지고 메시지를 큐(Queue) 자료구조로 관리하며, 빠른 속도로 메시지 데이터를 저장 및 사용할 수 있다.

카프카 발행-구독 서버

카프카 topic 생성-소비 및 파티션 구조

producer가 메시지를 발행하면 Topic이 만들어지고, 다음과 같이 생성된 Queue에 저장되며, 생성된 순서대로 각 consumer가 구독하여 읽을 수 있다. 

카프카 메시지큐

분산 코디네이션 지원 ZooKeeper

주키퍼는 쓰기 동작시 분산되 카프카 클러스터들 간 동기화 처리를 해준다.

 

주키퍼 쓰기 요청 시 동작

빅데이터 처리를 위한 카프카와 주키퍼

대용량 데이터를 분산 저장 및 관리하기 위해 카프카를 사용하며, 카프카는 주키퍼와 함께 사용한다.

카프카와 주키퍼 관계

 

윈도우에서 카프카 설치하기

- Java : https://www.java.com/ko/download/ie_manual.jsp?locale=ko 

Windows용 Java 다운로드

- Kafka : https://kafka.apache.org/downloads

Apache Kafka

 

윈도우 버전은 bin/windows 폴더 내에 실행 배치파일이 있다.

주키퍼 서버를 먼저 실행해 준다.

c:\kafka\bin\windows\zookeeper-server-start.bat ../../config/zookeeper.properties

주키퍼 서버가 실행이 되었으면, 새로운 cmd 창을 열어서 카프카 서버를 실행한다.

c:\kafka\bin\windows\kafka-server-start.bat ../../config/server.properties

kafka 설치를 완료했으니..

토픽을 생성해보자.

 

메시지 보내기 :

c:\kafka\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic First

 

메시지 받기 :

c:\kafka\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic First --from-beginning

MongoDB설치는 나중에...