Kafka Rest API (Proxy?)

들어가기 앞서…… 본 글을 쓰기 전 Kafka Broker를 여러개 생성할 경우 listen해야할 ip:port가 임의로 발생하게 되는데 이를 매번 직접 port change 해줘야하는 번거로움이 발생했다. 따라서 Nginx 를 이용해 Load Balance, Proxy를 진행할 수 있지 않을까 하는 아이디어로 Google, Document Search를 통해 실험을 진행하였으니 연결에 실패했다. stackoverflow에 질문을 한 결과 Nginx의 통신과 Kafka의 통신 방법이 근본적으로 … Read more

Kafka Nodejs 설치와 간단 사용 [kafkajs]

Docker 환경설정 docker-compose.yml 파일 생성 후 아래 코드 입력하고 저장 docker-compose up Nodejs 관련 라이브러리 설치 express와 kafkajs를 설치한다. producer.js 생성 후 아래 코드 입력하고 저장 consumer.js 파일을 생성하고 아래 코드를 입력하고 저장한다. Postman 또는 powershell의 curl을 이용해 테스트를 진행한다. Client로부터 request를 받으면 사전에 생성한 producer를 통해 토픽과 함께 메세지를 보낸다. consumer는 producer로부터 보내오는 메세지를 … Read more