K8S에서 Kafka를 이용할 때 API로 접근해야할 경우가 생길 수 있다.본 글에서는 Kafka Rest API를 strimzi에서 제공하는 KafkaBridge를 이용해 RestAPI를 구현하고자 한다.이전 글에 이어 작성한다. KafkaBridge 생성 아래와 같이 kafka-proxy.yaml 파일을 생성한다.이미 생성해 놓은 kafka broker bootstrap server 주소를 설정에서 수정한다.(bootstrapServers) 아래 명령어를 사용해 Bridge를 생성한다. 2. Service 등록 외부에서 API에 접근하기 위해 Service를 등록해야한다.다음과 같이 … Read more
strimzi version에 이어 이번에는 confluent version으로 kafka를 설치해보는 글이다. 1. namespace 생성 confluent라는 namespace를 생성한다. 2. helm 저장소 추가 아래 명령어를 이용해 helm에 confluent 저장소를 추가한다. Update 진행 설치 3. kafka 설치 아래 내용과 같은 kafka.yaml 파일을 생성한다. 다음 명령어를 이용해 k8s에 kafka를 등록한다.
K8S에서 Kafka를 배포하기 위해서는 조금 복잡한 구조를 가지고 있다.따라서 본 글에서는 Strimzi라는 Operator Tool을 이용해 Clustering을 진행하고자 한다.(Google 서칭을 통해 구동된 내용을 기반으로 작성하여, 다른 버전이나 환경에 따라 구동되지 않을 수 있음.) 1. K8S에 Strimzi 설치 아래 명령어를 이용해 kafka 라는 namespace를 생성한다. namespace를 생성하였으면 아래 명령어를 이용해 strimzi를 설치한다.-n 을 이용해 kafka namespace 태그를 … Read more
Master Node에서 coredns Unknown 상태로 되는 이슈 발생. systemctl status containerd Runtime Containerd 상태에서 plugin type=\”calico\” failed (delete): error getting ClusterInformation: connection is unauthorized: Unauthorized” 에러 발생 Calico 인식이 안되는 것으로 확인. Calico 제거 후 재 설치 진행하기로 결정 Calico 제거 Calico 설치
서비스가 확장되면, 컨테이너 기반의 분산 시스템 환경에 대한 필요성이 생깁니다. Kubernetes는 그런 요구를 충족시켜주는 강력한 플랫폼입니다. 규모가 커지는 성향의 서비스에는 필수적인 요소로 보입니다 🧰 System Requirements (시스템 요구사항) According to the official Kubernetes documentation: Master Node Worker Node Ubuntu 20.04 LTS or newer is recommended. 🔥 Step 1: Firewall Setup & Package Installation (방화벽 및 … Read more
들어가기 앞서…… 본 글을 쓰기 전 Kafka Broker를 여러개 생성할 경우 listen해야할 ip:port가 임의로 발생하게 되는데 이를 매번 직접 port change 해줘야하는 번거로움이 발생했다. 따라서 Nginx 를 이용해 Load Balance, Proxy를 진행할 수 있지 않을까 하는 아이디어로 Google, Document Search를 통해 실험을 진행하였으니 연결에 실패했다. stackoverflow에 질문을 한 결과 Nginx의 통신과 Kafka의 통신 방법이 근본적으로 … Read more
Docker Compose yml docker-compose up -d nodejs conf.js producer.js consumer.js Test Postman 또는 curl 이용해 테스트 http://localhost:3000/events/테스트
Docker 환경설정 docker-compose.yml 파일 생성 후 아래 코드 입력하고 저장 docker-compose up Nodejs 관련 라이브러리 설치 express와 kafkajs를 설치한다. producer.js 생성 후 아래 코드 입력하고 저장 consumer.js 파일을 생성하고 아래 코드를 입력하고 저장한다. Postman 또는 powershell의 curl을 이용해 테스트를 진행한다. Client로부터 request를 받으면 사전에 생성한 producer를 통해 토픽과 함께 메세지를 보낸다. consumer는 producer로부터 보내오는 메세지를 … Read more
PHP에서 influxDB와 질의를 주고 받기 위해서는 라이브러리 설치가 필요하다. Window에서 설치에 사용되는 프로그램은 composer 이다. Composer 설치 설치 PHP 실행 경로 입력해주고 Next 이후 나오는 내용에는 본 글에서 해당되지 않기 때문에 Skip 또는 그냥 Next 눌러 설치 진행했다. influxdb-client-php 설치 powershell을 열어 작업할 프로젝트 루트 디렉터리로 이동한다. composer를 이용해 influxdb-client-php 라이브러리를 설치한다. 반드시 작업할 Project … Read more