Kubernetes(K8S) Kafka Rest API – Strimzi ver

K8S에서 Kafka를 이용할 때 API로 접근해야할 경우가 생길 수 있다.본 글에서는 Kafka Rest API를 strimzi에서 제공하는 KafkaBridge를 이용해 RestAPI를 구현하고자 한다.이전 글에 이어 작성한다. KafkaBridge 생성 아래와 같이 kafka-proxy.yaml 파일을 생성한다.이미 생성해 놓은 kafka broker bootstrap server 주소를 설정에서 수정한다.(bootstrapServers) 아래 명령어를 사용해 Bridge를 생성한다. 2. Service 등록 외부에서 API에 접근하기 위해 Service를 등록해야한다.다음과 같이 … Read more

Kubernetes(K8S) Kafka – confluent ver

strimzi version에 이어 이번에는 confluent version으로 kafka를 설치해보는 글이다. 1. namespace 생성 confluent라는 namespace를 생성한다. 2. helm 저장소 추가 아래 명령어를 이용해 helm에 confluent 저장소를 추가한다. Update 진행 설치 3. kafka 설치 아래 내용과 같은 kafka.yaml 파일을 생성한다. 다음 명령어를 이용해 k8s에 kafka를 등록한다.

Kubernetes(K8S) Kafka – Strimzi ver

K8S에서 Kafka를 배포하기 위해서는 조금 복잡한 구조를 가지고 있다.따라서 본 글에서는 Strimzi라는 Operator Tool을 이용해 Clustering을 진행하고자 한다.(Google 서칭을 통해 구동된 내용을 기반으로 작성하여, 다른 버전이나 환경에 따라 구동되지 않을 수 있음.) 1. K8S에 Strimzi 설치 아래 명령어를 이용해 kafka 라는 namespace를 생성한다. namespace를 생성하였으면 아래 명령어를 이용해 strimzi를 설치한다.-n 을 이용해 kafka namespace 태그를 … Read more

Kubernetes(K8S) Error [plugin type=\”calico\” failed (delete): error getting ClusterInformation: connection is unauthorized: Unauthorized”]

Master Node에서 coredns Unknown 상태로 되는 이슈 발생. systemctl status containerd Runtime Containerd 상태에서 plugin type=\”calico\” failed (delete): error getting ClusterInformation: connection is unauthorized: Unauthorized” 에러 발생 Calico 인식이 안되는 것으로 확인. Calico 제거 후 재 설치 진행하기로 결정 Calico 제거 Calico 설치

Ubuntu 환경에서 Kubernetes 설치 및 클러스터 구축

서비스가 확장되면, 컨테이너 기반의 분산 시스템 환경에 대한 필요성이 생깁니다. Kubernetes는 그런 요구를 충족시켜주는 강력한 플랫폼입니다. 규모가 커지는 성향의 서비스에는 필수적인 요소로 보입니다 🧰 System Requirements (시스템 요구사항) According to the official Kubernetes documentation: Master Node Worker Node Ubuntu 20.04 LTS or newer is recommended. 🔥 Step 1: Firewall Setup & Package Installation (방화벽 및 … Read more

Kafka Rest API (Proxy?)

들어가기 앞서…… 본 글을 쓰기 전 Kafka Broker를 여러개 생성할 경우 listen해야할 ip:port가 임의로 발생하게 되는데 이를 매번 직접 port change 해줘야하는 번거로움이 발생했다. 따라서 Nginx 를 이용해 Load Balance, Proxy를 진행할 수 있지 않을까 하는 아이디어로 Google, Document Search를 통해 실험을 진행하였으니 연결에 실패했다. stackoverflow에 질문을 한 결과 Nginx의 통신과 Kafka의 통신 방법이 근본적으로 … Read more