[AWS] [활용] MSK

 

 

      1) Kafka 란?
          - 생산자와 소비자의 버퍼역할 (키네시스와 유사)
          - 실시간 스트리밍 데이터 파이프라인 구축시 용이
          - 실시간 어플리케이션 지원
          - 주키퍼 : 중앙관리

      2) 카프카 클러스터 생성 : KafkaClusterTest
          - VPC 선택
          - AZ 및 서브넷 지정
            : 카프카용 서브넷 3개 권장
            : 카프카 브로커 배포위치 지정
          - 스펙 지정

      3) 카프카 클라이언트 생성
          - IAM --> 정책 --> MSK Full Access 확인
                --> 역할 --> MSKEC2 생성 및 정책 삽입
          - EC2생성 --> IAM role 삽입 --> MSKEC2
          - aws --version  (1.16이상 필요 - 리눅스 기준)

 

 

 

 

===========================================

 

 

 

 

===========================================

 

## MSK 클러스터 생성

 

 

 

 

===========================================

 

## MSK Kafka 클라이언트 생성

 

- MSK 정책 확인

 

- MSK 역할 생성

 

- MSK Client EC2에 IAM role 삽입

 

- aws --version 확인 

 

 

 

 

 

 

 

 

 

 

 

1 AWS MSK - Architecture Diagram, Use Case and Pricing
https://www.youtube.com/watch?v=uM-JbL0-u1A&list=PL0hSJrxggIQruwnfz5MMJwu8xF4w77AbS&index=1

2 AWS MSK - Create a network for hosting brokers
https://www.youtube.com/watch?v=EayAoFzxg34&list=PL0hSJrxggIQruwnfz5MMJwu8xF4w77AbS&index=2

3 AWS MSK - Create Kafka Cluster using MSK
https://www.youtube.com/watch?v=kAjqDl2_u9Y

4 AWS MSK - MSK Kafka 클러스터에 연결할 Kafka 클라이언트 생성
https://www.youtube.com/watch?v=v_vBg6VP7fI