Apache Kafka(1) - EC2 인스턴스 발급

KIM IL HWAN·2022년 2월 15일
0

apache-kafka

목록 보기
1/4
post-thumbnail

카프카에 관심이 생겨 '아파치 카프카 애플리케이션 프로그래밍' 책을 스터디하며 작성하는 글입니다.
갑자기 내용이 변경될 수 있으며, 피드백은 환영 입니다 :)

MSK?? EC2??

AWS에서 카프카를 구축할 수 있는 방법은 크게 두 가지가 있다.

첫째는 MSK(Managed Service kafka)를 사용하는 것이고, 두 번째는 EC2를 발급받아 카프카를 설치하고 실행하는 방식이다.

MSK 는 링크에 자세히 나와있듯이 AWS에서 공식적으로 지원하는 완전 관리형 카프카 서비스로 카프카 세팅을 완전 자동화로 도와준다는데.. 나중에 실무에서 사용할일이 있으면 좋겠다

간단한 실습환경을 구성할 것이기 때문에 난 EC2로 먼저 접근을 해보겠다.

EC2 인스턴스 발급 및 보안 설정

ec2에 대한 설명과, 사용법 등등 자세한 정보는 다른 능력자 분들이 잘~~ 작성해주셔서. 간략하게만 정리 해보겠다.

  1. AWS 계정을 만들고, ec2 콘솔에 접속하자

  2. 클릭 클릭

  3. 개미 월급쟁이라서 프리미어(공짜..)가 절실하다.(무조건 공짜는 아님)

  4. 인스턴스를 생성하기 완료 전 마지막 확인을 반드시 해보자!

    문제가 없다면 시작하기 버튼을 누르고 키 페어 팝업 화면이 나타나게 된다.

  5. 본인이 사용하고 있는 키 페어가 있다면 '이미 가진 키 페어 사용하기'를 눌러 기존껄 사용해도 무방하다. 난 신규 키 페어를 생성하고 싶어 'kafka-server-key' 라는 이름으로 새로 생성 했다.(다운로드된 걸 잘 보관하고 있자!)

  6. 인스턴스 시작

  7. 인스턴스 생성이 완료되고 ec2 콘솔 화면으로 넘어가 내가 생성한 인스턴스의 정보를 이리저리 구경 해보자

  8. 인스턴스 발급이 완료되고 해당 인스턴스를 선택하고 보안탭 -> 보안그룹을 선택하면 자동으로 생성된 보안그룹 정보가 보인다. 크게 Inbound Outbound 규칙 설정이 가능하며, Inbound란 발급받은 인스턴스 외부로부터 들어오는 트래픽을 뜻하고 Outbound는 인스턴스로부터 나가는 트래픽을 뜻한다.
    디폴트 설정값은 Inbound는 ssh만 가능, Outbound는 모든 IP, PORT 접속 가능으로 설정 되어있다.

  9. 카프카 브로커의 기본 포트는 9092, 주키퍼의 기본 포트는 2181이다. (브로커와 주키퍼에 대해서는 나중에 작성 예정)

  10. 실무에서는 무조건 Inbound 가능한 IP와 PORT 지정이 필요하지만 실습을 위해 아래와 같이 설정했다.

EC2 인스턴스 접속

위 5번에서 키 페어를 다운받게 되면 '설정한 키 페어 명'.pem 파일이 있을것이다. 발급받은 EC2 인스턴스에 접속하기 위해서는 -i 옵션을 사용하여 pem 파일을 프라이빗 키로 추가해야 한다.

-i 옵션은 비밀 키를 읽어올 파일의 경로를 추가하는 옵션

해당 파일을 -i 명령으로 읽어오기 위해서는 파일이 read 권한만 있어야 하기 때문에 파일이 있는 디렉토리로 이동해 chmod를 사용하여 권한정보를 400으로 설정한다.

발급받은 인스턴스(Amazon Linux2 AMI)의 기본 유저명이 ec2-user이므로 해당 유저명과 퍼블릭IPv4 주소로(EC2 콘솔에서 확인 가능) ssh에 접속할 수 있다.

ec2 접속 성공!

1개의 댓글

comment-user-thumbnail
2022년 2월 16일

👍🏻

답글 달기