EMR_간단한 클러스터 띄우기

록스블로그·2023년 11월 2일
0

비용이 너무 많이 청구되서 싸게 하나 더 띄울려고한다.



추 후에 security Group은 변경이 필요하다 (ip 추가 필요)

RDS를 METASTORE로 활용하기 위해 추가해야할 설정

  {
    "Classification": "hive-site",
    "Properties": {
      "javax.jdo.option.ConnectionDriverName": "org.mariadb.jdbc.Driver",
      "javax.jdo.option.ConnectionPassword": "hive",
      "javax.jdo.option.ConnectionURL": "jdbc:mysql://$your_rds_hostname:3306/hive?createDatabaseIfNotExist=true",
      "javax.jdo.option.ConnectionUserName": "hive"
    }
  },

본 내용은 fastcampus의 강의를 따라 생성하고 조금더 작게 HA 구성 없이 구성한 EMR이다. 또한 원활이 사용하기 위해 SG에 본인의 IP를 추가해 주는것이 좋다

profile
어려움에 성장하는 데이터 엔지니어

0개의 댓글

관련 채용 정보