EMR_간단한 클러스터 띄우기

록스블로그·2023년 11월 2일
0

비용이 너무 많이 청구되서 싸게 하나 더 띄울려고한다.



추 후에 security Group은 변경이 필요하다 (ip 추가 필요)

RDS를 METASTORE로 활용하기 위해 추가해야할 설정

  {
    "Classification": "hive-site",
    "Properties": {
      "javax.jdo.option.ConnectionDriverName": "org.mariadb.jdbc.Driver",
      "javax.jdo.option.ConnectionPassword": "hive",
      "javax.jdo.option.ConnectionURL": "jdbc:mysql://$your_rds_hostname:3306/hive?createDatabaseIfNotExist=true",
      "javax.jdo.option.ConnectionUserName": "hive"
    }
  },

본 내용은 fastcampus의 강의를 따라 생성하고 조금더 작게 HA 구성 없이 구성한 EMR이다. 또한 원활이 사용하기 위해 SG에 본인의 IP를 추가해 주는것이 좋다

profile
어려움에 성장하는 데이터 엔지니어

0개의 댓글