프로비저닝 📗 HMS, 도커 이미지 생성

🏳️‍🌈 [궁금한점]

• HMS를 MinIO 와 연결하는 방법
• HMS를 메타 데이터를 PostgreSQL에 저장하고, 데이터는 MinIO에 저장
• HMS를 도커 이미지로 만드는 방법

사전 준비

• MinIO 가 실행되어야 한다. 여기서는 엔드 포인트가 http://172.31.144.1:9000로 지정되었다.
• PostgreSQL이 실행되어야 한다. 여기서는 14.17 버전을 사용하고 있다.
• 실행되는 HMS를 테스트 하기위한 TRINO가 실행되어야 한다.

---

🔗[목차]

• 1️⃣ 준비
  • HMS 이미지 생성 폴더 구조
  • 라이브러리 다운로드
• 2️⃣ 설정
  • hive-site.xml
  • core-site.xml
• 3️⃣ 설치
  • HMS 이미지 생성 - Dockerfile 정의
  • HMS Custom 이미지 생성 명령어 실행
  • HMS 실행
    • docker-compose 실행
    • docker-compose yaml 정의
    • HMS 실행 컨테이너 확인
• 4️⃣ 검증
  • TRINO 연결
  • TRINO 카탈로그 확인
  • TRINO로 테이블 생성/확인
  • MinIO 버킷 확인

1️⃣ 준비

HMS 이미지 생성 폴더 구조

hive/
├── Dockerfile
├── docker-compose.yml
├── hms/
│   ├── hive-site.xml
│   └── core-site.xml
└── jars/
    ├── postgresql-42.2.5.jar
    ├── aws-java-sdk-bundle-1.11.1026.jar
    └── hadoop-aws-3.3.4.jar

라이브러리 다운로드

jars

메타 저장소로 사용할 PostgreSQL 드라이버와 MinIO연결을 위한 라이브러리를 다운로드 한다.

wget https://repo1.maven.org/maven2/org/postgresql/postgresql/42.2.5/postgresql-42.2.5.jar
wget https://repo1.maven.org/maven2/com/amazonaws/aws-java-sdk-bundle/1.11.1026/aws-java-sdk-bundle-1.11.1026.jar
wget https://repo1.maven.org/maven2/org/apache/hadoop/hadoop-aws/3.3.4/hadoop-aws-3.3.4.jar

19.4 MB/s

2️⃣ 설정

hive-site.xml

hive-site.xml은 Metastore, JDBC 연결, Warehouse 디렉터리 설정 등 Hive 특화 설정을 포함한다. 환경에 맞추어 S3 엔드 포인트 등 조정해야할 속성들이 있다.

hive-site.xml 속성

hive-site.xml 속성

속성 이름 (name)	값 (value)	설명
hive.server2.enable.doAs	false	HiveServer2가 요청을 실제 사용자 권한으로 실행할지 여부. false이면 실행 사용자 권한 그대로 수행.
hive.tez.exec.inplace.progress	false	Tez 실행 중 진행 상황 표시 설정.
hive.exec.scratchdir	/opt/hive/scratch_dir	Hive 작업 중간 결과 저장용 임시 디렉터리.
hive.user.install.directory	/opt/hive/install_dir	사용자 라이브러리, 파일 등을 저장하는 기본 디렉터리.
tez.runtime.optimize.local.fetch	true	테이블 조인 등에서 로컬 페치 최적화 활성화.
hive.exec.submit.local.task.via.child	false	로컬 작업을 부모 JVM에서 실행할지 여부.
mapreduce.framework.name	local	실행 프레임워크를 로컬 모드로 설정 (MapReduce나 YARN이 아닌 단일 JVM에서 실행).
tez.local.mode	true	Tez를 로컬 모드에서 실행하도록 설정.
hive.execution.engine	tez	Hive 실행 엔진으로 tez 사용 (기본은 MapReduce).
hive.metastore.warehouse.dir	s3a://mybucket/warehouse	Hive 테이블의 실제 데이터 저장 위치 (S3A를 통해 MinIO 연동).
metastore.metastore.event.db.notification.api.auth	false	HMS 이벤트 알림 API 인증 필요 여부.
hive.metastore.uris	thrift://hms:9083	Hive Metastore의 Thrift 접근 주소.
javax.jdo.option.ConnectionURL	jdbc:postgresql://psql:5432/hive_metastore	Hive Metastore가 사용할 PostgreSQL 연결 URL.
javax.jdo.option.ConnectionDriverName	org.postgresql.Driver	PostgreSQL JDBC 드라이버 클래스명.
javax.jdo.option.ConnectionUserName	hive	Metastore DB 접속 시 사용할 사용자 이름.
javax.jdo.option.ConnectionPassword	hive	Metastore DB 접속 시 사용할 비밀번호.
fs.s3.endpoint	http://172.31.144.1:9000	S3 호환 스토리지(Minio)의 엔드포인트 주소.
fs.s3.access.key	minioadmin	S3 접속용 Access Key.
fs.s3.secret.key	minioadmin	S3 접속용 Secret Key.
fs.s3.path.style.access	true	버킷 경로 스타일을 path-style(버킷이 URL 경로에 포함)로 설정. MinIO에서 필수.
fs.s3a.impl	org.apache.hadoop.fs.s3a.S3AFileSystem	Hadoop에서 S3A를 사용하는 파일시스템 구현 클래스.
fs.s3a.aws.credentials.provider	org.apache.hadoop.fs.s3a.SimpleAWSCredentialsProvider	정적 Access Key/Secret Key를 사용하는 인증 제공자.
fs.s3a.endpoint.region	my_region	S3A에서 사용할 리전 이름 (MinIO에선 임의값 가능).

<configuration>
    <property>
        <name>hive.server2.enable.doAs</name>
        <value>false</value>
    </property>
    <property>
        <name>hive.tez.exec.inplace.progress</name>
        <value>false</value>
    </property>
    <property>
        <name>hive.exec.scratchdir</name>
        <value>/opt/hive/scratch_dir</value>
    </property>
    <property>
        <name>hive.user.install.directory</name>
        <value>/opt/hive/install_dir</value>
    </property>
    <property>
        <name>tez.runtime.optimize.local.fetch</name>
        <value>true</value>
    </property>
    <property>
        <name>hive.exec.submit.local.task.via.child</name>
        <value>false</value>
    </property>
    <property>
        <name>mapreduce.framework.name</name>
        <value>local</value>
    </property>
    <property>
        <name>tez.local.mode</name>
        <value>true</value>
    </property>
    <property>
        <name>hive.execution.engine</name>
        <value>tez</value>
    </property>
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>s3a://mybucket/warehouse</value>
    </property>
    <property>
        <name>metastore.metastore.event.db.notification.api.auth</name>
        <value>false</value>
    </property>
    <property>
      <name>hive.metastore.uris</name>
      <value>thrift://hms:9083</value>
      <description>URI for the Hive Metastore server</description>
    </property>
    <property>
      <name>javax.jdo.option.ConnectionURL</name>
      <value>jdbc:postgresql://psql:5432/hive_metastore</value>
      <description>JDBC connection URL for the Hive Metastore</description>
    </property>
    <property>
      <name>javax.jdo.option.ConnectionDriverName</name>
      <value>org.postgresql.Driver</value>
      <description>JDBC Driver for PostgreSQL</description>
    </property>
    <property>
      <name>javax.jdo.option.ConnectionUserName</name>
      <value>hive</value>
      <description>JDBC username for PostgreSQL</description>
    </property>
    <property>
      <name>javax.jdo.option.ConnectionPassword</name>
      <value>hive</value>
      <description>JDBC password for PostgreSQL</description>
    </property>
    <property>
      <name>fs.s3.endpoint</name>
      <value>http://172.31.144.1:9000</value>
    </property>

    <property>
      <name>fs.s3.access.key</name>
      <value>minioadmin</value>
    </property>

    <property>
      <name>fs.s3.secret.key</name>
      <value>minioadmin</value>
    </property>

    <property>
      <name>fs.s3.path.style.access</name>
      <value>true</value>
    </property>
      <property>
      <name>fs.s3a.impl</name>
      <value>org.apache.hadoop.fs.s3a.S3AFileSystem</value>
    </property>

    <property>
      <name>fs.s3a.aws.credentials.provider</name>
      <value>org.apache.hadoop.fs.s3a.SimpleAWSCredentialsProvider</value>
    </property>

    <property>
      <name>fs.s3a.endpoint.region</name>
      <value>my_region</value>
    </property>
</configuration>

core-site.xml

core-site.xml은 Hadoop 공통 설정 파일이다. 특히 S3A(Minio 포함) 등 외부 스토리지 연동에 필요한 설정들을 담는다. MinIO 엔드 포인트와 접속 계정 정보는 환경에 맞게 조정한다.

<configuration>
  <property>
    <name>fs.s3a.endpoint</name>
    <value>http://172.31.144.1:9000</value>
  </property>
  <property>
    <name>fs.s3a.access.key</name>
    <value>minioadmin</value>
  </property>
  <property>
    <name>fs.s3a.secret.key</name>
    <value>minioadmin</value>
  </property>
  <property>
    <name>fs.s3a.path.style.access</name>
    <value>true</value>
  </property>
</configuration>

3️⃣ 설치

HMS 이미지 생성 - Dockerfile 정의

# hive/Dockerfile
FROM apache/hive:4.0.1

ENV SERVICE_NAME=metastore \
    DB_DRIVER=postgres

# 설정 파일 복사
COPY hms/hive-site.xml /opt/hive/conf/hive-site.xml
COPY hms/core-site.xml /opt/hadoop/etc/hadoop/core-site.xml

# 필요한 JAR 복사
COPY jars/postgresql-42.2.5.jar /opt/hive/lib/
COPY jars/aws-java-sdk-bundle-1.11.1026.jar /opt/hive/lib/
COPY jars/hadoop-aws-3.3.4.jar /opt/hive/lib/

HMS Custom 이미지 생성 명령어 실행

• 이미지 빌드
  직접 빌드가 가능하고, 이어지는 docker-compose 를 이용해서 빌드 및 실행을 동시에 할 수 있다.

docker build -t hms:1 .

• 이미지 확인

docker images
REPOSITORY                        TAG                            IMAGE ID       CREATED         SIZE
hms                               1                              c9ef4120789b   9 seconds ago   1.83GB

HMS 실행

docker-compose 실행

docker-compose up -d --build

docker-compose yaml 정의

# hive/docker-compose.yml
version: '3'
services:
  hms:
    build: .
    container_name: hms
    ports:
      - "9083:9083"
    environment:
      SERVICE_NAME: metastore
      DB_DRIVER: postgres
    networks:
      - mynetwork
networks:
  mynetwork:
    external: true

HMS 실행 컨테이너 확인

d ps
CONTAINER ID   IMAGE                                 COMMAND                  CREATED             STATUS                       PORTS                                                             NAMES
8449b61fa160   hive_hms                              "sh -c /entrypoint.sh"   4 minutes ago       Up 4 minutes                 10000/tcp, 0.0.0.0:9083->9083/tcp, :::9083->9083/tcp, 10002/tcp   hms

4️⃣ 검증

TRINO 연결

trino --server http://localhost:8080

TRINO 카탈로그 확인

trino> SHOW CATALOGS;
  Catalog
------------
 iceberg
 mariadb
 postgresql
 system
(4 rows)

Query 20250601_104633_00000_pe3h3, FINISHED, 1 node
Splits: 11 total, 11 done (100.00%)
0.94 [0 rows, 0B] [0 rows/s, 0B/s]

TRINO로 테이블 생성/확인

trino> CREATE TABLE iceberg.default.customers (
    ->     id INTEGER,
    ->     name VARCHAR,
    ->     email VARCHAR,
    ->     created_at TIMESTAMP
    -> )
    -> WITH (
    ->     format = 'parquet',
    ->     partitioning = ARRAY['created_at']
    -> );
CREATE TABLE

trino> SHOW TABLES FROM iceberg.default;
   Table
-----------
 customers
(1 row)

Query 20250603_025310_00019_5r6vr, FINISHED, 1 node
Splits: 11 total, 11 done (100.00%)
0.12 [1 rows, 26B] [8 rows/s, 224B/s]

trino> DESCRIBE iceberg.default.customers;
   Column   |     Type     | Extra | Comment
------------+--------------+-------+---------
 id         | integer      |       |
 name       | varchar      |       |
 email      | varchar      |       |
 created_at | timestamp(6) |       |
(4 rows)

MinIO 버킷 확인