Postgresql HA 서버 구현을 위한 Postgresql 와 Pgpool 기본 설정 1

&&&·2023년 12월 14일

PostgreSQL HA 구성 서버 구현

목록 보기

3/4

처음에는 pgpool을 활용해서 failover를 구현해보고 싶었습니다.
구글 검색하고 postgresql 과 pgpool의 공식문서를 보고 이래저래했었는데 아쉽게도 replication 기능만 구현이 되고 failover를 구현하던 중간에 에러를 해결하지 못했습니다.

결국 pgpool이 아닌 repmgr을 통해서 구현을 했습니다.

이 게시글은 pgpool을 활용하여 failover를 구현하는 과정을 담았습니다.
비록 성공하진 못했지만 추후 공부를 계속해가면서 해결방법을 찾게 된다면 추가하겠습니다.

1. PostgreSQL 공식 RPM 패키지 설치

[all_server] sudo yum install https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm

라는 명령어에서 pgdg-redhat-repo-latest.noarch.rpm 파일은 어떤 정보를 가지고 있으며 rpm파일이란 뭔가?

→ pgdg-redhat-repo-latest.noarch.rpm 파일은 PostgreSQL의 공식 YUM 리포지토리 설정 파일을 포함하는 RPM 패키지입니다. 이 RPM 패키지를 설치하면 CentOS 시스템에서 PostgreSQL을 직접 다운로드하여 설치하는 데 필요한 리포지토리 정보가 저장됩니다.

RPM(Red Hat Package Manager) 파일은 Red Hat 및 기타 리눅스 배포판(예: CentOS, Fedora)을 위한 패키지 파일 형식입니다. RPM 파일에는 소프트웨어 집합(패키지)이 포함되어 있습니다. 소프트웨어, 라이브러리, 설정 파일, 문서 등이 함께 있을 수 있습니다. RPM 패키지를 사용하면 소프트웨어 및 해당 종속성의 설치, 업그레이드, 제거를 쉽게 관리할 수 있습니다.

RPM 파일의 이름 구성 요소는 다음과 같습니다:

이름 : 패키지 이름 (예: pgdg-redhat-repo)
버전 : 패키지의 버전 번호
릴리스 : 패키지 릴리스 번호 (패키지 빌드에 대한 내부 버전 번호를 의미함)
아키텍처 : 패키지가 지원하는 CPU 아키텍처 (예: x86_64, i386, noarch)

예시의 pgdg-redhat-repo-latest.noarch.rpm 파일에서 "pgdg-redhat-repo"는 패키지 이름을, "latest"는 릴리스를, "noarch"는 아키텍처를 의미합니다. "noarch"는 아키텍처에 독립적이라는 의미로, 모든 하드웨어 아키텍처에서 사용할 수 있다는 것을 나타냅니다.

2. PostgreSQL Server 설치

[all_server] sudo yum install -y postgresql13-server

에서 postgresql13-server가 의미하는

→ postgresql13-server 패키지는 PostgreSQL 데이터베이스 서버 버전 13을 설치하는 데 필요한 파일과 구성요소를 포함하고 있습니다. 이 패키지를 설치하면, PostgreSQL 서비스를 관리하고 데이터베이스를 구축 및 운영하는 데 필요한 실행 파일, 라이브러리, 스크립트, 설정 파일 등이 시스템에 추가됩니다.

postgresql13-server 패키지에 포함된 주요 내용은 다음과 같습니다:

postmaster: PostgreSQL 데이터베이스 서버의 메인 진입점 프로그램입니다. 모든 클라이언트 커넥션을 처리하며, 데이터베이스 시스템의 모든 주요 기능을 실행합니다.
initdb: PostgreSQL 데이터베이스 클러스터의 초기 파일 및 설정을 만드는 데 사용되는 유틸리티입니다. 데이터베이스 서버와 관련된 모든 설정을 자동으로 처리합니다.
pg_ctl: PostgreSQL 데이터베이스 서비스를 시작, 중지, 재시작 및 관리하는 데 사용되는 명령줄 도구입니다.
기타 도구: 데이터베이스 서버 관리, 유지 보수, 백업 및 복구에 사용되는 pg_dump, pg_dumpall, pg_restore, pg_upgrade, pg_basebackup 등의 추가 유틸리티와 명령줄 도구가 포함되어 있습니다.

이 패키지는 데이터베이스 서버 및 관련 기능 간 상호 작용을 통해 사용자가 원활한 PostgreSQL 사용 환경을 얻을 수 있도록 설계되었습니다. 설치 프로세스는 구성 및 설정 파일 생성, 데이터베이스 초기화, 시스템 서비스의 시작됨에 따른 시스템 데몬 등록 등을 포함합니다.

3. Pgpool 설정 변경

[all_server] vi /etc/yum.repos.d/pgdg-redhat-all.repo

[pgdg-common]
...
exclude=pgpool*

[pgdg14]
...
exclude=pgpool*

[pgdg13]
...
exclude=pgpool*

[pgdg12]
...
exclude=pgpool*

[pgdg11]
...
exclude=pgpool*

[pgdg10]
...
exclude=pgpool*

[pgdg96]
...
exclude=pgpool*

위에 부분을 추가해서 아래에 실행할 pgpool-II-pg11-*를 실행해도 postgresql에 기본적으로 있는 pgpool과 겹치지 않는다.

4. 초기 DB 사용자 및 스키마 생성

[all servers] psql -U postgres -p 5432
[all servers] postgres= \create database cai with owner postgres encoding 'UTF8';
[all servers] postgres= \create user root with superuser createdb password {password};

Database가 생성되었는지 확인 하는 방법

psql -U postgres -p 5432
postgres=# \l

5. WAL directory 생성

DB archive 용 디렉토리 생성.

생성된 디렉토리의 소유권을 postgres 유저에게 넘긴다.

[all servers]# su - postgres
[all servers]$ mkdir /var/lib/pgsql/archivedir
[all servers] chown -R postgres.postgres /var/lib/pgsql/archivedir

6. DataBase Cluster 초기화 방법 2가지

-- 1. 구글검색으로 찾은 방법
[all servers] sudo /usr/pgsql-13/bin/postgresql-13-setup initdb

-- 2. pgpool-II + watchdog 설정 공식문서에서 찾은 방법
[all servers]# su - postgres
[all servers]$ /usr/pgsql-13/bin/initdb -D $PGDATA

→ 1번은 postgresql-13-setup 라는 스크립트를 실행하여 데이터 클러스터를 초기화 한다.

2번은 init 명령어를 직접 실행하여 데이터베이스 클러스터를 초기화한다.

어떤 방법이든 큰 상관없을 것 같지만 2번의 방법이 좀 더 커스터 마이징 하기 쉬울 것 같아 2번으로 선택하였다.

7. Postgresql.conf 구성 파일 수정

[master] listen_addresses = '*'
port = 5432
archive_mode = on
archive_command = 'cp "%p" "/var/lib/pgsql/archivedir/%f"'
max_wal_senders = 10
max_replication_slots = 10
wal_level = replica
hot_standby = on
wal_log_hints = on

$PGDATA/postgresql.conf 에 있는 파일을 수정한다.

여기서 $PGDATA 는 /var/lib/pgsql/13/data 에 있다. (현재 기준)

WAL 파일 : 변경된 데이터베이스의 모든 작업을 기록하는 로그 파일
WAL 아카이빙 모드 : WAL 파일을 아카이브 디렉토리로 복사하여 보관하는 모드. 아카이브 된 WAL 파일을 사용하여 데이터 베이스를 원하는 시점으로 복구할 수 있다.
각 구성 요소에 대한 설명
1. listen_addresses = '*'
  
  → Postgresql 서버가 모든 클라이언트의 연결을 수락한다.
2. archive_mode = on
  
  → WAL 아카이빙 모드를 활성화.
3. archive_command = 'cp "%p" "/var/lib/pgsql/archivedir/%f"'
  
  → WAL 세그먼트 파일을 아카이브 디렉토리로 복사하기 위한 명령.
4. max_wal_senders = 10
  
  → 동기화된 복제를 위한 최대 WAL 전송자 수
5. max_replication_slots = 10

8. pg_hba.conf 구성 파일 수정

[master] echo "host replication postgres trust" >> /var/lib/pgsql/13/data/pg_hba.conf
[master] echo "host replication repl {slaveIP}/32 md5" >> /var/lib/pgsql/13/data/pg_hba.conf

9. 접속을 위한 서버 시작

[all servers] systemctl enable postgresql-13
[all servers] systemctl start postgresql-13

systemctl enable postgresql-13

→ PostgreSQL 13 서비스가 부팅 시 자동으로 시작하도록 설정됩니다.

10. Pgpool 다운로드

[all servers] yum install -y https://www.pgpool.net/yum/rpms/4.2/redhat/rhel-7-x86_64/pgpool-II-release-4.2-2.noarch.rpm
[all servers] yum install -y pgpool-II-pg13-*

11. Replication 을 위한 사용자, 테이블 설정

[master] psql -U postgres -p 5432
postgres= CREATE ROLE pgpool WITH LOGIN;
postgres= CREATE ROLE repl WITH REPLICATION LOGIN;
postgres= \password pgpool
postgres= \password repl
postgres= \password postgresql

pgpool 공식 문서를 보고 위와 같이 설정을 바로 해버렸다.

또 원래라면 slave에는 따로 user 설정을 해줄 필요가 없다.

어차피 master의 user상태를 따르기 때문이다

아래와 같이 설정하는 것이 맞다.

[master] psql -U postgres -p 5432
[master] postgres= create user repl replication login encrypted password {password} connection limit -1;

-- failover 설정 시
[master] postgres= CREATE ROLE pgpool WITH LOGIN;
[master] postgres= \password pgpool

Role 설정이 옳게 되었는지 확인하는 방법


psql -U postgres -p 5432
postgres=# \du

create user와 create roll의 차이

그리고 create role과 create user는 거의 동일한 방식으로 동작한다.

create user 는 내부적으로 create role명령을 사용하여 login 옵션을 추가로 설정한다.

즉, create role pgpool with login 과 create user pgpool은 같다.

12. IP 확인

[all servers] hostname -I

위의 명령어를 통해서 각 서버의 IP 를 확인 할 수 있다.

13. 방화벽 설정

[all servers] systemctl stop postgresql-13
[all servers] firewall-cmd --permanent --add-port=5432/tcp
[all servers] firewall-cmd --reload
[all servers] systemctl start postgresql-13