출근 40일차

뮤·2022년 10월 21일

docker docker compose prisma 검색엔진 우체국 주소

회사이야기

목록 보기

40/118

오늘은 실제로 코드를 작성한 것보다는 뭐랄까 딴짓을 하는 시간이 길었다.

왜냐하면........택배사 추가 연동은 거의 완료가 됐고
작업한 코드로 물건을 회사로 주문을 해봐야해서 여러가지 사항을 기다리고 있다.

그래서 주소 검색엔진에 조금 더 힘을 실어서 작업을 해봤다.

주소 검색엔진의 아키텍처

이름이 거창한데, 걍 플로우(?)느낌에 가깝다.

다운로드 받은 모든 주소정보를 로그스태시를 통해서 엘라스틱 서치에 집어넣는다.
한달단위로 갱신되는 정보를 다운로드받아 AWS 람다에 넣어준다.
갱신 정보 추가 + 업데이트

딱 3단계로 분리가 되는데, 여기서 문제가 있었다(ㅠㅠ)

그게 뭐냐면 로그스태시로 txt 파일을 어떻게 넣어야할지 감이 안잡히더라

csv파일은 제대로 지원하는 것 같은데, txt 파일은 어떻게 해야할지 모르겠고

제일 중요한 것은 필드를.....언제 그걸 다 지정하고 앉아있어(....)
그래서 이 부분을 자동화를 해야해서 그것에 대한 코드를 짜는게 좀 오래 걸릴 것 같다.

우체국 사이트에서 파일을 다운로드 받는다(이건 수제로 해야함)
txt 파일을 utf8 + csv 파일로 변환시킨다.
로그스태시가 달려있는 람다에 던진다.
람다는 파일 속의 모든 필드를 확인하여 엘라스틱서치에 넣는다.

정도가 조금 더 깊은 정보가 담겨있다.

여기서 먼저 확인을 해야하는 부분이 있었는데, 바로 유사도 쿼리를 어떻게 짜느냐에 대한 부분이였다.

그래서 도커컴포즈 속에서 해당 테스트를 해보려고 했는데...?

어, 로컬DB에 있는 정보를 도커 컴포즈의 DB와 어떻게 직결시키지?

이것저것 자료를 다 봤는데 제대로 돌아가는게 하나도 없어가지고(....)
걍 파일 뽑아서 직접 꽂아봤더니 타입이 안맞더라 (와 날짜가 varchar로 들어가던데?)

심지어 한번에 600만개 쌓여있는거 파일로 뽑으려고 했더니 디비버가 메모리 터져가지고 뻗음ㅋㅋㅋㅋㅋ

그래서 어떻게 했냐면.....

version: '3.7'

services:
  database:
    image: mysql:latest
    environment:
      MYSQL_DATABASE: 'root'
      MYSQL_ROOT_PASSWORD: 'root'
    ports:
      - 3308:3306
    volumes:
      - /Users/Downloads/zipcode_DB/경기도.txt:/var/lib/1.txt
      - /Users/Downloads/zipcode_DB/경상남도.txt:/var/lib/2.txt
      - /Users/Downloads/zipcode_DB/경상북도.txt:/var/lib/3.txt
      - /Users/Downloads/zipcode_DB/광주광역시.txt:/var/lib/4.txt
      - /Users/Downloads/zipcode_DB/대구광역시.txt:/var/lib/5.txt
      - /Users/Downloads/zipcode_DB/대전광역시.txt:/var/lib/6.txt
      - /Users/Downloads/zipcode_DB/부산광역시.txt:/var/lib/7.txt
      - /Users/Downloads/zipcode_DB/서울특별시.txt:/var/lib/8.txt
      - /Users/Downloads/zipcode_DB/세종특별자치시.txt:/var/lib/9.txt
      - /Users/Downloads/zipcode_DB/울산광역시.txt:/var/lib/10.txt
      - /Users/Downloads/zipcode_DB/인천광역시.txt:/var/lib/11.txt
      - /Users/Downloads/zipcode_DB/전라남도.txt:/var/lib/12.txt
      - /Users/Downloads/zipcode_DB/전라북도.txt:/var/lib/13.txt
      - /Users/Downloads/zipcode_DB/제주특별자치도.txt:/var/lib/14.txt
      - /Users/Downloads/zipcode_DB/충청남도.txt:/var/lib/15.txt
      - /Users/Downloads/zipcode_DB/충청북도.txt:/var/lib/16.txt

걍 볼륨에 냅다 꽂아버렸다^^

사실 이런 방식도 있긴 했는데, 적용이 잘 안됐다.

    volumes:
      - /usr/local/var/mysql/address/seoul.ibd:/var/mysql/root/seoul.ibd

이게 무슨 방식이냐면, 데이터베이스에 들어가있는 실제 정보가 .ibd의 형식으로 로컬에 저장되어있다.

그래서 해당 정보를 도커 내부에 직접 꽂아버리는 방식이였는데.... 많은 엄지를 받은 글임에도 불구하고 나는 안되더라..ㅠㅠ

그래서 편법을 썼다. 걍 직접 냅다 꽂고 내가 고치자고!

테이블을 조금 고쳤다, 시간 정보가 필요했음 (...)

CREATE TABLE address ( 
`ZIP_NO` VARCHAR(5) NULL COMMENT '우편번호',
`SIDO` VARCHAR(20) NULL COMMENT '시도',
`SIDO_ENG` VARCHAR(40) NULL COMMENT '시도(영문)',
`SIGUNGU` VARCHAR(20) NULL COMMENT '시군구',
`SIGUNGU_ENG` VARCHAR(40) NULL COMMENT '시군구(영문)',
`EUPMYUN` VARCHAR(20) NULL COMMENT '읍면',
`EUPMYUN_ENG` VARCHAR(40) NULL COMMENT '읍면(영문)',
`DORO_CD` VARCHAR(12) NULL COMMENT '도로명코드',
`DORO` VARCHAR(80) NULL COMMENT '도로명',
`DORO_ENG` VARCHAR(80) NULL COMMENT '도로명(영문)',
`UNDERGROUND_YN` CHAR(1) NULL COMMENT '지하여부',
`BUILD_NO1` DECIMAL(5,0) NULL COMMENT '건물번호본번',
`BUILD_NO2` DECIMAL(5,0) NULL COMMENT '건물번호부번',
`BUILD_NO_MANAGE_NO` VARCHAR(25) NULL COMMENT '건물관리번호',
`DARYANG_NM` VARCHAR(40) NULL COMMENT '다량배달처명',
`BUILD_NM` VARCHAR(200) NULL COMMENT '시군구용건물명',
`DONG_CD` VARCHAR(10) NULL COMMENT '법정동코드',
`DONG_NM` VARCHAR(20) NULL COMMENT '법정동명',
`RI` VARCHAR(20) NULL COMMENT '리명',
`H_DONG_NM` VARCHAR(40) NULL COMMENT '행정동명',
`SAN_YN` VARCHAR(1) NULL COMMENT '산여부',
`ZIBUN1` DECIMAL(4,0) NULL COMMENT '지번본번',
`EUPMYUN_DONG_SN` VARCHAR(2) NULL COMMENT '읍면동일련번호',
`ZIBUN2` DECIMAL(4,0) NULL COMMENT '지번부번' ,
`ZIP_NO_OLD` VARCHAR(4) NULL COMMENT '구우편번호' ,
`ZIP_SN` VARCHAR(2) NULL COMMENT '우편일련번호',
`CREATED_AT` datetime(6) NOT NULL DEFAULT CURRENT_TIMESTAMP,
`UPDATE_AT` datetime(6) NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
`id` INT(10) UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY ) 
ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 AUTO_INCREMENT=1;

그리고 내가 어제는 깜빡했는데, 데이터 로드를 쓰려면 설정값이 필요하다.

mysql --local_infile=1 -u root -p
set global local_infile=true;

내가 보기에는 위에꺼만 해도 충분한데 (일회성으로 제한 푸는거라) 가끔 안되길래 걍 둘 다 치고 하고 있다ㅎㅎ..ㅎㅎ

저렇게 허용을 안하면 SQL ERROR 3948번 [42000] 에러가 발생한다.

아무튼 테이블을 생성해놓고, 이제 값을 넣어주면 된다!

(대신 도커 내부에서 넣어줘야한다. 이렇게 쓸꺼니까)

데이터 로드 할 때 썼던 SQL

LOAD DATA LOCAL INFILE "/var/lib/16.txt" INTO TABLE address CHARACTER SET 'UTF8MB4' FIELDS TERMINATED BY '|' OPTIONALLY ENCLOSED BY '"' LINES TERMINATED BY '\n' IGNORE 1 LINES
(@ZIP_NO, @SIDO, @SIDO_ENG, @SIGUNGU, @SIGUNGU_ENG,
@EUPMYUN, @EUPMYUN_ENG,
@DORO_CD, @DORO, @DORO_ENG,
@UNDERGROUND_YN, @BUILD_NO1, @BUILD_NO2,
@BUILD_NO_MANAGE_NO, @DARYANG_NM,@BUILD_NM,
@DONG_CD, @DONG_NM,@RI, @H_DONG_NM, @SAN_YN,
@ZIBUN1, @EUPMYUN_DONG_SN, @ZIBUN2, @ZIP_NO_OLD, @ZIP_SN)
SET
ZIP_NO = NULLIF(@ZIP_NO,'0'),
SIDO = NULLIF(@SIDO,'0'),
SIDO_ENG = NULLIF(@SIDO_ENG,'0'),
SIGUNGU = NULLIF(@SIGUNGU,'0'),
SIGUNGU_ENG = NULLIF(@SIGUNGU_ENG,'0'),
EUPMYUN = NULLIF(@EUPMYUN,'0'),
EUPMYUN_ENG = NULLIF(@EUPMYUN_ENG,'0'),
DORO_CD = NULLIF(@DORO_CD,'0'),
DORO = NULLIF(@DORO,'0'),
DORO_ENG = NULLIF(@DORO_ENG,'0'),
UNDERGROUND_YN = NULLIF(@UNDERGROUND_YN,'0'),
BUILD_NO1 = NULLIF(@BUILD_NO1,'0'),
BUILD_NO2 = NULLIF(@BUILD_NO2,'0'),
BUILD_NO_MANAGE_NO = NULLIF(@BUILD_NO_MANAGE_NO,'0'),
DARYANG_NM = NULLIF(@DARYANG_NM,'0'),
BUILD_NM = NULLIF(@BUILD_NM,'0'),
DONG_CD = NULLIF(@DONG_CD,'0'),
DONG_NM = NULLIF(@DONG_NM,'0'),
RI = NULLIF(@RI,'0'),
H_DONG_NM = NULLIF(@H_DONG_NM,'0'),
SAN_YN = NULLIF(@SAN_YN,'0'),
ZIBUN1 = NULLIF(@ZIBUN1,'0'),
EUPMYUN_DONG_SN = NULLIF(@EUPMYUN_DONG_SN,'0'),
ZIBUN2 = NULLIF(@ZIBUN2,'0'),
ZIP_NO_OLD = NULLIF(@ZIP_NO_OLD,'0'),
ZIP_SN  = NULLIF(@ZIP_SN,'0');

크게 달라진 것은 없고, 내가 명시해놓은 도커 볼륨의 절대경로와 테이블을 한개로 써보기로 했다.

이제 로그스태시에 던질 준비가 완료 됐으니까, 서버작업을 진행해야한다.