[gcp] 주식데이터 크롤링 해서 bigquery에 적재하기 - 2

VM 만들기

vm 가상 환경을 만들어줘야 한다. 구글에 있는 cloud compute engine을 만들었는데 이게 4기가 만되도 한달 가격이 20불이 넘는다.. 뭔가 그냥 난 테스트고 연습인데 돈이 아깝다는 생각이 좀 들어서 난 WSL에서 진행했다!

wsl

wsl은 윈도우 가상환경으로 ubuntu를 윈도우 환경에서 사용할 수 있다. 이게 은근 좋다!
wsl 설치 방법 microsoft 설명
이건 봐도 어렵다.
wsl 설치 방법2 cpuu님 블로그
아래꺼도 괜찮다.!

cron tab

크론탭 순서

크론탭을 만드는 순서는 아래와 같다.

1. 크론탭을 등록한다.
2. 크론탭을 시작한다.
3. 추가 등록하면 restart해준다.

크론탭 반복 설정

여기서 * * * * * 이 있는데 순서대로 분, 시, 일, 월, 요일이다.

분	시	일	월	요일
*	*	*	*	*
0~59	0~23	0~31	1~12	0 또는 7
				1 (월요일) 2 (화요일) 3 (수요일) 4 (목요일) 5 (금요일) 6 (토요일)
매분	매시	매일	매월	매요일

나는 월~금 매일 9시에 실행하도록 설정해놧다.

크론탭 반복 주기 예제

반복 주기 예제

매 분마다 실행

* * * * * 이다.

매 시 정각에 실행

0 * * * * 매 시 정각에 실행하는 크론탭이다.

6시간 30분 경과 마다 실행

30 */6 * * * 6시간 30분 마다 실행하는 크론탭

매 시 20분, 50분에 실행

20,50 * * * * 콤마로 구분해주면 중복해서 실행한다.

월-금 5시에 실행

0 5 * * 1-5 주기를 사용하여 지정도 가능하다.

크론탭 등록

크론탭 등록

1. crontab -e 선택하면 원하는 편집기로 크론탭을 등록할 수 있다.
2. 등록 한 후에 crontab -l 명령어로 현재 등록된 크론탭 목록을 확인 할 수 있다.
3. 크론탭을 등록한 후 service cron start 명령어를 통해서 크론탭을 시작하고
4. service cron stop or service cron restart 를 통해서 종료하거나 다시 시작할 수 있다.

왜 안될까?

안된다... 왜 안되!!

service cron restart 했는데 service cron start도 안된다. permission denied라고 되어있다. sudo 를 써줘야 된다. 당연히 내 컴퓨터니까 내가 최고 관리자 권한이 있다고 생각해서 조금 헤맸다.

이제 다음에 마지막으로 bigquery 적재 남았다!