DataEngineering

AWS console → 서비스 → EC2 로 들어간다.인스턴스로 들어간다.우측 상단에 인스턴스 시작을 눌러준다.위와 같이 잘 따라왔다면 아래와 같은 여러 가지 설정을 해야 할 것이다. 대부분 default를 사용하므로 어렵지 않으니 천천히 따라와보자.✓ 이름✓ Ama

EC2 내 가상환경에서 진행하고자 몇 가지 설정을 해주겠다. airflow를 설치하고 경로 설정을 진행해준다. airflow db를 초기화해준다. airflow를 관리할 사용자 계정을 만들어준다. 아래 명령을 입력하면 비밀번호 설정을 해줘야 하는데, 이 때 입력한

즐🙂겁😋다🤗푸🤐항😧항DAG에 대해 알아보고, Airflow를 이용해 크롤링 자동화 task를 담은 DAG을 살펴보자. DAG은 task간의 의존성과 관계를 하기 위해 task를 묶는 Airflow의 핵심 개념이다.는 Airflow 공식 문서를 번역한 것이고,

푸🤗항🤗항 저번 게시글에서 작업한 크롤링을 수행하는 파이썬 코드에 몇 가지 크롤링 코드를 좀 더 추가하여 dag을 구성했다. dag 구성은 다음과 같았다(이미 S3 업로드까지 완성된 dag파일이다..). (이 링크에 방문하면 dag 파일을 확인할 수 있다.)

이제 곧해당 게시글은 아래 블로그들을 바탕으로 작성했습니다.https://lsjsj92.tistory.com/634https://13akstjq.github.io/api/2019/09/07/Slack-API-%EC%A0%95%EB%A6%AC%ED%95