- 강의 개요 이 강의에서는 웹 크롤링, API 활용, 그리고 MySQL 문법을 익혀 데이터 수집(Extract), 정제(Transform), 그리고 적재(Load) 과정을 다룹니다. 초반에는 웹 크롤링 기술을 통해 원하는 데이터를 직접 수집하는 방법과 HTML 구조를 분석하고 필요한 정보를 추출하는 기술을 배웁니다. 이후에는 API를 활용해 외부 서비스와의 데이터 연동을 통해 효율적인 데이터 수집 방법을 소개하고, JSON 응답 형식을 다루는 실습을 진행합니다. 마지막으로, MySQL을 활용하여 수집된 데이터를 전처리하고 데이터베이스에 저장하고 관리하는 방법을 배우며, 실무 환경에 가까운 예제를 통해 ETL 파이프라인을 자연스럽게 배웁니다. 모든 단계는 실제 사례와 프로젝트 기반의 실습을 통해 진행되어, 이론과 실습이 조화롭게 이루어집니다.
- 커리큘럼
- 1회차
웹 크롤링(Web Scraping) 기초와 실습 - HTML 구조 분석 및 웹 데이터 추출, 객체지향 프로그래밍(OOP) 개념 학습
- 2회차
API 호출의 기본 개념, JSON 응답 처리, 데이터 전처리 및 클래스, 모듈화 코드 실습
- 3회차
MySQL 기초 문법 학습 - 데이터베이스 테이블 설계 및 쿼리 실습, 클래스와 모듈화된 코드로 데이터 처리 실습
- 4회차
ETL 파이프라인 구축 및 모듈화 - 수집, 정제, 적재 프로세스를 연결하여 하나의 파이프라인 완성
- 5회차
ETL 파이프라인의 스케줄링 및 로깅 - 자동화 및 오류 관리 실습과 복습을 통해 전체 흐름을 다지는 시간
Data Analytics Engineer 가 되