python Challenge

웹 크롤링Requests 로 웹 페이지 요청 보내기BeautifulSoup 사용해 파싱 후 데이터 추출추출 후 csv.웹크롤링이란?웹 페이지의 데이터를 자동으로 수집하는 기술, 웹사이트 데이터 효율적으로 모을 수 있다.비정형 데이터 정형데이터로 변환, 특정 웹사이트 탐

타이틀 가져오려면 find나 select-one 해서 가져오면 됨.API 가져오기OpenWeather홈페이지API response - JSON format API response example 에 들어가서 각 key 들의 부가정보를 가져올 수 있다.파라미터에 대한 설명

강의 개요 이 강의에서는 웹 크롤링, API 활용, 그리고 MySQL 문법을 익혀 데이터 수집(Extract), 정제(Transform), 그리고 적재(Load) 과정을 다룹니다. 초반에는 웹 크롤링 기술을 통해 원하는 데이터를 직접 수집하는 방법과 HTML 구조를

[목표] 로깅: loguru을 사용하여 다양한 로그 레벨로 메시지를 기록하고, 로그 파일로 저장하여 ETL 작업 추적 스케줄링: schedule을 사용하여 주기적으로 실행해야 하는 작업을 예약하고 자동화 YAML 파일 관리: PyYAML을 사용하여 YAML 파일을

데이터프레임을 레코드(딕셔너리 목록)으로 변환data = df.to_dict(orient="records")