Data Processing
1.Big Data Processing Using Python [1]
Data Processing 2025.03.12
2.Big Data Processing Using Python [2]
: 바이너리로 변환해서 계산되기 때문에 실수 계산은 지양해야함 : import는 드라이브에서 메모리로 모듈 / 함수를 가져올 수 있다. math 모듈로 부터 모든 함수를 가져온다. import 뒤에 오는 모듈 또는 함수 이름이 name table에 저장되고, 함수 사용
3.Big Data Processing Using Python [3]
Python 기초 문법 정리 1. 조건문 (Conditional Statements) 코드 블럭의 들여쓰기: Python에서는 들여쓰기가 코드 블럭을 구분하는 중요한 역할을 합니다. 들여쓰기를 올바르게 유지해야 코드가 제대로 실행됩니다. 명확한 조건 표현: 조건문은 가
4.Big Data Processing Using Python [4]
Python 기초 문법 정리 1. 반복문 1) for문 기본 개념: for문은 리스트, 문자열, 튜플, 딕셔너리 등 이터러블한 객체의 각 원소에 대해 반복 작업을 수행합니다.
5.Big Data Processing Using Python [5] - 웹크롤링
웹크롤링라이브러리 설치 웹 문서 읽기urlopen ()아래 처럼 Request 먼저하는게 정석임 , 헤더가 없으면 봇이라고 생각하고 서버에서 접근을 막음.!https://finance.naver.com/item/frgn.nhn?code=005930&page=1
6.Big Data Processing Using Python [6] - 환경변수Path 및 개발 환경
현재 path에서 지원하지 않는 명령어(예: pip)를 입력하는 경우, 시스템에서 환경 변수를 확인하여 환경 변수로 등록된 경로가 있는지 체크한다.시스템 환경 변수 : 윈도우 계정과 상관없이 사용할 수 있음사용자 환경 변수 : 해당 계정으로 로그인한 경우에만 사용할 수
7.Big Data Processing Using Python [6] - 공공 데이터 1
https://colab.research.google.com/drive/1VkOQlMfamzC544WjSD_Xz_l0Gl6v8qxu?usp=sharing
8.HTTP API 요청을 통한 데이터셋 다운로드
Python의 requests 라이브러리 사용 (가장 보편적인 방법)requests 라이브러리는 HTTP 요청을 보내는 것을 매우 간편하게 해줍니다.requests.get(url): 지정된 URL로 HTTP GET 요청을 보냅니다.response.raise_for_st
9.Hugging Face datasets : map() 함수
map() 함수머신러닝에서 가장 시간이 많이 소요되는 작업 중 데이터 전처리 과정에서 사용된다.오디오나 이미지와 같은 대용량 데이터를 다룰 때 데이터의 전처리 과정에 많은 시간이 소요된다.Hugging Face의 datasets 라이브러리에서는 이 과정을 효과적으로 처