Data Handling

AI에 대한 관심과 활용도가 요즘 특히 챗GPT를 기점으로 급격하게 증가하고 있다. AI에 처음 공부하는 사람들은 알고리즘이나 최신 SOTA 기술 등의 모델 자체에 현혹(?)될 가능성이 높다. (내가 그랬다.) 하지만 막상 현업에서 다루는 데이터를 가지고 AI 모델을

Python 프로젝트를 진행할 때 가장 자주 마주치는 골칫거리 중 하나가 바로 패키지 관리인데, 여러 프로젝트를 한 가상환경에서 돌리다 보면 패키지 업데이트가 다른 프로젝트에 영향을 미치기도 한다. 패키지 버전 충돌 같은 문제가 발생하면, 정말 머리가 아프다.그래서 각

데이터 분석의 첫 단계는 효율적으로 데이터를 불러오는 것이다다. 본 글에서는 다양한 소스 또는 환경에서 데이터를 불러오는 다양한 방법을 정리하고자 한다. Excel 데이터를 불러올 때, index_col=0을 설정하면 데이터 프레임에서 불필요한 unnamed colum

다양한 형태의 데이터 저장 방법을 살펴보고자 한다. 데이터 저장을 위한 폴더가 이미 존재하는지 확인하고, 없다면 새로 생성Excel, csv index=False는 데이터를 저장할 때 인덱스를 제외하도록 설정하는 부분이다. data에 한글이 있을 경우 csv파일로 저장

데이터를 다루는 데 있어 필수 도구인 numpy의 기본 사용법부터 이를 활용한 데이터 조작 방법까지 알아보고자 한다. np.array numpy 배열은 모든 요소가 동일한 데이터 타입을 가져야 한다. 만약 다른 타입의 데이터가 배열에 포함된다면, numpy는 자동으로

※ 예측값에 대한 시각화 (meshgrid -> contour)

dataframe basic

문자열처리 날짜처리

모든 열의 이름을 받아 수직으로 재구성stack하려면 set_index를 먼저 해줘야한다. 번호 인덱스이면 안됨 melt_result

matplotlib

Timestampto_datetime날짜 확인/필터링 datetime to string보간 시간단위 groupby시계열 데이터 연속기간 구하기

출처: https://github.com/dream-ellie/regex|Character|뜻|\|:----------:\|:----------\||||또는||()|그룹||\[]|문자셋, 괄호안의 어떤 문자든||^|부정 문자셋, 괄호 안의 어떤 문자가 아닐때|

list 내 값의 type 바꾸기

mssql database에서 data 불러오기 database UPDATE or INSERT