STUDY

판다스

Pandas의 데이터 구조 (1) Series 1차원 데이터 (1개 열) Index와 Value 쌍으로 이루어짐 리스트와 딕셔너리의 중간 형태 index: 값의 인덱스(행 번호/이름) values: 실제 데이터 값 배열 name: "그 Series의 이름" (ex.

데이터 선택/추출/슬라이싱 1. 단일/복수 열(컬럼) 선택 (1) 단일 컬럼 선택 방법: df['컬럼명'] 반환: Series (2) 복수 컬럼 선택 방법: df[['컬럼1', '컬럼2']] 반환: DataFrame > 실무팁: > > - 컬럼 이름에 띄어쓰

데이터 전처리 1. 결측치(Null/NaN) 처리 (1) 결측치 확인: isnull(), notnull() (2) 결측치 채우기: fillna() 평균/최빈값/특정값 등으로 채우기 (3) 결측치 행/열 삭제: dropna() > 실무팁: > > - 결측치 처리 전 .isnull().sum()으로 분포 파악! > - 머신러닝에선 삭제보다 채우기가 ...

데이터 집계/요약/그룹화 1. 기초 집계 함수 데이터프레임에서 빠르게 요약 통계(합, 평균 등) 구할 수 있는 함수들 | 함수 | 기능/설명 | 예시 코드 | | --- | --- | --- | | sum() | 합계 | df['col'].sum() | | mean() | 평균 | df['col'].mean() | | count() | 개수(결측치 제...

판다스 데이터 결합/변형 1. 데이터 이어붙이기 (concat) 수직/수평으로 단순하게 데이터프레임을 연결 SQL의 UNION ALL과 비슷 인덱스/컬럼 이름이 같아야 자동 정렬됨 (1) 기본 사용법 인덱스가 중복될 수 있음. → ignore_index=True로 새 인덱스 부여 가능 ignoreindex=True vs reseti...

판다스 시계열 데이터 다루기 1. 날짜/시간 데이터 처리 (1) 문자열 → 날짜 변환: pd.to_datetime() 날짜/시간 문자열을 datetime 타입으로 변환 (시계열의 시작!) (2) DatetimeIndex 날짜/시간 컬럼을 인덱스로 설정하면 시계열 기능을 100% 활용할 수 있음 DatetimeIndex란? (개념 정리) 1. D...

1. 사용자 함수 적용 (apply, map, applymap) (1) apply 시리즈/데이터프레임의 행이나 열에 “함수”를 적용 복잡한 계산, 조건문, 파생변수, 그룹별 연산 등 실무에서 거의 필수! (2) map Series에만 적용 각 값 하나하나에 함수 또는 딕셔너리(매핑) 적용할 때 (3) applymap 데이터프레임 전체(모든 값)에...

판다스 시각화 & 리포팅 1. 판다스 내장 시각화 (기본 plot) ● 개념/특징 판다스는 .plot() 메서드를 통해 내부적으로 Matplotlib을 이용해 한 줄 코드로 손쉽게 기본 시각화가 가능! 빠른 EDA, 간단 보고서, 결과 체크에 최고! ● 지원 차트 종류 line(기본), bar, barh, hist, box, a...

판다스 성능 최적화/실전 팁 1. pandas 옵션 설정: pd.set_option 판다스의 출력, 표시, 계산 환경 등 다양한 옵션을 사용자 정의하는 함수 표 전체/소수점/행수/컬럼수/너비 등 가독성, 디버깅, 리포트 자동화에 매우 유용! ● 예시 ● 언제 쓰면 좋은가? 대용량/긴 데이터 출력, 리포트 자동화, 디버깅/가독성 개선 2....

1단계. 머신러닝 핵심 개념 잡기 이론 머신러닝이란? (지도/비지도/강화학습 차이) 회귀 vs 분류 과적합, 편향-분산 트레이드 오프 2단계. 알고리즘 익히기 (Scikit-learn 기반) 모델별 학습 | 모델 | 목적 | 키워드 | | --- | --- | --- | | Linear Regression | 회귀 | 연속형 예측 | | Logis...

머신러닝이란? (What is Machine Learning?) 정의 머신러닝(Machine Learning)은 컴퓨터가 명시적 규칙을 부여받지 않고, 데이터로부터 패턴을 스스로 학습하여 예측 또는 판단을 내리는 알고리즘입니다. 전통 프로그래밍 vs 머신러닝 | 항목 | 전통 프로그래밍 | 머신러닝 | | --- | --- | --- | | 입력 |...

전체 분류 요약 | 분류 | 포함 모델 | 설명 | | --- | --- | --- | | 회귀 모델 | Linear, Ridge, Lasso, SVR, XGBoostRegressor 등 | 숫자 예측 목적 (ex. 집값) | | 분류 모델 | Logistic, Ra

fit()은 어떤 조합 항들을 만들어야 할지 규칙(차수, 변수 수 등)을 파악 transform()은 그 규칙에 따라 실제 값을 계산 그래서 fit_transform()으로 한 번에 처리 가능 (→ 전처리에서는 주로 많이 씀)fit()은 모델이 가중치 학습하는 과정tr

전체 데이터를 여러 조각(폴드, fold)으로 나눠서 여러 번 반복해서 모델 성능을 평가하는 방법이야. 모델의 정확하게 평가하려고!한 번만 테스트하면 우연히 쉬운/어려운 데이터가 걸릴 수 있어서 검증이 불안정할 수 있음.여러 번 데이터 섞어가며 평가하면 평균 성능이

LinearRegression (선형회귀)Ridge, Lasso, ElasticNet (정규화 회귀)SVR (Support Vector Regression)RandomForestRegressor, GradientBoostingRegressorDecisionTreeReg

1. 인공신경망(ANN) 가장 기본적인 인공 신경망으로, 그 형태는 확률적 경사하강법을 사용하는 로지스틱 회귀와 매우 유사하다. 인공신경망은 보다 높은 성능을 가진 새로운 종류의 머신러닝 알고리즘일 뿐, 정말 우리 뇌에 있는 뉴런과 같지 않다는 것을 항상 인지해야한다

1. PyTorch, TensorFlow, Keras란? | 프레임워크 | 주요 특징/설명 | | --- | --- | | PyTorch | - Facebook 개발- 코드가 Pythonic, 직관적- 연구, 실험, 최신 모델 구현에 강점 | | TensorFlow | - Google 개발- 기업/대규모 서비스, 배포에 강점- 확장성, 생산성, 복잡한 모...

정규 표현식(Regular Expression) 1) 정규 표현식 문법 | 특수 문자 | 설명 | | --- | --- | | . | 한개의 임의의 문자를 나타낸다. | | ? | 앞의 문자가 존재할 수 도 있고, 존재하지 않을수도 있다.(문자가 0개 또는 1개) | | * | 앞의 문자가 무한개로 존재할 수도 있고, 존재하지 않을수 도 있다....

토큰화(Tokenization) 1. 개념 토큰화란? 글(문장, 댓글, 기사 등)을 “뜻이 있는 가장 작은 덩어리(보통 ‘단어’나 ‘형태소’라고 부름)”로 잘게 쪼개는 작업 영어는 띄어쓰기 기준으로 “apple is good” → [‘apple’, ‘is’, ‘good’] 한글은 조사(을/는/이/가 등), 어미(했다/하다 등) 때문에 조금 더 세밀하...

정제란?“텍스트에서 불필요하거나 방해되는 내용(노이즈)를 깨끗하게 지워내는 작업”갖고 있는 코퍼스로부터 노이즈 데이터를 제거예시:“ㅋㅋㅋ”, “ㅎㅎ”, “^\_^”, “\~\~~”, “특수문자” 등광고/스팸성 멘트, 욕설, HTML 태그, 이메일, 링크, 숫자 등WHY

어간 추출이란?단어에서 변하지 않는 뿌리(어간)만 남기고 접사(변형, 굴절, 어미 등)는 기계적으로 잘라내는 작업의미는 거의 같은데, 단어 형태만 달라서데이터 분석/검색/분류할 때 비슷한 단어를 한 덩어리로 보고 싶으니까!예시:“study”, “studies”, “st

tensorflow - keras 라이브러리와 fashion_mnist 데이터 불러오기train 데이터와 test 데이터 구조확인fashion_mnist 데이터 시각화 확인하기train데이터 정규화모델만들기모델 구조정의최신 권장 방식또는, 모델 학습설정Adam 특징실제

텍스트나 시계열 데이터(일정한 시간 간격으로 기록된 데이터)와 같이 순서에 의미가 있는 데이터를 뜻한다ex) “I am a boy” 는 이해되지만 “boy am a I”는 말이 되지 않는다RNN은 이전 시점의 출력을 다음 시점의 입력으로 넘겨서, 시간 순서대로 한 스텝

Rust로 개발한 초고속 파이썬 패키지 & 프로젝트 매니저UV는 파이썬 개발에 필요한 여러 도구를 하나로 합친 것

지난번 UV게시물에 작성한 fastapi설치 방법으로 진행\--> 지난번 UV환경 만들고, fastapi 설치 방법 보기