# AI
[PyTorch] Hyperparameter Tuning
Hyperparameter Tuning : 딥러닝 학습을 할 때 사람이 지정해야 되는 여러가지 parameter들 성능을 높이는법 데이터를 추가하거나 바꾸기 모델 바꾸기 하이퍼파라미터 튜닝 Hyperparameter Tuning 모델 스스로 학습하지 않는 값은 사람이 지정(learning rate, 모델의 크기, optimizer 등) 하이퍼 파라메터에...
[PyTorch] Muli-GPU학습
Multi-GPU 학습 개념정리 Single vs Multi : 1 vs 2 이상 GPU vs Node(system) : Node는 한대의 컴퓨터를 뜻함. Single Node Single GPU : 1대의 컴퓨터에서 1대의 GPU를 사용함 Single Node Multi GPU Multi Node Nulit GPU Model parallel 다중 GP...
파이썬 머신러닝 완벽 가이드 - 5. Classification(2) (앙상블)
: 여러 개의 분류기(classifier)를 생성하고 그 예측을 결합함으로써 보다 정확한 최종 예측을 도출하는 기법→ 보팅Voting, 배깅Bagging, 부스팅Boosting + 스태킹Stacking보팅 : 서로 다른 알고리즘을 가진 분류기 결합배깅 : 같은 유형의
[PyTorch] Monitoring tools for PyTorch
Monitoring tools for PyTorch Tensorboard TensorFlow의 프로젝트로 만들어진 시각화 도구 학습 그래프, metric, 학습 결과의 시각화를 지원 PyTorch도 연결 가능 -> DL 시각화 핵심 도구 scalar : metric(accuracy, loss, recall,..) 등 상수 값의 연속(epoch)을 표시 g...
[PyTorch] 딥러닝 checkpoint 저장
checkpoints 학습의 중간 결과를 저장하여 최선의 결과를 선택 earlystopping 기법 사용시 이전 학습의 결과물을 저장(epoch가 100인데 50번째 값이 가장 좋다면 50번째 값이 저장이 되어있어야한다. 이때 필요한 것이다.) loss와 metric 값을 지속적으로 확인 저장 일반적으로 epoch, loss, metric을 함께 저장하여...
[PyTroch] model.save()
model.save() 학습 결과를 저장하기 위한 함수 모델의 형태(architecture)와 파라메터를 저장 모델 학습 중간 과정의 을 통해 최선의 결과모델을 선택(early stopping 등) 만들어진 모델을 외부 연구자와 공유하여 학습 재연성 향상 모델의 architecture와 함께 저장하는 방식은 pickle형태로 저장된다.
파이썬 머신러닝 완벽 가이드 - 5. Classification(1) (결정트리)
Classification 분류 : 학습 데이터로 주어진 데이터의 피처와 레이블 값(결정 값, 클래스 값)을 머신러닝 알고리즘으로 학습해 모델을 생성하고, 이렇게 생성된 모델에 새로운 데이터 값이 주어졌을 때 미지의 레이블 값을 예측하는 것 나이브 베이즈 Naive
[딥러닝] 파이토치로 딥러닝 구현 (모델 생성, 모델 훈련, 모델 검증)(2) (feat. 파라미터 수 확인, torchsummary)
너무 길어질 것 같아 1과 2로 나누어 정리하겠습니다. (1) 링크 : https://velog.io/@ym980118/딥러닝-파이토치로-딥러닝-구현-데이터-전처리-이미지-시각화-모델-구현 1. 모델 생성 LeNet 사용 (모델 확인) > torchsummary를 통해 직관적으로 모델 확인 가능 > 파라미터 수 확인 2. 손실함수 & 옵티마이저 ...
인공지능 놓치기쉬운 기본개념 총정리
인공지능 분야를 공부하다보면 선형대수학, 신경망, 데이터 전후처리 등등 알아야할 사항이 너무나도 많다. 작업을 하다보면 제대로 알지못하면서 그냥 넘어가는 부분이 많았던 것 같다.'기본이지만 쉽게 넘어갈법한, 그리고 중요한' 개념들에 대해 포스팅해본다. 중간중간 계속 수
[PyTorch] PyTorch datasets & dataloaders
Dataset Dataset클래스 데이터 입력 형태를 정의하는 클래스 데이터를 입력하는 방식의 표준화 image, text, audio 등에 따른 다른 입력정의 CustomDataset() 초기 데이터 생성 방법을 지정 Image의 경우 data directory정의 len() 데이터의 전체 길이를 받아서 반환 getitem(...
파이썬 머신러닝 완벽 가이드 - 4. Evaluation
실제 데이터에서 예측 데이터가 얼마나 같은지 판단하는 지표$$⁍ $$특히 정확도는 불균형한 레이블 값 분포에서는, 적합한 평가 지표가 아님ex) MNIST 데이터 셋을 다중분류에서 이진분류로 바꾸면 (7을 True, 나머지를 False) ⇒ 0과 1중 0을 찍으면 90
파이썬 머신러닝 완벽 가이드 - 3. Scikit-Learn
Classifier 분류: DecisionTreeClassifier, RandomForestClassifier, GradientBoostingClassifier, GaussianNB, SVCRegressor 회귀: LinearRegression, Ridge, Lasso
Dressipi_recsys2022 대회 분석
대회의 내용trainsessions(세션에서 view한 아이템, 시간), train purchase(세션에서 아이템을 purchase한 아이템, 시간), item_features(item 자체적인 data)를 쪼개서 train data, validation data로
세션 데이터 모델링 논문읽기
논문 1) Item cold-start recommendations: learning local collective embeddingsItem coldstart 문제를 해결하기 위해서는 user데이터가 많이 필요한 Collaborative Filterling기법 보다는
앨리스x숙명여대 솔룩스[파이썬으로 시작하는 데이터 분석 ]
처음으로 데이터 분석을 시작하면서 들었던 첫번째 강의이다.이 강의, 그리고 앨리스에서 제공하는 강의들은 실습 위주의 교육이라 개념을 공부하고 바로 이해도를 점검할 수 있어서 좋다당시에 나는 넘파이나 판다스를 다뤄본적이없어서 처음 실습을 진행하는데 부담감이 있었는데, 타
앨리스x숙명여대 솔룩스[Python 웹 개발 Flask 기초 ]
급하게 플젝에서 백엔드 파트 개발이 필요해 최대한 빠르게 공부할 수 있는 프레임워크를 찾아보던중 Flask를 선정하게 되었다.Flask는 파이썬 기반의 Micro Web Framework 으로, 간단한 웹사이트 혹은 간단한 api서버를 만드는데 특화되어있는 프레임워크다