🦁 AI SCHOOL 7기

서비스 제공자가 어떤 페이지를 스크래핑 해도 되고, 안 되는지 구체적으로 명시하는 텍스트 정보. 데이터 수집 전 robots.txt 코드 확인!오픈 라이센스인지 확인 - 공공데이터라고 해서 무작정 데이터 수집을 하면 안됨.한 번에 너무 많은 데이터를 요청면 DDOS 공

사진 출처웹 사이트에서 오른쪽 클릭 - 검사network 탭 클릭페이지 넘기며 생성되는 파일 확인 (❗ 주기적으로 🚫버튼 누르며 파일 생성창 새로고침)원하는 정보를 담고있는 파일 클릭 (Preview 탭에서 내용 확인 가능)Headers 탭에서 url 복사concat

requests.get("url"): url의 정보를 가져옴.raise_for_status(): 올바른 정보를 가져오지 못했을 때 에러 발생 및 프로그램 종료response.text로 불러온 정보 파일로 만들어 확인하기: 문자열의 일정한 패턴을 표현하는 언어eg) 주민

예측한 값이 실제 값을 맞추면 정답, 예측이 실제 값과 다르면 정답이 아닌 것정답 == label == target (scikit-learn에서 주로 사용하는 단어)값이 없으면 (NaN 혹은 Null 이면) 정답이 없는 것운전면허 시험으로 예를 들면, 1\. 정답이 있

용어 정리Labeller: 정답이 없는 문제에 정답을 정해주는 사람Labelling: 처음에 입력받지 않은 값들(결측치)에 대해 설문이나, 값을 입력하면 포인트를 더 주는 이벤트를 여는 등 다양한 방법으로 값(정답)을 입력 받는 일Encoding: 범주화머신 러닝에서는

INNOPOLIS AI SPACE-S 인공지능 세미나 - 정형 데이터를 다루는 머신러닝 문제해결 패턴이 부분을 잘 이해하지 못하고 넘어가면 모델링을 처음부터 다시 해야하는 일이 생길 수도 있기 때문에 문제와 데이터를 확실하게 이해하는 것이 중요하다.문제 배경과 목적문제

태블로에서는 엑셀의 첫번째 행을 컬럼(필드명) 으로 가지고 옴.사용하지 않는 컬럼은 숨김 기능으로 숨기거나 숨긴 컬럼을 다시 불러 올 수 있다.👉 숨긴 컬럼을 다시 불러왔을 때 회색으로 나온다면 해당 컬럼을 다시 클릭해 숨김 해제를 해야한다."필터"를 사용해서 범위가

Scikit-Learn Cheetsheet지도(Supervised Learning): 정답 O비지도(Unsupervised Learning): 정답 XDecision Tree 알고리즘은 숫자만 인식할 수 있다.

결측치를 다른 피처의 중간값이나 중앙값으로 채워줄 수도 있지만 결측치를 예측하는 방법도 있다.cross validation; cross_val_predict() : 오차 구하기MAE(Mean Absolute Error): 평균 절대 오차MAPE(Mean Absolute

해당 내용은 멋쟁이사자처럼 AI School 오늘코드 박조은 강사의 자료입니다.정규화: 숫자 스케일의 차이가 클 때 값을 정규분포로 만들어 주거나 스케일 값을 변경해 주는것이상치: 이상치를 제거하거나 대체대체: 결측치를 다른 값으로 대체인코딩: 호칭, 탑승지의 위치,

"PassengetId"는 unique한 값이고, feature로 사용하지 않을거라 index로 지정 (Index로 지정하면 feature에서 자동으로 걸러짐).현실세계에서 test는 아직 모르는 데이터이기 때문에 데이터 전처리를 할 때는 train을 기준으로 합니다.

데이터 전터리데이터 세트 분리 (train, validation, test)모델 학습예측 수행평가Estimator 알고리즘 분류ClassificationDecisionTree == white box (설명이 가능하다)RandomForest (DecisionTree의 앙

✨ 처음부터 차근차근, 내 페이스 대로 ✨강의: 부스트코스 - 프로젝트로 배우는 데이터사이언스데이터셋 출처: Pima Indians Diabetes Database | KaggleGini계수가 0이되면 트리가 멈추고 당뇨병이다 아니다를 판단. 트리가 깊어질수록 트리가

✨ 처음부터 차근차근, 내 페이스 대로 ✨ 강의: 부스트코스 - 프로젝트로 배우는 데이터사이언스 데이터셋 출처: Pima Indians Diabetes Database | Kaggle EDA 정답값인 "Outcome"(당뇨병 발병여부)과 One-Hot-Enco

✨ 처음부터 차근차근, 내 페이스 대로 ✨강의: 부스트코스 - 프로젝트로 배우는 데이터사이언스데이터셋 출처: Pima Indians Diabetes Database | Kaggle👉🏻 샘플의 수가 적은 데이터로 학습과 예측을 하면 train 데이터셋이 overfit

CHAPTER 2 1. 부분 전체 분석 (1) - 파이차트 & 도넛차트 부분 전체 분석은 전체에서 멤버들이 각각 차지하는 비중 또는 비율을 구할 때 유용한 시각화 방법. > 도넛차트: 파이차트 2개를 이중축을 적용해서 만든다. 가운데에 종합적인 정보를 넣을 수 있

✨ 처음부터 차근차근, 내 페이스 대로 ✨강의: 부스트코스 - 프로젝트로 배우는 데이터사이언스데이터셋 출처: Pima Indians Diabetes Database | Kaggle결측치를 제거할 수도 있지만 결측치가 너무 많을 경우에서는 채워주는 것이 좋다.df.loc

✨ 처음부터 차근차근, 내 페이스 대로 ✨ 강의: 부스트코스 - 프로젝트로 배우는 데이터사이언스 데이터셋 출처: Pima Indians Diabetes Database | Kaggle 4. 머신러닝 알고리즘 4.1. DecisionTreeClassifier Dec

RandomForest 안에 트리의 개수가 100개가 기본값이라면 그 내부에서도 트리를 100개를 만들기 때문에 DecisionTree를 사용할 때보다 속도가 더 걸린다.: 5 fold 는 cv 조각 5개를 의미하며 5 candidates 는 n_iter를 의미합니다.

0601 실습: 🤔 모델을 만들고 새로운 데이터에 적용해 보기 전에 그 모델이 얼마나 신뢰할 수 있는 모델인지를 물어본다면 무엇이라 답할 수 있을까요? CV는 모의고사를 풀어서 답을 구하는 과정과 유사하다. >데이터를 인코딩 하는 2가지 방법 one-hot-en

희소값에 대해 원핫인코딩을 하게되면 오버피팅이 발생할 수도 있고너무 희소한 행렬이 생성되기 때문에 계산에 많은 자원이 필요합니다.희소한 값을 사용하고자 한다면 1) 아예 희소값을 결측치 처리하면 원핫인코딩 하지 않습니다.2) 희소한 값을 "기타" 등으로 묶어줄 수도 있

앙상블이랑 비슷한 개념으로는 stacking이 있다. 신경망을 쓰면 머신러닝, 신경망을 안 쓰면 딥러닝딥러닝은 비정형데이터를 사용할 때 성능이 더 좋다.정형데이터와 비정형데이터정형데이터: 판다스로 불러와서 전처리가 가능한 데이터비정형데이터: 이미지, 오디오; 음성데이터

: feature의 범위를 조정해서 정규화💡 목표: feature의 분산과 표준편차를 조정해서 정규분포 형채를 띄게 하는 것🤔 스케일링은 왜 하는걸까?1) 서로 다른 변수끼리 비교하는 것이 편리2) feature scaling 없이 작동하는 알고리즘에서 더 빨리 작

🤔 기술통계값으로 무엇을 확인 할 수 있을까?결측치이상치표준편차전체 피처에 대한 특이점🤔 histogram을 그려보는 목적?전처리를 한다면 학습과 예측에 도움이 될만한 피처엔지니어링 기법이 무엇이 있을지 고민하는 과정수치 데이터의 분포 확인, 왜도, 첨도를 통해 너

왜도와 첨도는 0에 가까울수록 정규분포 형태에 가깝다.Positive Skewness는 오른쪽 꼬리가 왼쪽보다 더 길 때를 의미하고 평균(Mean)과 중위수(Median)가 최빈값(Mode)보다 크는 것을 의미합니다.Negative Skewness 왼쪽 꼬리가 오른쪽보

💡 사이킷런으로 인코딩하는 과정은 복잡하지만 numpy와 pandas의 데이터를 다루는 연습을 해볼 수 있다는 장점이 있다.❗️ one-hot-encoding 후 train과 test의 행의 수가 일치 하는지 꼭 체크!!🤔 왜 이번 실습에서는 Cross valida

22년 11월 16일 김준비 연사님 특강 (연사님 블로그)🤔 메타 인지란?자기객관화. 자신이 뭘 알고, 뭘 모르는 지를 제대로 알고 있는 능력.내가 뭘 알고, 뭘 모르는지를 인정하는 것.내 능력치부터 점검한 다음, 성장할 포인트를 정하고 집중하는 것이 가장 중요하다.

✨ 다음주부터 딥러닝을 배우게 되는데 그 전에 딥러닝 맛보기!손실함수 (Loss Function) 참고자료손실함수(Loss function) : 한 개의 데이터 포인트에서 나온 오차를 최소화하기 위해 정의되는 함수비용함수(Cost function) : 모든 오차를 일반

K-MOOC - 실습으로 배우는 머신러닝처리 속도: GPU computing > CPU computing✅ 머신러닝 알고리즘의 4가지 구성요소Environmnet(E) : 경험(=Data)를 축적하기 위해 환경과 상호작용하는 learning systemData(D) :

K-MOOC - 실습으로 배우는 머신러닝❗️ 검증을 통해 최적의 모델을 찾는 것이 가장 중요하다.X = n \* p✅ 분류와 회귀✅ Data 준비 과정1) EDA: 데이터 모델링 하기 전 변수별 기본적인 특성을 탐색하고 데이터 분포의 특징 이해2) 결측치3) 데이터 타

K-MOOC - 실습으로 배우는 머신러닝 Classification 📌 3-1. 머신러닝 분류 모델링 ✅ Bias-Variance Tradeoff > 모델의 오차 = bias(모델이 가지고 있는 편향성) + variance(모델의 변동성) 💡 모델의 복잡도

K-MOOC - 실습으로 배우는 머신러닝 4. Model Learning with Optimisation 📌 4-2. 경사하강법 개요 ✅ Gradient Descent (경사하강법) : 알고리즘 학습 시 사용되는 최적화 방법 중 하나. 알고리즘 학습 시 목표는

🤔 제조업에서 데이터 과학과 머신러닝이 어떤 도움을 줄 수 있을까? 1) 품질 관리 제품의 생산 과정에 영향을 미칠 수 있는 다양한 변수들을 모델 안에서 계산하고 통제할 수 있다. 이를 통해서 안정적인 생산과 공급이 가능해진다. 2) 예방 정비 장비가 고장나기 전에

1) 정확도 (Accuracy)2) 오차행렬/혼동행렬 (Confusion Matrix)3) 정밀도 (Precision)4) 재현률 (Recall)5) F1 score6) ROC-AUC1) MSE (Mean Squared Error)2) RMSE (Root Mean Sq

Tensorflow를 이용해 해결할 수 있는 문제는 지도학습의 분류와 회귀가 있다. 분류와 회귀 문제를 풀기 위해 사용되는 머신러닝 알고리즘들이 있는데 그 중 Neural Network에 대해 알아보자.: 사람의 두뇌가 동작하는 방법을 모방해서 기계가 학습할 수 있도록

출처: https://www.hira.or.kr/ebooksc/ebook_659/ebook_659_202109300534201190.pdfPrecision (예측값 기준): Positive로 예측한 모든 값 중에 True Positive의 비율Recall (실

💡 참고할 만한 링크들 But what is a neural network? | Chapter 1, Deep learning 자습해도 모르겠던 딥러닝, 머리속에 인스톨 시켜드립니다. Fully Connected Network == Deep Neural Ne

💡 Sigmoid는 출력층에서 주로 사용출력층 sigmoid 사용 시 flatten 을 통해 예측값을 1차원으로 변환🤔 바이너리면 결과가 2개 나와야 하는거 아닌가요?소프트맥스라면 2개가 나오지만, 모델 컴파일 시 바이너리를 사용했기 때문에 예측값이 각 row당 하

정규표현식https://school.programmers.co.kr/learn/courses/30/lessons/120826https://school.programmers.co.kr/learn/courses/30/lessons/120851re.sub(

Regression: 출력층에 따로 activation function을 지정해주지 않는다. 🤔 Regression에서 activation function을 지정해주지 않으면?default값인 linear가 사용되고 linear는 입력받은 값을 그대로 반환한다. 🤔

🤔 ReLU를 통과한 피처맵을 무엇이라 부를까요?A: activation map🤔 MaxPooling 을 하게 되면 어떻게 될까요?A: 가로세로의 길이가 줄고, 일정한 영역에서 가장 큰 값만 남습니다. 디테일한 부분까지 학습을 하지 않기 때문에 과대적합을 방지하고

출처: 멋쟁이 사자처럼 AI SCHOOL 박조은 강사님 수업 자료 16번째 ppt, p.5🤔 Conv, pooling을 하는 이유?이미지를 바로 flatten 해서 넣으면 이미지의 지역적 특성 정보를 소실하게되고, 추상화를 하지 않고 바로 계산을 하기 때문에 비효율적

합성곱 신경망은 합성곱 연산을 통해서 이미지의 특징을 추출하며 크게 합성곱층과(Convolution layer)와 풀링층(Pooling layer)으로 구성: 필터는 가중치를 의미. 하나의 필터가 입력 이미지를 순회하면서 적용된 결과값을 모으면 출력 이미지가 생성.하나

CNN은 주로 이미지에 주로 사용이되고 물론 텍스트에도 사용을 합니다. 하지만 이미지에서 더 나은 성능을 보여줍니다.텍스트 분석을 할 때 머신러닝(Bag Of Words, TF-IDF), 딥러닝(RNN) 순서로 사용할 예정입니다.텍스트 분류, 텍스트로 주식의 가격을 예

max_df: 문서 빈도가 주어진 임계값보다 높은 용어는 무시하여, 불용어 처리에 효과가 있다.min_df: 문서 빈도가 주어진 임계값보다 낮은 용어는 무시하여, 희귀단어나 오타를 제거하는 효과가 있다.TF(term frequency): 한 문장에서 등장하는 단어의 빈

💡 실습 목적: KoNLPy로 한국어 형태소 분석기를 사용해 보기정규화: 일관되게 전처리 해서 불필요하게 토큰을 생성하지 않고 같은 의미를 부여하게 됩니다.대표적인 자연어처리 도구인 NLTK, Spacy는 한국어를 지원하지 않습니다. 영어를 사용한다면 해당도구를 사용

🙋🏻‍♀️ 질문 Q: A: ✏️ TIL 사실(Fact): RNN에 대해 배웠다. 느낌(Feeling): 갑자기 어려워졌다. 교훈(Finding): 복습하자 복습!

백문이불여일타 데이터 분석을 위한 중급 SQL 노트 정리: 관련성이 있는 두개 이상의 테이블을 이어 붙여 정보를 출력할 때 사용=> 중복되는 정보들을 공간을 낭비하지 않고 효율적으로 저장하기 위한 방법💡 INNER JO

Tensorflow 공식문서 - 시계열 예측기존에는 데이터를 나눌 때 섞어서 나누었습니다. 그런데 시계열 데이터에서는 섞어서 나누지 않고 순서를 고려해서 나누게 됩니다.자연어 텍스트를 시퀀스 인코딩 했던 것처럼 언어도 맥락이 있기 때문에 섞으면 원래 의미를 잃어버릴 수

🤔 이 그래프 어떻게 해석할 수 있을까요?값이 1가까운 부분에 쏠려있고 이상치가 있다.🤔 주문서와 결제 테이블이 실 비즈니스에서는 따로 되어 있기도 합니다. 결제 테이블에는 무엇이 있을까요?고객ID, 주문서ID, 총결제금액, 결제수단, 결제일자, PG사승인번호, 상

💡 RFM 분석: 가치있는 고객을 추출해내어 이를 기준으로 고객을 분류할 수 있는 분석 방법구매 가능성이 높은 고객을 선정하기 위한 데이터 분석 방법세가지 지표 또는 차원에 따라 각 고객을 분석Recency - 거래의 최근성: 고객이 얼마나 최근에 구입했는가?👉🏻

고구마 가격 예측 by Prophet 첫 번째 시도 (MAE: 2251.908) 두 번째 시도 (MAE: 2251.771