[AIS7] ML (9)

0701 복습

💡 피처스케일링을 하는 목적: 머신러닝 알고리즘이 찾지 못하는 부분들에 대해 힌트를 줘 성능을 향상 시키는 것

🤔 기술통계값으로 무엇을 확인 할 수 있을까?

• 결측치
• 이상치
• 표준편차
• 전체 피처에 대한 특이점

🤔 histogram을 그려보는 목적?
전처리를 할 때 학습과 예측에 도움이 될만한 피처엔지니어링 기법이 무엇이 있을지 고민하기 위해

• 수치 데이터의 분포 확인, 왜도, 첨도를 통해 너무 뾰족하지 않은지 => 한 쪽에 데이터가 몰려 있는지 확인
• 왜도 => 너무 한 쪽에 치우쳐져 있지 않은지 확인
• 정규분포 형태인지 확인
• 막대가 떨어져 있다면 수치 데이터가 아니라 범주형 데이터가 아닌지 확인

🤔 이상치는 어떻게 처리할까?

• 이상치를 평균이나 중앙값 등으로 대체하면 데이터에 왜곡이 될 수 있으니 주의 필요
• 현실세계에서 풀어야할 문제 중에는 이상치를 탐지하는 문제도 있다.

🤔 희소값은 왜, 어떻게 처리할까?
희소값은 범주형 데이터 중에서 빈도가 적게 등장하는 값이다.

• one-hot-encoding을 했을 때 범주가 적은 값을 피처로 만들어 주면 연산에 시간이 더 오래 걸릴 수 있고, overfitting의 우려가 있다.
  👉🏻 overfitting의 이유? 너무 적은 값을 학습해서 일반화 하기 때문
• 희소값을 전처리 하는 방법에는
  1) 기타로 묶는 방법 (data binning)도 있고 아예 결측치로 처리하고
  2) pd.get_dummies 혹은 OneHotEncoder를 사용했을 때 인코딩 하지 않는다.

🤔 transformation?
표준 정규분포 형태를 만들기 위해선 log transformation 후 scaling 하는 순서

🤔 이산화란?
이산화 (cut, qcut)는 RFM 기법에서도 종종 사용되는 방법
Recency, Frequency, Monetary => 고객이 얼마나 최근에, 자주, 많이 구매했는지를 분석할 때 사용

🤔 이산화를 하는 이유?

• 연속된 수치 데이터를 구간화해서 머신러닝 알고리즘에 힌트를 줄 수도 있다.
• 트리모델이라면 너무 잘게 데이터를 나누지 않아 일반화 하는데 도움이 될 수도 있다.
• 데이터를 나누는 기준이 중요하기 때문에 EDA를 통해 어떻게 나누는 것이 예측에 도움이 될지 확인한다.
• 연속된 수치형 데이터를 나누는 기준에 따라 모델의 성능에 영향을 주게 된다.
• 오히려 잘못 나누면 모델의 성능이 떨어질 수도 있다.

❗️ 인코딩할 때 fit()은 train에만, test에는 transform()만!
❗️ 원핫인코딩 했을 때는 train, test 피처의 수가 같은지 확인!

print(train_ohe.shape, test_ohe.shape)

👀 다항식 전개(Polynomial Expansion) 용어와 친해지기

0702 실습

🤔 train과 test의 데이터를 concat으로 합치면?
장점: 전처리를 한번만 해도 된다.
단점: test에만 등장하는 데이터를 피처에 사용하면 안 되는 대회 정책이 있을 때 정책 위반이 될 수 있다. 대회 데이터이기 때문에 test를 미리 알 수 있지만 현실세계에서는 불가능한 방법이다.

nlargest(출력할 행의 갯수, 기준이 되는 컬럼) : 조건에 따라 가장 큰 값을 출력

---

🙋🏻‍♀️ 질문

Q: 범주가 적은 값을 피처로 만들어 주면 어떤 문제가 또 있을 수 있을까요?
A: 과대적합의 우려가 있다.

Q: 너무 희소한 값이라면 one-hot-encoding 할 때 어떤 전처리를 할 수 있을까요?
A: 기타로 묶는 방법 (data binning)도 있고 아예 결측치로 처리하고 pd.get_dummies 혹은 OneHotEncoder를 사용했을 때 인코딩 하지 않는다.

Q: 표준정규분포 형태로 만들기 위해서는 1) 스케일링이 먼저다 2) 로그변환이 먼저다
A: 로그변환이 먼저다.

Q: 왜 데이터를 정규분포 형태로 만들어주면 머신러닝이나 딥러닝에서 더 나은 성능을 낼까요?
A: 너무 한쪽에 몰려있거나 치우쳐져 있을 때보다 고르게 분포되어 있다면 데이터의 특성을 더 고르게 학습할 수 있다.

• 피처의 범위가 다르면 피처간 비교가 어려우며 경사하강법(Gradient Descent)이나 KNN, Clustering 등의 거리 기반 알고리즘에서는 머신러닝이 제대로 작동하지 않는다.
• PCA 전에 전처리 할 속성의 영향을 같은 선상에서 비교할 수 있다.

Q: 너무 큰 음수값이 있을때! 음수인 값이 너무 뾰족하거나 치우쳐져 있어서 로그를 취하기 위해서는 어떻게 전처리 해야 할까요? 예를 들어 -1000 이라면?
A: 최솟값 + 1을 해준다.

모든 값이 양수이고 1보다 작은 값이 있을 때는 1을 더해준다.

Q: 예를 들어 -1000 이 가장 작은 값이라면 얼마를 모든 값에 더하고 로그 변환을 해주면 될까요?
A: 1001 (최솟값이 1이 되도록 더해주면 된다.)

Q: -1000 에 1001 을 더해서 로그변환을 해주었습니다. 원래 값으로 다시 복원하려면 어떻게 해야 할까요?
A: np.exp(x) -1001

np.expm1 을 보면 exp를 먼저 하고 m1 으로 1을 나중에 빼주게 됩니다.

Q: LabelEncoder 와 OrdinalEncoder 의 입력값의 차이?
A: LabelEncoder은 입력이 1차원 y 값, OrdinalEncoder은 입력이 2차원 X값

Ordinal Encoding은 Label Encoding과 달리 변수에 순서를 고려한다는 점에서 큰 차이를 갖는다. Label Encoding이 알파벳 순서 혹은 데이터셋에 등장하는 순서대로 매핑하는 것과 달리 Oridnal Encoding은 Label 변수의 순서 정보를 사용자가 지정해서 담을 수 있다.

Q: X와 y?
A: X는 보통 2차원으로 대문자로 표기하고 y는 소문자로 표기하는것이 관례처럼 사용되고 있다.
X는 feature, 독립변수, 2차원 array 형태, 학습할 피처 e.g. 시험의 문제
y는 label, 종속변수, target, 정답, 1차원 벡터 e.g. 시험의 정답

딥러닝에서는 x를 보통 소문자로 사용하는데 아마도 추측하기로는 x에 꼭 2차원만 들어가는게 아니라서로 보여집니다. 2차원 이상도 들어갑니다. 예) 이미지

Q: 인코더 3가지의 공통점은 무엇일까요?
A: 범주형 데이터를 수치형 데이터로 변환

ohe = OneHotEncoder()
train_ohe = ohe.fit_transform(train[["MSZoning", "Neighborhood"]]).toarray()
test_ohe= ohe.transform(test[["MSZoning", "Neighborhood"]])
pd.DataFrame(train_ohe, columns=ohe.get_feature_names_out())

Q: 위의 오류를 어떻게 고칠 수 있을까요?
A: ohe = OneHotEncoder(handle_unknown = 'ignore')

Q: 구분이 잘 안 되는 값에 대해 power transform 을 해주기도 하는데 반대로 너무 차이가 많이 나는 값을 줄일 때 사용할 수 있는 방법?
A: 꼭 정답이 있다기 보다는 EDA를 해보고 어떤 스케일링을 하면 머신러닝 모델이 값을 학습하는데 도움이 될지 고민해 보는 것이 좋다.

root, log transform 도 해볼 수 있지만 변환이 정답은 아닙니다. 성능이 올라가고 안 올라가고는 EDA 등을 통해 확인해 보고 왜 점수가 오르고 내리는지 확인해 보는 습관을 길러보세요.

Q: SQL 로 관리하는 데이터와 파일로 관리하는 데이터는 어떻게 구분해서 관리할까요?
A: SQL 에 저장하는 데이터는 실시간으로 사용해야 하는 데이터이고, 파일로 관리하는 데이터는 로그성 데이터

데이터는 돈이 된다. 유튜브에서 영상을 몇 개 시청하면 유튜브는 여러분의 성별, 나이, 관심사, 지역 등의 정보를 대략적으로 알게 됩니다.

Q: SQL 로 실시간으로 관리할 데이터를 저장한다면 어떤 데이터가 있을까요?
A: 로그인, 장바구니, 결제, 회원가입정보, 각종 status 값(게임의 캐릭터 위치, 캐릭터 정보, 게임머니, 캐릭터 가지고 있는 장비 인벤토리 정보)

Q: "데이터를 통해 서비스에 몇 명이 접속하는지, 그분들이 얼마나 많은 상품을 조회하고 얼만큼 구매로 이어지는지 확인할 수 있거든요. 그 과정을 통해 어느 페이지에서 사람들이 이탈하는지도 확인할 수 있었죠."

채용공고에 있었던 어떤 지표로 이 표현을 설명할 수 있을까요?
A:

• DAU : Daily Active User 하루에 몇 명이 접속하는지(혹은 로그인 하는지)
• AARRR, Funnel : 분석을 통해 얼마나 많은 사람이 와서 물건을 살펴보고 거기서 회원가입 구매전환 친구 추천 혹은 재구매로 이어지는지
• Churn : 얼마나 사람들이 어느 페이지에서 이탈하는지. 퍼널, AARRR 과 함께 볼 수 있는 지표입니다.

  A/B testing: 1~2년이 넘는 시간 동안 수백 가지의 노력이 꾸준히 모여서 매달 마주하는 문제를 개선한 것이 결과적으로는 성장의 모멘텀을 만들었다고 생각합니다.

---

🦁 질문

Q: 검색어도 실시간으로 사용해야하는 데이터인가요?
A: 이런 종류의 데이터는 쌓이는 용량이 어느정도냐에 따라 의사결정을 할 수도 있는데 아카이빙할 데이터는 대부분 파일로 저장합니다. 실시간으로 보여주어야 하는 현재 status 값만 DB에 저장해서 사용하기도 합니다. status값을 업데이트 해서 SQL로 관리하고 아카이빙할 데이터는 파일로 저장합니다.

---

✏️ TIL

• 사실(Fact): house price에 대해 복습했고, 같은 데이터를 다른 방법으로 (train과 test 데이터를 concat 하는 방법) 전처리 하는 방법에 대해 배웠다.
• 느낌(Feeling): 머신러닝을 배운지도 꽤 오래되었는데 아직도 알듯 말듯 하다.
• 교훈(Finding): test에는 fit을 하지 않는다는 사실을 머릿속에 새겨 넣자