[AIS7] ML (7)

0601 실습: Bike - Baseline

🤔 모델을 만들고 새로운 데이터에 적용해 보기 전에 그 모델이 얼마나 신뢰할 수 있는 모델인지를 물어본다면 무엇이라 답할 수 있을까요?

CV는 모의고사를 풀어서 답을 구하는 과정과 유사하다.

# cross_val_predict는 예측한 predict값을 반환하여 직접 계산해 볼 수 있습니다. 
# 다른 cross_val_score, cross_validate는 스코어를 조각마다 직접 계산해서 반환해 줍니다. 
from sklearn.model_selection import cross_val_predict

y_val_pred = cross_val_predict(model, X_train, y_train, 
							   cv=5, n_jobs=-1, verbose=2)

데이터를 인코딩 하는 2가지 방법
1. one-hot-encoding (pd.get_dummies()) 👉🏻 순서가 없는 데이터 인코딩
2. ordinal-encoding 👉🏻 순서가 있는 데이터에 인코딩
category 데이터 타입으로 변경하면 ordinal encoding을 할 수 있다.

# ordinal-encoding을 사용해서 year_month_code 파생변수 생성
# cat.codes: categorical accessor; 순서가 있는 데이터를 숫자로 변경해준다.
train["year_month_code"] = train["datetime"].astype("category").cat.codes
test["year_month_code"] = test["datetime"].astype("category").cat.codes

0602 실습: Bike - Logarithm

그냥 머리에 집어 넣자..🥺
로그(log)는 지수 함수의 역함수이다. 어떤 수를 나타내기 위해 고정된 밑을 몇 번 곱하여야 하는지를 나타낸다고 볼 수 있다.

# count, log1p, expm1
fig, axes = plt.subplots(nrows=1, ncols=3, figsize=(20, 5))
# count - kdeplot
sns.kdeplot(train["count"], ax=axes[0])
# count log1p - kdeplot
sns.kdeplot(train["count_log1p"], ax=axes[1])
# expm1
sns.kdeplot(train["count_expm1"], ax=axes[2])

• log를 count값에 적용하게 되면 한 쪽에 너무 뾰족하게 있던 분포가 좀 더 완만한 분포가 된다.
• 데이터에 따라 치우치고(skewed) 뾰족한 분포가 정규분포에 가까워 지기도 한다.
• log를 취한 값을 사용하게 되면 이상치에도 덜 민감하게 된다.

# count expm1(exponential) - kdeplot
# np.exp는 지수함수 입니다. np.log로 취했던 값을 다시 원래의 값으로 복원할 수 있습니다.
# count == np.expm1(np.log1p(count)) 같은 값입니다.

# log를 취할 때는 1을 더하고 log를 취했는데
# 지수함수를 적용할 때는 반대의 순서대로 복원해야 순서가 맞습니다.
# np.exp로 지수함수를 적용하고 -1을 해주어야 log를 취했던 순서를 복원해 주게 됩니다.
# np.expm1은 지수함수를 적용하고 -1을 해주는 순서로 되어있습니다. 

train["count_expm1"] = np.exp(train["count_log1p"]) - 1
train[["count", "count_log1p", "count_expm1"]]

exponential == log를 제거해서 원래값으로 변환

🤔 원래의 count 컬럼을 다시쓰는거랑 np.exp로 복원해서 쓰는거랑 차이는 없는게 맞을까요?
👉🏻 count == np.expm1(np.log1p(count))

# count, log1p, expm1
fig, axes = plt.subplots(nrows=1, ncols=3, figsize=(20, 5))
# count - kdeplot
sns.kdeplot(train["count"], ax=axes[0])
# count log1p - kdeplot
sns.kdeplot(train["count_log1p"], ax=axes[1])
# expm1
sns.kdeplot(train["count_expm1"], ax=axes[2])

0701 실습: Feature Engineering

어떤 책보다도 여기에 있는 권장 튜토리얼을 따라해 보는 게 예습과 복습에 도움이 된다.

제공하는 데이터셋에 있는 주택가격을 예측하기 위한 변수로는 내외관 품질, 화장실의 수, 방의 개수, 수영장 여부, 지붕, 언제 건축이 되었는지 등의 데이터가 있다.
이 데이터셋을 통해 EDA를 해보고 피처엔지니어링을 통해 어떤게 신호가 되고 어떤게 소음이 될지 알아볼 예정.

이상치 탐색

sns.scatterplot(data=train, x=train.index, y="SalePrice");
plt.axhline(500000, c="k", ls=":")

• 500k을 기준으로 기준을 벗어난 값을 희소값로 본다.
• 희소값에 대해 원핫인코딩을 하게되면 오버피팅이 발생할 수도 있고, 너무 희소한 행렬이 생성되기 때문에 계산에 많은 자원이 필요하다.

• 희소한 값을 사용하고자 한다면
  1) 아예 희소값을 결측치 처리하면 원핫인코딩 하지 않는다.
  2) 희소한 값을 "기타" 등으로 묶어줄 수도 있다.

---

🙋🏻‍♀️ 질문

Q: train.groupby("season")["month"]. 이 코드를 어떻게 완성하면 season에 해당하는 월을 잘 요약해서 볼 수 있을까요?
A: describe()나 unique()

Q: 왜 정규분포가 되면 머신러닝이나 딥러닝에서 좋은 성능을 낼까요?
A: 값을 볼 때 한쪽에 너무 치우쳐져 있고 뾰족하다면 특성을 제대로 학습하기가 어렵기 때문에 정규분포로 되어 있다면 특성을 고르게 학습할 수 있다.

Q: 왜 count에 log를 취하고 다시 지수함수로 복원을 했을까요?
A: log 값으로 예측하고 예측값을 복원하기 위해.

Q: 변수의 분포가 편향이 되었다는 어떤 표현일까요?
A: 정규분포의 형태가 아닌 형태 (왜도가 높은 형태)

Q: 이상치가 학습을 방해한다는 의미가 무엇일까요?
A: 이상치까지 학습되어 일반화가 어려워지고 과대적합의 우려가 있다.

Q: train 의 정답에 이상치가 있다면 어떻게 처리하는게 좋을까요?
A: 너무 큰 값을 평균이나 중앙값으로 대체한다면 실제 값이 많이 왜곡이 될 수 있다. 정답값이기 때문에 아래 실습에서 스케일링을 해줄 예정입니다. 스케일링을 하게 되면 log를 취했던 것처럼 다시 복원도 가능합니다.

---

🦁 질문

Q: category랑 object(string)는 다른 데이터 타입인가요?
A: 다르다.

Q: 피처 중요도는 높다고 나오는데 성능 자체가 떨어졌으면 쓸만한 피처가 아니라는 건가요?
A: 해당 모델이 학습을 할 때 중요한 역할을 했다고 알려주지만 피처 중요도가 모델의 성능을 설명하지는 않습니다. 모델의 성능은 모의고사를 보는 과정과 유사한 cross validation 점수가 올라갔는지 내려갔는지를 확인해 봅니다. (score 측정 방법에 따라 점수가 올라가야지 좋은 성능을 낸다고 판단하는 측정 지표도 (r2 score) 있고, 내려가야 좋은 측정지표도 있으니 구분해서 보세요).

Q: 그럼 중요한 역할을 했다는게 구체적으로 어떤 부분에 대해서 중요한 역할을 한건가요?
A: 피처 중요도란 어느 데이터 요소가 확률값 계산에 중요하게 작용을 했느냐 하는 정도를 나타내는 것이지 중요도가 높다고 점수에 좋은 영향(성능)을 미친다는 것은 아닙니다!

Q: 점수가 높아야 좋은 측정지표와 낮아야 좋은 측정지표의 예시도 알 수 있을까요?
A: R square score 는 1에 가까울수록 더 좋은 성능을 의미합니다. 예측값과 실제값이 같으면 1이 됩니다. 최대값이 1인데 클수록 좋습니다. 나머지 회귀의 측정공식은 오차를 측정하기 때문에 낮아야 좋습니다.

• 점수가 높아야 좋은 측정 지표의 예시는 정확도를 기반으로 하는 분류의 측정지표인 Accuracy와 회귀 모델에서 독립변수가 종속변수를 얼마나 잘 설명했는지 보여주는 결정계수 (r2 score)등이 있습니다.
• 점수가 낮아야 좋은 측정 지표는 에러 기반의 측정 지표인 MAE, MSE, RMSE 등이 있습니다.

Q: 주피터 노트북 base path 설정하는 경우 "/파일명"으로 설정하나요?
A: 상대경로인지 절대경로인지에 따라 다릅니다.

• 상대경로는 현재 경로를 기준으로 하는 경로. eg) ./ == 현재경로
  ../ == 상위경로
• 절대경로는 전체 경로를 다 지정하는 경로 eg) 윈도우 C: 부터 시작하는 경로

• 절대경로를 사용하면 다른 사람의 컴퓨터에서 동작하지 않기 때문에 되도록이면 상대경로를 사용하는 것을 권장합니다.

Q: ipynb파일과 데이터셋이 쥬피터노트북 상 같은 파일 내 있으면 base_path = "./" 으로 하면 되나요?
A: .ipynb 와 csv 파일이 같이 있다면 csv 파일이름만 지정해도 됩니다. data 폴더 에 안에 있다면 폴더를 지정해 주세요! 가장 추천하는 방법은 .ipynb 파일과 data 폴더를 같은 위치에 두는 것입니다.

상대경로는 기본적으로 같은 위치를 뜻하는 키워드는 . 입니다.

Q: dt.dayofweek가 알아서 요일 계산을 해주는건가요?
A: dt 접근자에서 제공하는 기능입니다.

The day of the week with Monday=0, Sunday=6.

Q: 오른쪽으로 많이 치우친 그래프도 로그를 취하면 정규분포에 가까워 지나요?
A: 어떤 쪽으로 치우쳐져 있든 너무 치우치거나 뾰족한 데이터가 완만하게 되는데 완전한 정규분포가 되지는 않더라도 정규분포에 좀 더 가까운 형태가 됩니다.

Q: 실무에서는 어떤 평가지표를 사용해야할지 스스로 결정을 해야할텐데 이때 여러가지 평가지표를 사용하나요 아니면 처음 데이터를 보고 처음에 결정하나요?
A: 실무에서는 보통 비즈니스 평가지표를 더 많이 사용합니다. 경진대회나 실습에서 사용하는 평가지표는 모델의 성능을 측정해서 객관화 해보기 위해 사용합니다. 모델을 만드는 목적은 비즈니스 문제 해결을 위해서 입니다. 그 모델의 목적이 DAU(Daily Active User)를 올리는 것이라면 DAU를 측정하고 매출을 늘리고 싶다면 매출액이 늘어났는지, 구매자수가 늘어났는지 등을 평가하게 됩니다.

Q: 저는 rmsle 구한 것과 rmse 값이 다르게 나옵니다.
A: 위에서 구한 best_model 로 다시 cross_val_predict 를 하면서 cv를 다시 나눠서 학습하고 예측했기 때문에 점수가 다르게 나올 수 있습니다.

---

✏️ TIL

• 사실(Fact): log와 feature engineering에 대해 배웠다.
• 느낌(Feeling): 아직 갈 길이 멀다.
• 교훈(Finding): kaggle 에서 진행 중인 대회 중 내 수준에 맞는 것을 골라 복습해 보는 시간을 가져야겠다.