📅 TABULAR DATA: DEEP LEARNING IS NOT ALL YOU NEED

⏰ Nov, 2021

ABSTRACT

XGBoost와 같은 트리 앙상블 모델은 표 형식 데이터에 대한 분류 및 회귀 문제를 다루는데 있어 추천되지만, 최근 몇몇 딥러닝 모델이 특정 상황에서는 능가한다고 주장/제안되어왔음. 본 논문에서는 이러한 새로운 딥러닝 모델과 XGBoost를 다양한 데이터셋에서 엄격하게 비교하여 딥러닝 모델이 표 형식의 데이터에 적합한 선택인지를 탐구함.

🚀 성능 비교 이외에도 튜닝과 계산 요구사항을 고려한 결과, XGBoost는 제안된 딥러닝 모델들보다 대부분의 데이터셋에서 더 뛰어난 성능을 보였고, 딥러닝 모델이 제안된 논문에서 사용된 데이터셋에서도 마찬가지였음. 또한 XGBoost는 딥러닝 모델보다 훨씬 더 적은 튜닝이 필요했으며, 딥러닝 + XGBoost를 사용하였을 때 성능이 향상된다는 점을 확인함.

1. Introduction

딥러닝은 여러 도메인에서 큰 성공을 거두었지만, 현실 세계에서 가장 많이 다루어지는 유형인 표 형태(Tabular Data) 데이터에서는 여전히 전통적인 머신러닝 방법 - 특히 Gradient Boost(GBDT)와 같은 모델이 더 우수한 성능을 보임.

🚨 최근 몇 년동안에는 표 형태 데이터를 다루는 딥러닝 모델도 제안되었지만, 해당 모델의 성능을 평가한 논문들이 서로 다른 데이터셋을 이용하였기 때문에 비교가 어렵고, 최적화 수준 또한 다르다는 문제가 있었음.

💡 본 논문에서는 정말로 딥러닝 모델들이 GBDT를 능가하는지 탐구함. 최근에 제안된 딥러닝 모델과 XGBoost를 동일한 튜닝 프로토콜과 동일한 데이터셋 바탕에서 평가하여, 딥러닝이 논문에서 제시한 데이터셋 이외의 데이터에서는 성능이 떨어짐을 보여줌.

➡️ 반면 XGBoost는 대부분의 데이터셋에서 딥러닝 모델을 능가하며, 튜닝 과정도 더 짧으며 딥러닝과 앙상블할 경우 더 나은 성능을 보임.

2. Background

• GBDT 알고리즘: XGBoost, LightGBM, CatBoost

XGBoost Model

• 확장 가능한 그래디언트 부스팅 알고리즘으로, 많은 표 형태의 데이터에서 SOTA를 달성함. 이전 모델의 잔차로부터 새로운 모델을 생성한 후 결합하여 최종 모델을 만들어내는 알고리즘임.

➡️ 새로운 모델을 추가할 때 경사 하강법을 이용하여 Loss를 최소화

2.1 Deep Neural Models for Tabular Data

✅ 최근 연구에서는 표 형식 데이터에 딥러닝 을 적용하여 새로운 신경망 구조를 제안함.

1) Differntiable trees: 결정 트리를 미분 가능하게 만들어서 최적화 문제를 해결하는 접근법

2) Attention-based models: 샘플 내 특징 또는 샘플 간 상호작용을 통해 어텐션 모듈을 사용하는 접근법

💡 본 논문에서 평가하는 4가지 주요 딥러닝 모델

1) TabNet: Sparse learned mask와 attention을 이용한 인코더로 feature를 선택하는 모델. 장점은 어떤 feature를 선택함에 있어서 all-or-nothing일 필요가 없다는 것임.

2) NODE: 미분이 가능한 Oblivious Decision Tree를 이용하여 feautre를 배우는 모델. 하나의 레벨에 하나의 feauture를 선택하여 균형잡힌 앙상블을 구성함.

3) DNF-Net: 부울 공식의 soft 버전으로 DNNF 블록 형성 모델.

4) 1D-CNN: 1D-컨볼루션 레이어로 캐글 대회에서 우수한 성능을 보인 모델.

2.2 모델 앙상블

앙상블 학습은 여러 모델의 결과를 예측하여 성능을 향상시키고 분산을 줄이는 방법임. 본 연구에서는 TabNet, NODE, DNF-Net, 1D-CNN, XGBoost를 포함한 앙상블을 사용함.

1) 균일 가중치 혼합

2) 가중 평균

3. Comparing the Models

3.1 Experimental Setup

3.1.1 데이터셋

• 11개의 표 형식 데이터셋 사용: 10-2000개의 속성, 1-7개의 class, 7000-100만개의 샘플
• 딥러닝 모델의 논문에서 각각 3개의 데이터셋을 선택하여 총 9개 사용

3.1.2 Implementation Details

➡️ Optimization Process

• HyperOpt(베이지안 최적화)
• 하이퍼파라미터 탐색 1000번

➡️ Metrics and Evaluation

• Binary Classification: Cross Entropy
• Regression: RMSE

➡️ Statistical significance test

• Friedman 검정: 성능 결과가 동일한 모집단에서 나온다고 주장하는 가설로 k 분류기의 순위 합계가 유의미하게 다른지 검사함.

➡️ Training

• Cross Entropy 최소화, RMSE 최소화
• Adam Optimizer
• Learning Rate Scheduling 없음
• Batch 크기는 각 모델 최적화
• Validation Set: 개선없는 100 epoch까지 학습 반복

3.2 Result

Do the deep models generalize well to other datasets?

💡 위의 표에서 각 데이터셋에 대한 모델의 평균 성능과 표준 오차를 나타냄.

➡️ Friedman 검정을 통해 95% 유의수준으로 유의미한 차이를 확인함.

📅 주목할만한 결과들

• 대부분의 경우 딥러닝 모델은 원래의 논문들의 모델들보다 새로운 데이터셋에서 성능이 낮았음.
• XGBoost 모델이 대체로 능가함. 11개 중 8개에서 XGBoost가 딥러닝 모델을 능가했으며 해당 결과는 유의미함도 확인함.
• 특정 딥러닝 모델이 다른 것보다 일관되게 우수하지 않음.
• 딥러닝 + XGboost의 앙상블이 대부분의 경우 다른 모델들을 능가함.

✅ 가장 좋은 선택 접근법: 검증된 손실을 기반으로 예측을 평균화 하는 것!

✅ 하이퍼파리미터 최적화 과정의 반복 횟수에 따른 모델의 성능을 나타낸 것. XGBoost가 딥러닝보다 더 빠르게 좋은 성능에 도달함을 관찰함.

• 그러나 베이지안 하이퍼파라미터 최적화 과정을 사용했다는 점, XGBoost의 초기 하이퍼파라미터가 더 많은 데이터셋을 기반으로 처음에 제안되었을 가능성이 있다는 점

4. Conclusion

본 연구에서는 최근 제안된 딥러닝 모델들이 테이블형 데이터셋에서 어떻게 성능을 발휘하는지 조사함. 분석 결과, 딥러닝 모델은 원논문에 포함되지 않은 데이터셋에서는 더 약한 성능을 보였으며 XGBoost보다도 성능이 떨어졌음.

또한 실제 응용에서 중요한 성능, 계산 추론 비용, 하이퍼파라미터 최적화 시간 간의 트레이드오프도 탐구함. 분석 결과 보고된 딥러닝 모델을 비판적으로 바라봐야함을 알 수 있었음. 다른 데이터셋에서 성능을 공정하게 비교하였을 때 딥러닝 모델들이 더 약한 결과를 제공했기 때문임. 그러나 XGBoost와 딥러닝 모델을 붙인다면 최고 성능을 보였음.

🙊 해당 논문을 본 4가지 딥러닝 모델 논문 저술자들이 반박 논문을 내지는 않았을지 궁금하다.