When Do Neural Nets Outperform Boosted Trees on Tabular Data?

Abstract

Tabuler 데이터는 머신러닝에서 가장 흔히 쓰이는 형태 중 하나이다. 최근에 NN(Neural Net)의 발전에 따라 Tabular 데이터에도 많이 쓰임에도 불구하고, 여전히 Gradient-boosted decision trees(GBDTs) 모델과 NN 중에 무엇이 더 좋은지 논쟁 중이다.
이 논문은 이러한 논쟁을 좀 더 멀리서 바라보면서 NN과 GBDTs 간의 논쟁이 어떤 중요성을 갖는지를 생각한다.
19개의 알고리즘들을 176개의 데이터셋에서 비교 실험 해본 결과 GBDT와 NN 간의 차이는 무시할만한 수준이었고, 둘 중 무엇을 고르는지 고민하는 것보다 GBDT에 가벼운 하이퍼파라미터 튜닝을 수행하는 것이 효과적이라는 것을 알게 됐다.
다음으로, 수십개의 metafeature들을 분석하여 데이터셋의 어떤 속성들이 NN이나 GBDT가 더 잘 적합할 수 있도록 하는 지에 대해서 판단했다. (ex. skewed나 heavy-tailed dataset과 같이 불규칙한 데이터셋의 경우에는 NN보다 GBDT에서 핸들링하기 쉽다 등) 이러한 insight는 사용자가 가진 데이터셋에 맞는 모델을 사용할 수 있도록 일종의 guidance 역할을 수행할 수 있다.
마지막으로, tabular data 연구를 가속화하기 위해서 진짜 어려운 36개의 tabular 데이터셋을 수집해서 'TabZilla' 라는 벤치마크를 제안했다.

Introduction

Tabular 데이터셋은 행과 열로 이루어져 있고, 각각의 feature들은 전형적인 continuous, categorical,ordinal 변수들이다. 이는 가장 오래됐고, 어디에나 있는 데이터셋 타입으로 의료, 금융 등의 도메인에서 머신러닝 모델 학습에 많이 쓰인다.
하지만 NN을 tabular dataset에 적용하는 연구가 활발해짐에 따라서 GBDT와 NN 중 어떤게 더 좋은가에 대한 토론이 지속적으로 이루어져 왔다. 기존의 연구들은 50개보다 적은 데이터셋에서 실험해보거나 baseline에 대한 적절한 튜닝도 없이 단순히 '어떤 모델이 평균적으로 성능이 더 좋은가?'에 대한 질문만 답해왔다.

따라서 이 논문에서는 Figure 1과 같이 기존의 관점과 완전히 다른 방향으로 논점을 바라보고자 한다. 첫 째로 'NN vs GBDT' 논쟁 자체에 의문을 제기하며 알고리즘 선택이 과연 유의미한지를 조사한다. 둘 째로, NN이나 GBDT를 데이터셋에 잘 적합시키는 속성이 무엇인지에 대해서 분석한다. 이를 위해서 19개의 알고리즘에 대해 30가지 하이퍼파라미터 세팅으로 OpenML-CC18과 OpenML Benchmarking의 176개 데이터셋에 대해서 실험을 진행했다. 데이터셋간의 성능 차이를 확인하기 위해서 수십가지의 metafeature를 고려했고, 불확실성을 줄이기 위해서 각 데이터셋마다 10fold로 실험을 진행했다.

실험 결과, 놀라운 점은 decision tree나 KNN 같은 굉장히 단순한 알고리즘에 벤치마크에서 성능 상위권에 자리하고 있는 알고리즘들과 비슷한 성능을 냈다는 점이다. 게다가 대략 1/3 정도의 데이터셋에서는 NN이냐 GBDT냐를 선택하는 것보다 CatBoost나 ResNet을 가볍게 하이퍼파라미터 튜닝하는 것이 더 큰 폭으로 성능이 향상되었다.
즉, 많은 tabular dataset에서 알고리즘을 선택하는 것보다 알고리즘을 어떻게 잘 적합시킬 지를 고민하는 것이 더 유의미하다는 것을 알 수 있었다.

다음으로, 데이터셋의 어떤 속성이 모델 학습을 성공 혹은 실패하게 하는지 분석했다. 이를 위해서 알고리즘의 성능과 metafeature들 간의 상관관계를 분석했고, 이 '상관관계'를 예측할 수 있다는 것을 입증했다. 이를 통해서 dataset의 regularity(less skewed, less heavy-tailed)가 NN이 GBDT의 성능을 뛰어넘을 수 있게 한다는 것을 알 수 있었고, 대용량 데이터셋에서 GBDT가 평균적으로 더 좋은 성능을 낸다는 것을 알 수 있었다.

마지막으로, tabular data 연구를 가속화하기 위해서 학습에 사용한 176개 tabular 데이터셋들 중에서 가장 어려운 데이터셋들을 수집하여 'TabZilla'라는 벤치마크 데이터셋을 구축했다. (단순 baseline들이 승리하는 경우가 없고, 대부분의 알고리즘들이 좋은 퍼포먼스를 내지 못했던 데이터셋들)

이 연구는 연구자들과 사용자들의 tabular data에 대한 작업을 돕기 위한 도구를 제공한다. 가장 어려운 데이터셋들과 500K가 넘는 trained model들의 raw result를 포함한 가장 큰 오픈 소스 인터페이스를 제공하여 연구자들과 사용자들이 메소드들을 쉽게 비교할 수 있도록 하고, 최종적으로 이 연구에서 분석했던 metafeature들로 하여금 어떤 알고리즘이 사용자의 데이터셋에서 잘 학습할 수 있는지 판단하는데 도움을 줄 수 있다.

굉장히 많은 contribution이 있었는데, 요약하면 다음과 같다.

1. 최대 규모의 테이블형 데이터 분석:

   • 176개의 데이터셋에서 19개의 알고리즘을 비교하는 최대 규모의 테이블형 데이터 분석을 수행했다.
   • 50만 개 이상의 모델을 학습시켜, GBDTs와 NNs 중 어떤 것이 더 나은 성능을 보이는지에 대한 일반적인 통념이 과장되었음을 보여주었다.
   • 많은 데이터셋에서 단순한 기준선이나 GBDT의 가벼운 하이퍼파라미터 튜닝이 알고리즘 선택보다 더 중요한 경우가 많음을 발견했다.

2. 메타피처 분석을 통한 인사이트 제공:

   • 여러 메타피처를 분석하여 GBDTs나 NNs가 더 적합한 데이터셋의 특성을 규명했다.
   • 예를 들어, GBDTs는 왜곡되거나 꼬리가 긴 특징 분포를 처리하는 데 더 적합함을 발견했다.

3. TabZilla 벤치마크 공개:

   • 176개의 데이터셋 중 가장 어려운 36개의 데이터셋을 포함한 TabZilla 벤치마크를 공개하여 테이블형 데이터 연구를 가속화하고자 했다.
   • 오픈 소스 코드베이스와 모든 원시 결과를 제공하여 연구자와 실무자가 더 쉽게 방법을 비교할 수 있도록 했다.

Related work

대부분의 기존 연구들은 50개 이하의 데이터셋을 사용하거나 기준선을 제대로 설정하지 않아, 그 결과의 일반화 가능성이 낮다. 또한, 일부 연구들은 NNs가 테이블형 데이터에서 더 나은 성능을 보인다고 주장하는 반면, 다른 연구들은 GBDTs가 더 나은 성능을 보인다고 주장한다.

기존 연구 중에서 GBDTs가 왜 테이블형 데이터에서 NNs보다 더 나은 성능을 보이는지를 조사한 논문이 있었다. 본 연구와의 차이점으로는, 기존 연구는 7개의 알고리즘과 45개의 데이터셋을 사용한 반면, 이 논문에서는 19개의 알고리즘과 176개의 데이터셋을 사용했다는 점이다. 또한, 기존 연구는 데이터셋의 크기와 특징 간의 비율을 제어하는 등 더 통제된 연구를 수행했으나, 이 논문에서는 더 다양한 메타피처를 고려하여 더 많은 통찰을 제공했다. 또 다른 연구인 TabPFN은 179개의 많은 양의 데이터셋을 사용했으나 사이즈가 2000 이하인 작은 데이터셋을 사용하여 테이블형 데이터에 대한 연구를 수행했다.

Analysis of Algorithms for Tabular Data

다양한 tabular 데이터셋들에 대해 광범위한 연구를 진행하기에 앞서, 분석하고자 하는 2가지 질문에 대해서 확실히 짚고 넘어가자.

1. 다양한 데이터셋들을 통해 알고리즘들을 어떻게 비교할 것인가?
2. 데이터셋의 어떤 속성들이 알고리즘 성능 향상에 연관이 있는가?

Algorithms and datasets implemented

앞서 계속 언급했듯이 본 논문은 19개의 알고리즘을 비교 실험한다.

• 대표적인 GBDT 알고리즘 3개 (CatBoost, XGBoost, LightGBM)
• 11개의 Neural Nets (DANet, FT-Transformer, two MLPs, NODE, ResNet, SAINT, STG, TabNet, TabPFM, VIME)
• 5개의 baseline (Decision Tree, KNN, Logistic Regression, Random Forest, SVM)

이 알고리즘들을 선택한 이유는 가장 보편적으로 쓰이고, 알고리즘이 다양하며, 강력한 성능을 보이기 때문이라고 설명한다.

위에서 선정한 알고리즘들을 OpenML의 176개 classification 데이터셋에 대해서 실험했다. 학습된 총 모델 개수가 538,650 개로 굉장히 많기 때문에 각 실험에서 run-time을 제한할 수 밖에 없었으므로 1.1M를 초과하는 데이터셋은 이용하지 않았다고 한다. 각 데이터셋의 통계량은 Table 6를 통해서 확인할 수 있다.
본 논문은 데이터셋 확보 및 실험 과정에서 CC-18과 OpenML을 적극적으로 활용했는데, 이 벤치마크들이 광범위한 데이터셋과 엄격한 선택 기준을 갖고 있어서 공정하게 검증을 진행할 수 있는 표준이기 때문이라고 한다. 그리고 본 논문의 실험이 TabPFN을 제외하면 최근 tabular data 연구 중 가장 많은 알고리즘과 데이터셋을 사용한 실험이고, 단일 오픈소스 repository에서 사용 가능한 가장 많은 양이라고 한다.

Metafeatures

논문은 파이썬 라이브러리 중 965개의 metafeature를 포함하고 있는 PyMFE를 사용해서 metafeature들을 추출했다. metafeature category들은 다음과 같다.

• general : number of datapoints, classes, numeric/categorical features
• statistical : (min / mean / max) skewness or kurtosis of all feature distributions
• information theoretic : Shannon entropy of the target
• landmarking : dataset subsamples에 대한 1-Nearest Neighbor과 같은 baseline performance
• model-based : summary statistics for some model fit on the data; number of leaf nodes in a decision tree model

Experimental design

각 데이터셋에 대해서 OpenML을 통해 10fold로 나눠서 train/test를 진행한다. 그리고 하이퍼파라미터 튜닝을 위한 검증 데이터셋을 구축해야 하는데, train fold에서 일부분을 떼어내 validation으로 사용한다. 각 데이터셋 split에 대해서 각 알고리즘은 최대 10시간동안 돌아갔고, 그 시간동안 30개의 hyperparameter set(Optuna를 사용하여 1개의 defualt set, 29개의 random set을 구성)을 구축했다. 각 parameterized 알고리즘들은 32G V100 GPU 환경에서 최대 2시간 동안 단일 train/evaluation cycle을 돌았다.

이전 연구들과 마찬가지로 이 연구에서도 주요 평가 지표는 accuracy이며 검증 데이터에서 가장 높은 성능을 기록한 하이퍼파라미터 세팅으로 test를 진행했다. 최종 결과 산출에는 accuracy 뿐만 아니라 log loss와 F1 score, ROC-AUC도 고려하여 알고리즘을 평가했고, 데이터셋 전반에 걸쳐 평균적인 성능을 도출하기 위해서 0-1 scaling을 사용하는 Average Distance tothe Minimum(ADTM) 지표를 활용했다.
그리고 서로 다른 fold에서 각 메소드들의 분산을 보기 위해서 각 메소드들의 10fold간 표준 편차(scaled)의 평균을 계산했다.

2.1 Relative Algorithm Performance

앞에서 설정했던 두 질문 중 첫 번째 질문 "다양한 데이터셋들을 통해 알고리즘들을 어떻게 비교할 것인가?" 에 대해 GBDT와 NN 간에 유의미한 차이가 있는지를 중심으로 실험을 통해 답하려 한다.

Noindividual algorithm dominates

위에서 설정한 하이퍼파라미터 세팅을 가지고 모든 데이터셋에 대한 모든 알고리즘들의 평균 rank를 매긴다. 이 때, memory나 timeout 문제가 발생한 데이터셋은 제외한다. 이에 따라 총 104개 데이터셋을 추려낼 수 있었다. (176개 데이터셋 전체에 대한 결과는 Appendix에서 진행, Table 11)

Table 1은 앞에서 서술한 것처럼 validation set을 통해 진행한 하이퍼파라미터 튜닝된 모델의 test dataset에 대한 성능 평가 지표이다.
여기서 눈여겨볼 점은 거의 모든 알고리즘들이 한번씩 best와 worst를 찍었고, baseline 모델들은 평균적으로 좋지 못한 성능을 보였으며 NN과 GBDT는 평균적으로 더 나은 성능을 보이는 경향이 있었다. 또한, 가장 best인 Catboost가 평균 rank 5.06인 것으로 미루어 보았을 때, 모델 하나에 dominant가 발생하지 않는다는 방증이다.

Table 2는 최대 1250 size인 데이터셋들 57개로 진행한 실험 결과이며, size가 작은 데이터셋으로만 구성했기 때문에 TabPFN을 비교 실험할 수 있었다. 그 결과, TabPFN이 평균 rank가 가장 좋은 알고리즘임을 알 수 있었고, 뿐만 아니라 학습 속도 또한 가장 빨랐음을 알 수 있었다.
하지만 TabPFN 또한 평균 rank가 4.88로 모든 알고리즘과 비교했을 때, 지배적으로 성능이 좋다고 말하긴 어려우며, train time은 굉장히 빨랐지만 다른 알고리즘들에 비해서 inference time이 현저히 높았다는 단점이 존재한다.

Performance vs runtime

Figure 2에서 모든 데이터셋에 대한 모든 알고리즘들의 평균 accuracy와 runtime을 살펴볼 수 있다.

• Neural Nets: runtime이 가장 길고, 몇 개의 알고리즘은 좋은 성능을 낸다. (이 때, 100 epoch를 미리 설정해두고, 20 epoch를 기준으로 early stopping을 진행했다.)
• GBDTs: Neural Net보다 적은 runtime이 필요함에도 불구하고 강한 성능을 가진다.
• Baselines: runtime이 대체적으로 가장 짧지만 성능 또한 평균적으로 낮다.

Statistically significant performance differences

Table 1에서 여러 알고리즘들의 성능을 살펴볼 수 있었다. 하지만 서로가 비슷한 수치를 나타냈기 때문에 통계적으로 유의미한지를 검증할 필요가 있다. ($p < 0.05$)
우선, 각 알고리즘 별 성능 차이가 유의미한지 알아보기 위해서 Friedman test를 진행한다. 이 때, $p<10^{-20}$인 null hypothesis는 제외한다.
그 다음, Wilcoxon signed-rank test를 통해서 두 알고리즘 간의 성능 차이가 유의미한지를 검증한다. test accuracy metric이 알고리즘 간에 비등비등함에 따라 accuracy가 아닌, Figure 3과 같이 log loss metric에 대해서 진행했다. 해당 그림을 보면, 가로 축은 각 알고리즘 별로 평균 rank를 나타내고, 서로 간에 차이가 유의미하지 않은 경우에는 검은색 bar로 연결지어 표현했다.
이러한 관점으로 보았을 때, CatBoost는 모든 알고리즘에 대해서 유의미한 성능 차이를 보이고 있음을 알 수 있다.

GBDTs vs NNs

위의 Table 11에서 각 알고리즘 별 평균적인 성능을 확인했지만, 이 논문에서 답하고자 하는 전통적인 질문인 '그래서 GBDT가 NN보다 tabular data에서 더 좋은가?'에 대해서 살펴봐야 한다.
Figure 4의 벤다이어그램을 보면, NN/GBDT/Baseline 모델이 176개 데이터셋에서 accuracy가 0.99 이상인 경우를 카운트해서 나타낸 집합이다. 이 집합을 보았을 때, NN/GBDT/Baseline은 어느 정도 균형이 잡혀있는 형태를 띄지만 GBDT가 전반적으로 높은 성능을 보인다는 것을 알 수 있다.
그 아래에 벤다이어그램은 threshold를 0.9999로 설정했을 때의 결과이다. 기존의 0.99 세팅보다 교집합이 줄어들었고, 대부분 GBDT가 단독으로 더 높은 성능을 보인다는 것을 알 수 있다. 하지만 0.99와 0.9999 차이이므로 실무자에게는 그다지 중요한 포인트가 아닐 수 있다.

Algorithm selection vs tuning

다음으로, 알고리즘(ex. CatBoost or ResNet)을 선택하는 것과 튜닝하는 것 중 어떤 포인트에 더 집중했을 때 성능 향상에 유의미할 지를 판단하기 위한 분석을 진행한다.
실무자가 판단을 진행할 때처럼 시나리오를 구성하기 위해서 두 가지 실험을 진행한다.

• (a) : 몇 가지 알고리즘을 default hyperparameter로 test data inference
• (b) : CatBoost나 ResNet같은 single model hyperparameter optimization

(a)와 (b) 중에서 무엇이 성능 향상에 더 큰 기여를 하는지 계산했다. 정확히는, default parameter 세팅으로 성능이 가장 좋은 NN과 GBDT의 성능 차이뿐만 아니라 30 iterations에 걸쳐서 hyperparameter tuning을 진행하여 얻은 best hyperparameter 세팅으로 학습한 모델이 얼만큼 성능 향상을 이뤄냈는지도 측정했다.
Figure 4의 오른쪽 그림을 보면, NN과 GBDT 중 어느 알고리즘을 선택했는가에 따른 성능 차이보다 single model(CatBoost)을 가볍게 tuning해서 얻은 성능 향상의 폭이 더 크다는 것을 알 수 있었다.

2.2 Metafeature Analysis

앞서 이 논문의 핵심 질문 중 두 가지에 대해서 언급했었다. 그 중에서 "데이터셋의 어떤 속성 들이 알고리즘 성능 향상에 연관이 있는가?" 에 해당하는 부분이다.

특정 알고리즘 또는 알고리즘 계열이 다른 알고리즘을 능가하는 데이터셋의 속성이 무엇인지 분석했다. 먼저, 데이터셋의 메타피처와 알고리즘 성능 간의 상관관계를 분석하여, 어떤 속성이 NNs와 GBDTs 간의 성능 차이를 설명하는지 평가했다. 예를 들어, Figure 5에 따르면, NNs는 데이터셋이 덜 왜곡되고 꼬리가 덜 긴 특징 분포를 가질 때 GBDTs를 능가하는 경향이 있었다. 반면, GBDTs는 더 큰 데이터셋에서 더 잘 작동하는 경향이 있었다(Table 3).

또한, 개별 알고리즘의 성능과 다른 모든 알고리즘 간의 성능 차이를 메타피처와의 상관관계를 통해 분석했다. 예를 들어, Table 3에서는 LightGBM과 XGBoost는 데이터셋 크기와 음의 상관관계를 보였고, 이는 더 큰 데이터셋에서 GBDTs가 더 잘 작동함을 의미한다. 상위 알고리즘들 간의 성능 차이를 메타피처와의 상관관계를 통해 분석했을 때, Figure 5의 오른쪽 그래프처럼 CatBoost와 XGBoost는 데이터셋의 특징 분포가 왜곡되고 꼬리가 긴 경우 ResNet과 SAINT보다 더 나은 성능을 보였다.

마지막으로, 메타러닝 모델을 사용하여 메타피처가 예측에 얼마나 유용한지 평가했다. 175개의 데이터셋을 학습 데이터로 사용하고, 하나의 데이터셋을 테스트 데이터로 사용하여 평균 성능을 측정했다. 주요 발견으로는, GBDTs는 더 큰 데이터셋에서 NNs보다 더 나은 성능을 보였고, GBDTs는 특징 분포가 왜곡되고 꼬리가 긴, 불규칙한 데이터셋에서 더 잘 작동했다. 예를 들어, Figure 5 왼쪽 그래프는 데이터셋 크기와 불규칙성이 알고리즘 성능에 미치는 영향을 보여준다. 이 분석을 통해, 새로운 데이터셋에 대해 어떤 알고리즘이 더 적합한지 판단할 수 있는 유용한 통찰을 제공했다. 연구자와 실무자들은 이 메타피처 분석 결과를 활용하여 데이터셋의 특성에 따라 최적의 알고리즘을 선택할 수 있다.

TabZilla Benchmark Suite

Hard for baseline algorithms

이 논문에서는 단순 기준선 알고리즘들이 모든 알고리즘들 중 최고 성능을 내지 못하는 데이터셋을 포함하는 벤치마크를 구축했다. 이 기준은 단순 기준선 알고리즘이 최고 성능의 알고리즘보다 20% 이하의 로그 손실을 기록한 경우 데이터셋을 제거하는 방식으로 설정되었다. 이 기준은 주어진 정보 내에서 데이터셋의 난이도를 평가하는 좋은 지표로 사용되었다.

Hard for most algorithms

두 번째 기준은 대부분의 알고리즘들이 최고 성능을 내지 못하는 데이터셋을 포함하는 것이다. 구체적으로는, 19개의 알고리즘 중 네 번째로 좋은 성능이 최고 성능보다 7% 이상 나쁜 경우 데이터셋을 포함했다. 이 기준은 여러 알고리즘들이 비슷한 성능을 내는 데이터셋을 배제하고, 몇몇 알고리즘만이 우수한 성능을 내는 데이터셋을 포함하도록 설계되었다.

Hard for GBDTs

첫 번째와 두 번째 기준은 주로 GBDTs가 최고 성능을 내는 데이터셋을 포함하게 된다. 하지만, tabular 데이터 연구의 발전을 위해 GBDTs가 잘 작동하지 않는 데이터셋도 포함해야 한다고 판단했다. 그래서 GBDTs가 최고 성능의 알고리즘보다 10% 이상 나쁜 성능을 내는 데이터셋을 추가하여 다양한 데이터셋을 포함하도록 했다.

TabZilla Characteristics

Table 4는 각 데이터셋의 통계와 상위 세 알고리즘을 보여준다. 이 기준들에 따라 선택된 데이터셋은 크기, 특징의 다양성, 커터시스(kurtosis) 등의 특성을 고려하여 다양하게 구성되었다. Table 5는 TabZilla 벤치마크 스위트의 36개 데이터셋에서 각 알고리즘의 성능을 비교한 결과를 보여준다. 상위 5개 알고리즘은 XGBoost, CatBoost, LightGBM, ResNet, SAINT로 나타났으며, 평균 순위는 각각 3.27, 3.86, 6.06, 6.14, 6.37이었다.

Conclusions and Future Work

이 연구에서는 19개의 알고리즘을 176개의 데이터셋에서 비교하여 테이블형 데이터 분석을 위한 최대 규모의 연구를 수행했다. 이를 통해 'NN vs. GBDT' 논쟁이 과장되었음을 보여주었고, 단순 기준선이나 GBDT의 가벼운 하이퍼파라미터 튜닝이 알고리즘 선택보다 중요한 경우가 많음을 발견했다. 또한, 데이터셋의 특성이 NNs와 GBDTs의 성능에 어떻게 영향을 미치는지를 분석하여 GBDTs가 데이터 불규칙성을 처리하는 데 더 적합함을 밝혔다. 마지막으로, TabZilla 벤치마크를 공개하여 tabular 데이터 연구를 가속화하고자 했다.

연구자들은 TabZilla를 사용하여 새로운 알고리즘을 기존 19개 알고리즘과 비교할 수 있으며, metafeature 분석을 통해 각 데이터셋에 맞는 최적의 알고리즘을 선택할 수 있을 것이다. 또한, 이번 연구는 tabular 데이터에 대한 새로운 연구 방향을 제시하며, 앞으로의 연구에서는 회귀 데이터셋, 시계열 예측 데이터셋, 불확실성 정량화, 범주형 특징 비율이 높은 데이터셋 등에 대한 분석을 포함할 수 있을 것이다.