Current Issue

이 연구에서는 FICO의 Explainable Machine Learning Challenge에서 제공하는 HELOC(Home Equity Line of Credit) 데이터와 UCI Machine Learning Repository에서 제공한 신용카드 고객 채무 불이행 데이터셋, 그리고 한국은행 가계부채 데이터를 활용한다[19][20]. 그림 1과 같이 각각의 데이터마다 종속 변수인 부채와 상환의 분포가 다른 것을 확인 할 수 있다.

Fig. 1. 
Frequency of payment and default in HELOC, UCI and Bank of Korea

불균형 데이터란 한 클래스의 데이터가 다른 클래스에 비해 현저히 적은 경우를 말하며, 이는 기계학습에서 중요한 문제로 여겨진다. 주로 모델이 다수 클래스의 데이터를 기반으로 학습되어 소수 클래스의 데이터를 제대로 예측하지 못하는 경향이 있다. 이러한 문제를 해결하기 위한 방법으로 언더 샘플링과 오버 샘플링이 연구되고 있다. 언더 샘플링은 다수 클래스의 데이터 수를 줄이는 방식으로, 이 과정에서 중요한 정보가 손실될 수 있다는 단점이 있다. 반면, 오버 샘플링은 소수 클래스의 데이터를 증가시키는 방식으로, 여기서는 적절한 복원 비율을 설정하지 않으면 모델이 과적합될 위험이 있다.

SMOTE을 사용하여 클래스 불균형을 해결할 때, 모델이 과적합(Overfitting)할 위험이 있다. SMOTE는 소수 클래스의 새로운 합성 샘플을 생성하여 균형 잡힌 데이터셋을 만드는 데 도움이 되지만, 이 과정에서 모델이 인위적으로 생성된 패턴을 지나치게 정확하게 학습할 수 있다. 이를 방지하기 위해 별도의 모델 훈련에 사용되지 않는 이 검증 세트를 통해 모델의 성능을 확인 하는 것이 중요하다. 훈련 데이터셋과 검증 데이터셋 모두에서 모델의 성능을 모니터링함으로써, 모델을 조정하여 과적합을 완화하고 새로운 데이터에 대한 일반화 능력을 보장할 수 있습니다.

SMOTE는 기존 데이터를 단순히 복제하는 기본 오버 샘플링 기법보다 불균형 데이터셋을 처리하는 데 종종 선호된다. 이 기법은 소수 클래스 데이터 주변에서 새로운 데이터 포인트를 합성하는 방식으로 작동한다. 구체적으로는 소수 클래스의 개별 데이터 포인트를 선택하고, 그 데이터와 k개의 가장 가까운 이웃 데이터 포인트 사이의 거리를 계산한다. 그런 다음, 이 거리에 임의의 비율을 적용하여 새로운 데이터 포인트를 생성한다. 단순 복제와 달리 SMOTE는 클래스 간의 더 나은 결정 경계를 촉진하며 모든 원본 데이터를 유지하여 정보 손실을 방지한다.

본 연구에서는 SMOTE를 활용하여 HELOC 데이터셋에서 ‘Good’ 데이터를 약 10% 증강시켰다. 이와는 별개로, UCI 데이터셋에서는 채무 불이행 데이터를 추가로 30% 증가시켰다. 마지막으로 가장 불균형이 심한 한국은행 개인신용 데이터에서는 채무 불이행 데이터를 50% 증가시켰다. 이러한 구체적인 증강 비율은 일련의 실험을 통해 결정되었다. 주요 TabNet 모델이 과적합하지 않으면서도 성능이 증가하는 비율을 검증 데이터를 바탕으로 찾았다. 이러한 모든 데이터 증강과정에서 k 값은 5로 고정하였다. 이렇게 데이터를 증강시킨 후, 모델의 성능을 데이터 증강 전과 비교 분석하여 SMOTE가 모델의 분류 성능에 어떠한 영향을 미치는지 평가하였다. 이러한 접근 방식은 불균형 데이터 문제를 해결하고 모델의 예측 능력을 강화하는데 중점을 두었다.

본 연구에서 활용한 딥러닝 네트워크는 TabNet이다. TabNet은 Google Cloud AI의 Arik과 Pfister에 의해 개발된 모델로, 정형 데이터 분류에 특화되어 있다. 전통적으로, 정형 데이터 분류 모델링에서는 의사결정나무 기반의 앙상블 모델이 선호되었다. 이러한 모델들은 노드 추적을 통해 특성 중요도를 파악하고, 이를 해석할 수 있는 장점이 있다.

TabNet은 신용 평가 분야에서 해석 가능성, 구조화된 데이터 처리에 특화된 설계, 그리고 효율적인 훈련 및 추론 능력으로 효과적입니다. 이 모델의 해석 가능성은 보수적인 금융 규제 준수를 보장하며, 신용 평가에서 중요한 대출 승인 또는 거절과 같은 의사결정 과정을 명확하게 이해하고 설명할 수 있게 한다. TabNet은 특히 테이블 형태의 데이터를 효율적으로 처리하도록 설계되었으며, 이는 신용 평가에서 사용되는 소득, 신용 기록과 같은 구조화된 데이터 형식을 효과적으로 처리한다. 이러한 특성들은 TabNet을 신용 평가 분야에서 기술적 정확성과 금융 분야의 투명성 요구를 모두 충족하는 강력한 도구로 만든다.

TabNet은 표 형식 데이터를 모델링하기 위해 개발된 독창적인 딥러닝 아키텍처로, NLP에서 사용되는 트랜스포머 모델과 유사한 Feature Transformer를 핵심 구성 요소로 사용한다. 이는 입력 특징을 표현력 있게 변환하며, 각 결정 단계마다 적용되어 데이터에 대한 이해를 점진적으로 개선한다. TabNet은 Attentive Transformer를 사용하여 어떤 특징에 집중할지 결정한다. 이는 주의 메커니즘을 통해 모델이 각 단계에서 데이터의 다양한 측면을 고려하도록 한다. 모델은 또한 여러 결정 단계를 통해 입력을 처리한다. 각 단계에서 일부 특징을 선택하고 이를 사용하여 입력의 표현을 업데이트한다. 이 과정은 그라디언트 부스팅 모델과 유사하며 데이터의 다양한 측면을 고려한다. 이러한 구조적 요소들의 결합은 TabNet이 복잡한 표 형식 데이터를 효과적으로 모델링하면서도 중요한 특징에 대한 해석을 제공할 수 있게 한다.

본 연구에서는 전이학습의 중요성을 입증하기 위해 두 가지 접근 방식을 비교하는 실험을 설계했다. 첫 번째 접근 방식은 비지도 사전학습을 통한 전이학습 모형이고, 두 번째는 지도학습만을 사용하여 인코더를 학습한 TabNet 모형이다.

첫 번째로 비지도 사전학습을 통한 전이학습 모형은 그림 2에 설명된 것처럼, 비지도 사전학습 또는 자기 지도학습을 통해 인코더와 디코더를 사전 학습한다. 정형 데이터에는 서로 상호의존적인 특성들이 존재하기 때문에, 이 사전학습 과정은 인코더의 초기 가중치를 효과적으로 학습하는 데 중요하다. 이러한 사전학습 모델은 TabNet 라이브러리에 제공되는 모델을 사용하였다. 이후 그림 3과 같이, 사전 학습된 인코더를 각각의 데이터에서 전이학습을 수행한다. 이 접근 방식은 사전학습을 통해 획득한 지식을 새로운 문제에 적용하여 모델의 성능을 향상하는 데 초점을 맞춘다.

Fig. 2. 
Pre-training of TabNet

Fig. 3. 
Supervised fine-tuning of TabNet

두 번째로 사전학습없이 데이터에서의 지도학습으로만 학습한 TabNet 모형이다. 이 모델은 전통적인 지도학습 방식을 사용하여 인코더만을 학습한다. 이 경우, 모델은 주어진 레이블과 함께 훈련 데이터에서 직접 학습하여 특성을 추출하고 예측을 수행한다. 이 방식은 비지도 사전학습이 없기 때문에, 모델이 훈련 데이터로부터 직접적으로만 학습하게 된다.

이 실험의 목적은 전이학습이 TabNet 모델의 성능에 어떠한 영향을 미치는지 평가하는 것이다. 전이학습 모형과 지도학습 모형을 비교함으로써, 비지도 사전학습이 모델의 일반화 능력과 성능에 어떤 이점을 제공하는지 확인할 수 있다. 이는 전이학습이 복잡한 정형 데이터를 다루는 데 있어 중요한 역할을 할 수 있음을 시사한다. Ablation study(제거 연구)를 통해, 각 구성 요소가 전체 모델 성능에 미치는 영향을 분석하고, 전이학습의 중요성을 입증하는 근거를 제공한다.

분류 성능이 얼마나 우수한지 평가하고, 최적의 모형을 선택하기 위해서 다양한 평가 지표들을 사용한다. 신용평가 모델링은 이진 분류 모형으로 채무 불이행 1이 발생할 확률이 계산된다. 그 값이 임계치인 0.5보다 높으면 1로 분류하고, 낮으면 0으로 분류하고 표 1의 분류 모형 오분류표로 나타낼 수 있다. 여기서 구한 TN(True Negative), FN(False Negative), TP(True Positive), FP(False Positive)를 기반으로 평가 지표들을 계산한다.

표 2의 True Positive Rate은 재현율(Recall)로도 말한다. 마찬가지로 TNR(True Negative Rate)를 특이도(Specificity)라고도 말한다. F1-score는 정밀도(Precision)와 재현율의 조화평균으로 산출한다. 이외에도 AUROC와 AUPRC라는 불균형 데이터에 적합한 평가 지표도 존재한다. AUROC는 x축이 False Positive Rate, y축이 재현율인 그래프 위에 그려진 ROC 커브의 아래 면적이다. AUPRC는 x축이 재현율, y축이 정밀도인 그래프에 그려진 PRC 커브의 아래 면적이다.

본 연구에서는 AUROC, AUPRC, 균형 정확도(Balanced accuracy), 정확도(Accuracy), F1-Score로 5가지 지표를 통해서 모형을 비교하였다.

표 3의 결과를 보면 HELOC 데이터에서 SMOTE & 사전학습 TabNet 모델이 AUROC와 AUPRC가 높은 것을 확인하였다. 그 외 균형 정확도와 정확도, F1-score는 사전학습 TabNet이 가장 높았다.

TabNet 모형과 SMOTE TabNet 모형을 비교했을 때 SMOTE를 추가한 모형이 AUPRC와 균형 정확도, 정확도는 높아지고, AUROC와 F1-score는 낮아진 것을 확인할 수 있었다. 불균형도가 낮은 데이터에서 SMOTE를 수행했을 때 큰 이점을 얻지 못했다. 하지만 사전학습을 수행한 모형은 기본 TabNet 모형보다 모든 지표에서 우월한 성능을 보였다.

표 4을 보면 UCI 데이터에서 SMOTE & 사전학습 TabNet이 모든 지표에서 가장 높은 성능을 보였다. HELOC에서와 두드러지는 차이점으로는 AUPRC와 F1-score가 다른 평가 측도 대비 낮은 것을 확인하였다. 불균형 데이터를 학습하여 모델링 하면 나타나는 특징이다.

TabNet 모형과 SMOTE TabNet 모형을 비교했을 때 SMOTE를 추가한 모형이 모든 평가 측도에서 기본 TabNet 모형보다 우수하였다. 불균형이 심한 데이터에 SMOTE를 수행했을 때 확실한 성능 향상을 확인할 수 있었다. 사전학습을 수행한 모형 또한 기본 TabNet 모형보다 모든 지표에서 우월한 성능을 확인하였다.

마찬가지로 표 5에서 AUROC 및 AUPRC는 SMOTE와 전이학습을 결합한 TabNet 모델에서 가장 높게 나타났다. 이는 SMOTE 기법을 통해 소수 클래스의 데이터를 증강함으로써, 불균형 데이터 상황에서 모델이 소수 클래스를 보다 정확하게 예측할 수 있도록 한 결과로 볼 수 있다. 따라서 데이터 불균형 상황에서 정확도를 측정하는 데 중요한 AUROC와 AUPRC 지표가 크게 향상되었다는 점을 확인할 수 있었다.

균형정확도에 있어서는 전이학습을 적용하지 않고 단지 SMOTE를 통한 데이터 전처리만을 수행한 모델이 가장 높은 성과를 보였으나, 이 차이가 통계적으로 유의미한 수준은 아니었다. 단순 정확도 지표에서는 SMOTE를 통한 데이터 증강을 하지 않은 모델이 더 나은 성능을 보였다. 이러한 현상은 데이터의 빈도 불균형으로 인해 다수를 차지하는 라벨을 단순히 따라가기만 해도 85%에 가까운 정확도를 달성할 수 있기 때문으로 해석할 수 있다. 다시 말해, SMOTE를 통해 데이터의 불균형을 해소하였을 때 오히려 전체 정확도가 감소하는 경향을 보여주었다. 이와같이 단순 정확도는 비대칭 데이터 상황에서의 모델 성능 평가에 부적합한 지표로 여겨진다. 이는 다수 클래스의 데이터가 우세한 불균형 데이터셋에서 모델이 주로 다수를 차지하는 클래스를 예측하는 경향이 있기 때문에, 실제로는 소수 클래스의 중요한 패턴을 간과하고 있는 경우에도 높은 정확도를 보일 수 있기 때문이다.