신용위험 모델

신용위험 모델은(는) 무엇을 하나요?

모델링 인테이크

하드 게이트: 이 스킬이 트리거된 후 첫 번째 응답은 모델링 요청을 명확히 해야 하며, 그 전에 모델링, 특성 선택, 튜닝 또는 보고서 생성을 수행하지 마십시오. 사용자가 광범위한 모델링 작업을 제공했더라도 이 인테이크 단계를 건너뛰지 마십시오. 아래 모든 항목을 다루는 간결한 질문 블록으로 시작하십시오. 사용자가 이미 특정 항목을 지정했다면 이를 확인으로 다시 진술하고 수정 사항만 물어보십시오. 사용자가 인테이크 블록을 확인한 후 기본값으로 진행하겠다고 명시적으로 언급하지 않는 한, 사용자가 답변할 때까지 가정을 훈련하거나 최종 확정하지 마십시오.

1. 모델링 목표:
   • 불량 고객/고위험 신청자 거부 또는 순위 지정.
   • 우량 고객/고품질 신청자 선별.
   • 위험 가격 책정, 신용 한도 설정, 추심 우선순위, 사기 검토 또는 기타 목적.
   • 모델 출력 정의: 확률, 점수, 등급, 컷오프, 순위 또는 정책 전략.
2. 모델 군:
   • 스코어카드 / WOE 로지스틱 회귀.
   • LightGBM.
   • XGBoost.
   • 스코어카드 없는 선형/로지스틱 회귀.
   • CatBoost, 랜덤 포레스트, 신경망, 생존/빈티지 모델 또는 기타 모델.
   • 챔피언/챌린저 비교를 위한 여러 모델.
3. Y값:
   • 사용자가 명확한 목표를 제공하면 이를 사용하십시오.
   • 그렇지 않으면 비즈니스 목표, 사용 가능한 레이블, 빈티지, 연체 전환율, MOB 윈도우, 거부/제외 로직을 기반으로 선택지를 제안하십시오.
   • 목표값 방향 확인: 사용자가 달리 명시하지 않는 한 1 = 불량/위험 이벤트.
4. 샘플 분할:
   • OOT는 기본적으로 가장 가깝거나 최신의 완료된 월로 설정합니다.
   • 검증은 인접한 월 또는 OOT가 아닌 데이터에서 층화 무작위 분할할 수 있습니다.
   • 훈련 데이터에서 검증 및 OOT가 제외되는지 확인하십시오.
   • 기관/채널 필드가 존재하면 시간 OOT 외에 기관/채널 OOS 샘플이 필요한지 물어보십시오.
5. 파라미터 튜닝:
   • 기본 베이스라인만 실행할지, 가벼운 튜닝을 할지, 더 깊은 하이퍼파라미터 검색을 할지 물어보십시오.
   • 스코어카드의 경우 기본값은 최대 15개 모델 특성, 특성당 최대 7개 구간, base_score = 600, odds = 0.05, pdo = 60입니다.
   • LightGBM/XGBoost의 경우 일반적인 시작 하이퍼파라미터를 사용하고 첫 번째 진단 후에만 튜닝하십시오.
6. 파생 특성:
   • 파생 특성을 추가할지 물어보십시오.
   • 예인 경우 WOE 조합 및 의사결정 트리 조합 특성이 허용되는지, 또는 원시 배포 가능 공식만 허용되는지 물어보십시오.
7. 보고서 및 제약 조건:
   • 사용자에게 보고서 템플릿이 있는지 물어보십시오. 있으면 일치시키고, 없으면 기본 신용위험 검증 보고서를 사용하십시오.
   • 모호한 경우에만 물어보십시오: 최종 보고서 언어는 사용자 언어를 따라야 합니다. 중국어 사용자 요청은 중국어 보고서와 시트 이름을, 영어 사용자 요청은 영어 보고서와 시트 이름을 생성합니다.
   • 스코어카드 모델의 경우, 사용자가 명시적으로 다른 템플릿을 요청하지 않는 한 모델 검증 보고서가 정확한 스코어카드 모델 개발 검증 보고서 템플릿 형식을 사용해야 함을 확인하십시오.
   • 필수 변수, 금지 변수, 정책 제약 조건, 단조성 제약 조건, 점수 구간, 승인율 목표 또는 배포 제한 사항을 물어보십시오.
8. 모델링 후 전략:
   • 모델 검증이 완료된 후 사용자에게 전략 제안, 컷오프 테이블 또는 정책 규칙이 필요한지 물어보십시오.
   • 예인 경우 점수 구간, 모델 위험 순위 및 높은 리프트 파생 특성 규칙에서 전략 후보를 생성하십시오.

핵심 워크플로우

1. 필수 모델링 인테이크를 완료하고 선택한 가정을 문서화하십시오. 첫 번째 사용자 요청이 불충분하게 명시된 경우 먼저 인테이크 질문을 하고, 코드, 데이터 탐색 또는 모델 훈련으로 바로 건너뛰지 마십시오.
2. 목표와 관찰 시점을 명시적으로 정의하십시오: 신청일, 성과 기간, 불량 정의, 제외 사항, 샘플 출처 및 중복 제거 키. 사용 가능한 데이터 사전, 레이블 또는 사용자 지침을 확인하지 않고 열 이름만으로 목표를 유추하지 마십시오.
3. 사용자가 이전 모델 보고서, 스코어카드 시트, 개발 흐름 다이어그램 또는 보고서 템플릿을 제공하는 경우 이를 명명, 점수 구간 및 보고서 형식에 참조로 사용하십시오. 스코어카드 모델 검증 보고서의 경우, 스코어카드 모델 개발 검증 보고서 템플릿이 가능할 때 기본 필수 형식이며 정확히 일치시켜야 합니다. 제공되지 않은 경우, 비스코어카드 보고서 또는 초안 스코어카드 출력에 대해서만 기본 신용위험 개발 워크플로우 및 보고서 구조를 사용하십시오.
4. 특성 선택 전에 샘플을 분할하십시오:
   • 사용자가 지정한 OOT 월 또는 시간 창을 정확히 사용하십시오.
   • 무작위 검증이 요청된 경우 남은 비OOT 샘플에서 목표별로 층화하여 검증을 추출하십시오.
   • 구간, 인코더, 스케일러, 특성 선택 및 모델 파라미터를 훈련 데이터에만 적합시키십시오.
   • OOT는 모델 선택이 아닌 최종 검증을 위해 건드리지 않은 상태로 유지하십시오.
5. 선택한 모델 군과 일치하는 베이스라인을 구축하십시오. 사용자가 "원래 스코어카드 기반"이라고 말하면 원래 스코어카드 변수를 파싱하고 특성을 추가하기 전에 고정 베이스라인으로 재적합하거나 점수를 매기십시오.
6. 보수적/기본 파라미터로 첫 번째 모델 버전을 훈련한 다음 과적합, 과소적합, 시간에 따른 불안정성, 캘리브레이션 불량, 신호 누락 또는 데이터 품질에 의한 제약이 있는지 진단하십시오.
7. 진단에 기반하여 최적화하십시오. 허용된 각 변경 사항을 베이스라인 및 현재 모델과 검증 KS, OOT 안정성, AUC, PSI, 계수 방향, 상관관계/VIF, 캘리브레이션 및 배포 가능성을 사용하여 비교하십시오.
8. 성능이 비정상적으로 강력하면 최적화하거나 최종 확정하기 전에 데이터 누수를 조사하십시오.
9. 기존 보고서가 있는 경우 동일한 구조로 최종 보고서를 생성하십시오. 모델 개발 및 검증을 모두 보고하고, 노트북 스타일의 메트릭 덤프만 제공하지 마십시오.
10. 모델 검증 후 전략 계층이 필요한지 물어보십시오. 모델 보고서만으로 최종 비즈니스 산출물이라고 가정하지 마십시오.

출력 언어

• 사용자가 명시적으로 다른 언어를 요청하지 않는 한 최종 문서, 통합 문서, 시트 이름, 차트 레이블 및 내러티브 요약에서 사용자 언어를 일치시키십시오.
• 사용자가 한국어로 작성하면 한국어 보고서 텍스트와 시트 이름을 생성하십시오. 사용자가 영어로 작성하면 영어 보고서 텍스트와 시트 이름을 생성하십시오.
• 원시 변수 이름, 파일 이름, SQL 표현식, 모델 이름 및 메트릭 약어와 같은 기술 식별자는 번역 시 추적성이 저하될 수 있으므로 변경하지 않은 상태로 유지하십시오.

데이터 및 분할 규율

• 시간 누수를 주요 실패 모드로 취급하십시오. 신청/관찰 시점 이후에 계산된 모든 특성은 제외되거나 이동되어야 합니다.
• 월별 OOT의 경우 사용자가 다른 시간 창을 지정하지 않는 한 기본적으로 가장 가깝거나 최신의 사용 가능한 완료된 월을 사용하십시오. 출력에서 2025-09와 같은 정확한 달력을 사용하고 상대적 레이블은 사용하지 마십시오.
• 검증은 인접한 월/시간 창 또는 비OOT 데이터에서 층화 무작위 샘플일 수 있습니다. 사용자가 요청한 검증 모드를 선호하십시오. 그렇지 않으면 샘플 크기와 시간 안정성 요구 사항에 가장 잘 맞는 모드를 선택하고 선택 사항을 명시하십시오.
• 최종 분할 전에 총 샘플 수가 너무 적거나 불량 샘플 수가 너무 적은 비정상 월을 표시하십시오. 해당 월과 이유를 보고하십시오. 사용자가 명시적으로 승인하지 않는 한 자동으로 필터링하지 마십시오.
• 기관/채널 필드가 존재하면 시간 OOT 외에 기관/채널 OOS를 지원하십시오. 보고서에서 시간 OOT, 기관/채널 OOS, 검증 및 훈련을 명확히 분리하십시오.
• 훈련, 검증 및 OOT 샘플 수, 불량 수, 불량률, AUC, KS, PSI 및 점수 분포를 보고하십시오.
• 검증이 층화 무작위인 경우 OOT를 제거한 후 계산하십시오.
• 모든 보고 테이블을 재현할 수 있도록 row_id, 날짜, 분할, 목표, 확률, 로짓 및 점수와 함께 행 수준 점수를 유지하십시오.

선택적 정리 파이프라인

원시 데이터 품질이 불확실할 때, 사용자가 전처리를 요청할 때, 또는 스코어카드/로지스틱 모델에 더 깨끗한 후보 변수가 필요할 때 모델링 전에 가벼운 데이터 정리 및 변수 스크리닝 파이프라인을 실행하십시오. 그래디언트 부스티드 트리 모델의 경우 트리가 결측값, 비선형성 및 상관 변수를 더 잘 처리할 수 있으므로 이 파이프라인을 건너뛰거나 완화할 수 있습니다. 그래도 누수, 샘플 및 안정성 검사는 계속 실행하십시오.

• 원본 파일을 수정하지 않고 데이터를 로드하고 형식을 지정하십시오.
• 총 샘플 수와 불량 샘플 수로 비정상 월을 표시하되 기본적으로 삭제하지 마십시오.
• 전체적으로 결측값/값 비율을 계산하십시오. 기관/채널 필드가 존재하면 기관/채널별로도 계산하십시오.
• 임계값이 합의되거나 명백히 해로운 경우에만 높은 결측값 변수를 제거하십시오.
• 전체적으로 IV를 계산하십시오. 기관/채널 필드가 존재하면 기관/채널별 IV도 계산하고 너무 많은 기관/채널에서 약한 변수를 플래그 지정하십시오.
• 월별 PSI를 계산하십시오. 기관/채널 필드가 존재하면 월별 PSI를 기관/채널별로도 계산하고 집중된 불안정성을 플래그 지정하십시오.
• 선택적으로 Null Importance 노이즈 제거를 실행하여 실제 LightGBM 이득을 레이블 순열 이득과 비교하여 노이즈 변수를 식별하십시오.
• 기존 "상관 그룹에서 최상의 변수 유지" 원칙을 사용하여 높은 상관 관계 변수를 제거하십시오.
• 임계값, 제거된 변수 및 제거 이유와 함께 변수 제거의 각 라운드를 기록하십시오.

특성 엔지니어링

• 사용자가 요청할 때 기업 연령/회사 설립 기간과 같은 원래 원시 특성과 필수 비즈니스 변수로 시작하십시오.
• 기본 데이터 품질을 스크리닝하십시오:
  • 비즈니스에서 명시적으로 요구하지 않는 한 하나의 값이 95%+를 지배하는 특성을 제거하십시오.
  • 사용 불가능, 불안정, 결과 후, 중복 또는 논리적으로 유효하지 않은 변수를 제거하십시오.
  • 기존 스코어카드를 재현할 때 강제 베이스라인 변수를 보존하십시오. 일반 필터를 위반하더라도 이 잠금을 공개하십시오.
• 유용할 때 원시/단변량 IV와 훈련 세트 구간화 후 구간화된 스코어카드 IV를 모두 계산하십시오. 별도로 레이블을 지정하고 원시 구간화되지 않은 IV를 스코어카드 IV라고 부르지 마십시오.
• LightGBM 중요도, IV 및 구간화된 IV의 가중 복합물로 중요한 특성 순위를 매기십시오. 사용자가 가중치를 지정하지 않으면 순위 또는 백분위수 점수를 정규화하고 LightGBM 이득 0.4, IV 0.3, 구간화된 IV 0.3과 같은 균형 잡힌 기본값을 사용하십시오. LightGBM 분할 수는 보조 진단으로 유지하십시오.
• 대규모 후보 풀에 대한 선택적 노이즈 제거 단계로 Null Importance를 사용하십시오: 실제 LightGBM 중요도 모델을 훈련하고 하나 이상의 레이블 순열/널 모델을 훈련한 다음 실제 이득이 널 이득보다 충분히 높지 않은 변수를 플래그 지정하십시오.
• 원래 특성 이름, 한국어/비즈니스 레이블, 공식, 상위 특성, 결측 비율, IV, 구간화된 IV, 단일 특성 AUC/KS, LightGBM 이득/분할, 스크리닝 상태 및 스크리닝 이유를 유지하십시오.

파생 변수

• 사용자가 기본값을 사용하라고 하면 파생 변수를 활성화된 것으로 처리하십시오. 데이터 및 배포 제약 조건이 허용하는 곳에서 광범위한 파생 변수 라이브러리를 생성하십시오:
  • 원시 산술: 차이, 비율, 역비율, 점유율, 상대적 차이, 평균, 합계, 최소/최대, 절대 차이.
  • 기간 및 추세 특성: 단기/장기 비율, 월별 평균, 월별 가속도, 최근-과거 격차.
  • 변환: 로그, 클리핑/윈저화, 백분위 순위, 결측/특수값 표시자.
  • WOE 조합: WOE 합계, WOE 차이, WOE 곱, WOE 최소/최대, WOE 절대 격차.
  • 트리 조합: 23개 강력한 변수로 구축된 23 수준 의사결정 트리 리프 특성 또는 간결한 규칙 버킷.
  • 그룹 상호 작용: 동일 계열 신용, 조회, 이용률, 연체, 잔액 및 기업 연령 조합.
• 모든 파생 변수에 대해 배포 가능성을 추적하십시오. 여러 후보가 유사한 검증/OOT 성능을 가질 때 더 간단한 원시 공식을 선호하되 기본적으로 WOE 조합이나 트리 조합을 배제하지 마십시오.
• 기본적으로 파생 변수가 스크리닝 및 모델 선택에 참여하도록 하십시오. 최종 모델에서 파생 변수는 검증/OOT 성능, 안정성을 개선하거나 해석 가능성을 실질적으로 향상시키는 경우에만 필요로 하십시오. 그렇지 않으면 파생 변수가 생성되었고 거부되었다고 보고하십시오.
• 생성된 표시 이름뿐만 아니라 소스 특성을 사용하여 배포 준비가 된 형태로 파생 공식을 기록하십시오.
• 파생 변수가 생성될 때마다 최종 산출물에 파생 변수 감사 테이블 또는 시트를 추가하십시오. 여기에는 공식, 상위 변수, 배포 가능성, 스크리닝 상태, IV 및 최종 선택 상태가 포함됩니다.

기본 파라미터

사용자가 대안을 제공하지 않는 한 이러한 기본값을 사용하십시오.

• 스코어카드:
  • 특성 상한: 15개 이하의 최종 변수.
  • 구간화 상한: 특성당 7개 이하의 구간(가능한 경우 결측/특수 구간 포함).
  • 점수 척도: base_score = 600, odds = 0.05, pdo = 60.
  • 특성 스크리닝: 필수가 아닌 경우 95%+ 동일한 값을 가진 변수 제거; 필수가 아닌 경우 구간화된 IV가 0.05 미만인 변수 제거; WOE 추세 및 비즈니스 로직 검사.
  • 상관 관계 임계값: 절대 상관 관계 0.5 이상 플래그 지정.
  • 다중 공선성: 단계적 로지스틱 회귀, 계수 부호 검사 및 VIF 사용.
• LightGBM 베이스라인:
  • 목적: 사용자가 회귀/순위를 선택하지 않는 한 이진 분류.
  • 일반적인 시작 파라미터: learning_rate 0.03-0.08, num_leaves 15-63, max_depth 3-7 또는 작은 리프로 제약 없음, min_data_in_leaf 샘플 크기에 따라 100-1000, feature_fraction 0.7-0.9, bagging_fraction 0.7-0.9, bagging_freq 1, lambda_l1 0-5, lambda_l2 0-20, 검증에 대한 조기 중단.
• XGBoost 베이스라인:
  • 일반적인 시작 파라미터: eta 0.03-0.08, max_depth 3-6, min_child_weight 20-200, subsample 0.7-0.9, colsample_bytree 0.7-0.9, gamma 0-5, reg_alpha 0-5, reg_lambda 1-20, 검증에 대한 조기 중단.
• 선형/로지스틱 회귀:
  • 적절하게 특성을 표준화하거나 WOE 변환하십시오.
  • 계수 안정성과 검증 성능을 확인한 후 정규화 강도와 패널티를 튜닝하십시오.

구간화 및 WOE

• 훈련 데이터에만 WOE 구간을 적합시키십시오. 동일한 구간 경계와 결측 구간을 검증 및 OOT에 적용하십시오.
• 의사결정 트리, 분위수 및 수동/비즈니스 구간화 접근 방식을 사용하십시오. 수동 구간화가 비즈니스 규칙과 일치하는 경우 선호하십시오.
• 각 구간에 대해 불량 수, 우량 수, 불량률, WOE, IV 및 점수를 보고하십시오.
• 단조성 제약 조건이 요청된 경우 구간화 중에 이를 적용하십시오.
• 구간화 후 변수에 대한 WOE 및 IV 요약 테이블을 생성하십시오.

모델 진단

각 모델 버전에 대해 다음을 진단하십시오:

1. 과적합: 훈련 AUC/KS와 검증 AUC/KS의 격차. 격차가 0.05/5%를 초과하면 과적합 가능성.
2. 과소적합: 검증 AUC가 0.6 미만 또는 KS가 0.15 미만.
3. 시간 안정성: 월별 PSI, 점수 분포 이동.
4. 캘리브레이션: 예측 확률과 실제 비율의 일치도.
5. 계수 방향: 로지스틱 회귀 계수가 비즈니스 논리와 일치하는지 확인.
6. 특성 안정성: 특성 중요도 순위가 시간이 지남에 따라 변하는지 확인.
7. 데이터 누수: 성능이 비정상적으로 높은 경우 누수 경로 조사.

진단 결과를 바탕으로 최적화 전략을 권장하고 실행하십시오.

모델 비교

• 챔피언/챌린저 프레임워크를 지원하십시오.
• 여러 모델을 검증 및 OOT에서 AUC, KS, PSI, 리프트, 캘리브레이션 및 해석 가능성으로 비교하십시오.
• 최상의 모델을 선택하거나 앙상블을 제안하십시오.
• 비교 테이블과 차트를 생성하십시오.

보고서 생성

• 모델 개발 보고서와 모델 검증 보고서를 별도로 생성하십시오.
• 보고서에 다음이 포함되어야 합니다:
  • 모델 개요 및 목적
  • 데이터 설명 및 분할
  • 특성 엔지니어링 및 선택
  • 모델 훈련 및 튜닝
  • 모델 성능 평가 (AUC, KS, PSI, 리프트, 게인 차트)
  • 스코어카드 점수 척도 (해당하는 경우)
  • 특성 중요도 및 해석
  • 컷오프 및 전략 제안 (해당하는 경우)
  • 모델 한계 및 가정
• 사용자 지정 템플릿이 제공되면 이를 사용하십시오.
• 보고서 언어를 사용자 언어와 일치시키십시오.

배포 지원

• 모델 배포를 위한 점수 매기기 코드 또는 SQL을 제공하십시오.
• 스코어카드의 경우 점수 카드 테이블과 점수 매기기 공식을 제공하십시오.
• 모니터링을 위한 PSI 및 성능 추적 템플릿을 제공하십시오.
• 모델 문서화를 지원하십시오.