Maranh0/ai-junior-data_scientist

ai-junior-data_scientist은(는) 무엇을 하나요?

🤖 로컬 LLM과 FastAPI로 구동되는 AI 주니어 데이터 사이언티스트 에이전트로 핀테크 데이터를 분석하고 EDA 및 이탈 모델링을 수행합니다.

개요

이 에이전트는 FastAPI와 로컬 LLM(예: Ollama, Llama.cpp, LM Studio 등)을 사용하여 핀테크 데이터셋에 대한 완전한 데이터 과학 워크플로우를 자동화합니다. 사용자는 간단한 질의로 EDA부터 이탈 예측까지 실행할 수 있습니다.

주요 기능

• 탐색적 데이터 분석(EDA): 데이터 프로파일링, 통계 요약, 상관관계 매트릭스, 분포 시각화
• 특징 엔지니어링: 자동 결측치 처리, 인코딩, 스케일링, 파생 변수 생성
• 이탈 모델링: 로지스틱 회귀, 랜덤 포레스트, XGBoost 등 다양한 분류 모델 학습 및 하이퍼파라미터 튜닝
• 모델 평가: 정밀도, 재현율, F1 점수, ROC-AUC, 혼동 행렬
• 인사이트 보고: 주요 이탈 요인, 고위험군 세그먼트 식별, 실행 가능한 권장 사항

지원 플랫폼

• 로컬 LLM: Ollama, llama.cpp, LM Studio, LocalAI 등 OpenAI 호환 API 제공
• 백엔드: FastAPI (Python 3.9+)
• 데이터 포맷: CSV, Parquet, Excel

시작하기

사전 요구 사항

• Python 3.9+
• FastAPI (pip install fastapi uvicorn)
• 로컬 LLM (예: Ollama로 llama3 모델 다운로드)
• 필수 라이브러리: pandas, numpy, scikit-learn, matplotlib, seaborn, joblib

설치

git clone https://github.com/Maranh0/ai-junior-data_scientist.git
cd ai-junior-data_scientist
pip install -r requirements.txt

환경 변수 설정

.env 파일 생성:

LLM_API_BASE=http://localhost:11434/v1
LLM_MODEL=llama3
FASTAPI_HOST=0.0.0.0
FASTAPI_PORT=8000

실행

uvicorn main:app --reload

사용 예시

간단한 API 호출로 전체 워크플로우를 트리거합니다:

curl -X POST "http://localhost:8000/analyze" \
  -H "Content-Type: application/json" \
  -d '{
    "data_path": "./data/fintech_customers.csv",
    "target": "churn",
    "task": "full_workflow"
  }'

응답에는 EDA 요약, 피처 중요도 플롯, 모델 성능 지표, 이탈 가능성이 높은 상위 10명의 고객 목록이 포함됩니다.

SKILL.md에 따른 동작 방식

1. 데이터 로드 및 검증: 에이전트가 데이터셋을 로드하고 스키마, 결측치, 기초 통계를 출력합니다.
2. EDA 실행: LLM이 데이터 프로파일링 결과를 바탕으로 적절한 시각화와 분석 코드를 생성하고 실행합니다.
3. 특징 엔지니어링: LLM이 데이터 특성에 맞는 전처리 파이프라인을 설계하고 적용합니다.
4. 모델 학습: 여러 분류 알고리즘을 자동으로 시도하고 최적의 모델을 선택합니다.
5. 평가 및 해석: 모델 성능을 평가하고, SHAP 또는 피처 중요도를 사용하여 결과를 해석합니다.
6. 보고서 생성: 분석 결과를 마크다운 리포트로 정리하고 API 응답으로 반환합니다.

라이선스

MIT

기여

이슈와 PR은 언제나 환영합니다! 개선 사항이나 버그 수정을 위해 자유롭게 기여해 주세요.