airclaw은(는) 무엇을 하나요?
Apache Airflow + NVIDIA NemoClaw로 구축된 자율 생산성 에이전트입니다. 두 가지 파이프라인을 제공합니다: NYC 311 야간 분류(시 기관 관리자에게 하루 47분 절약)와 모델 마이그레이션 평가(수동 LLM 비교 2-3일 대체). Airflow가 일정을, NemoClaw가 두뇌 역할을 합니다.
개요
itsChanelML/airclaw는 일상적인 생산성 작업을 자동화하기 위해 설계된 AI 에이전트입니다. Apache Airflow의 강력한 스케줄링 기능과 NVIDIA NemoClaw의 지능형 에이전트 기능을 결합하여, 사람의 개입 없이도 복잡한 데이터 처리 및 분석 파이프라인을 실행할 수 있습니다.
주요 파이프라인
1. NYC 311 야간 분류
- 목적: 뉴욕시 311 민원 데이터를 야간에 자동으로 처리하고 분류합니다.
- 효과: 시 기관 감독관이 매일 아침 우선순위가 지정된 작업 목록을 확인할 수 있어, 수동 분류에 소요되는 평균 47분을 절약합니다.
- 작동 방식: NemoClaw가 들어오는 311 요청을 분석하여 긴급도, 범주, 담당 부서별로 태깅 및 분류합니다.
2. 모델 마이그레이션 평가
- 목적: 대규모 언어 모델(LLM) 간의 마이그레이션(예: GPT-3에서 GPT-4로)이 필요할 때, 기존 모델과 새 모델의 성능을 체계적으로 비교 평가합니다.
- 효과: 수동으로 수행 시 2-3일이 소요되던 비교 작업을 몇 시간 내로 단축합니다.
- 작동 방식: Airflow DAG이 테스트 데이터셋을 로드하고, NemoClaw가 두 모델의 출력을 평가하여 정확성, 일관성, 성능 차이에 대한 상세 보고서를 생성합니다.
아키텍처
- Apache Airflow: 파이프라인 오케스트레이션 및 스케줄링을 담당합니다. DAG(방향성 비순환 그래프)를 통해 각 작업 단계를 정의하고, 의존성 관리 및 재시도 로직을 처리합니다.
- NVIDIA NemoClaw: 에이전트의 '두뇌' 역할을 합니다. 자연어 이해, 추론, 의사 결정, 텍스트 생성을 담당하며, Airflow 태스크 내에서 호출되어 데이터를 처리합니다.
사용 방법
- Airflow 환경 설정: Apache Airflow 인스턴스를 설치하고 실행합니다.
- NemoClaw 통합: NVIDIA NemoClaw API 키를 환경 변수로 설정합니다.
- DAG 배포: 제공된 DAG 파일을 Airflow DAGs 폴더에 복사합니다.
- 파이프라인 실행: Airflow UI에서 DAG을 활성화하고 실행을 모니터링합니다.
설정 예시
export NEMO_CLAW_API_KEY="your-api-key"
export AIRFLOW_HOME=/path/to/airflow
# DAG 파일을 Airflow DAGs 디렉토리로 복사
cp dag_nyc311_triage.py $AIRFLOW_HOME/dags/
cp dag_model_migration_eval.py $AIRFLOW_HOME/dags/
요구 사항
- Apache Airflow >= 2.5.0
- NVIDIA NemoClaw API 접근 권한
- Python >= 3.8
라이선스
이 프로젝트는 MIT 라이선스에 따라 라이선스가 부여됩니다.