curiositech/windags-skills

에이전틱 기술 발견 (Agentic Skill Discovery)

버전: 1.0
도메인: 자율 학습 시스템, AI 아키텍처, 강화 학습

핵심 개념

자율 기술 발견은 닭과 달걀 문제를 해결합니다: 성공이 무엇인지 학습하면서도 그것을 달성하는 방법을 배워야 합니다. 시스템은 학생이자 교사 역할을 동시에 수행해야 하므로, 제안과 검증에 대한 아키텍처적 분리를 필요로 하는 순환 의존성을 만듭니다.

결정 포인트

아키텍처 선택 결정 트리

작업에 명확한 성공 기준이 있는 경우 (예: 내비게이션, 명확한 목표가 있는 조작) → 단일 모델 아키텍처 사용 + 빠른 LLM 평가 → 비용: 낮음 | 정밀도: ~75% | 사용 사례: 사전 정의된 작업

작업이 개방형 기술 발견을 요구하는 경우 (예: 창의적 작업, 탐색) → 이중 프로세스 아키텍처 사용 (System 1/System 2) → System 1: 훈련 루프를 위한 빠른 LLM 평가 → System 2: 라이브러리 승인을 위한 독립적인 VLM 검증 → 비용: 높음 | 정밀도: ~76% | 사용 사례: 자율 학습

복잡한 다단계 동작이 필요한 경우 → 하향식 퀘스트 분해 (Top-Down Quest Decomposition) → 실패한 복잡한 작업으로 시작 → 하위 작업으로 분해 → 누락된 전제 조건 학습 → 성공률: 43.75% vs 12.50% (상향식 체이닝 대비)

기본 요소로부터 스킬 라이브러리 구축 시 → 기본 요소가 최종 목표와 잘 일치하는 경우에만 상향식 스킬 체이닝 사용 → 위험: 조합적 폭발 및 '중간 스킬' 누락 → 대체 방안: 구성이 실패하면 하향식으로 전환

기존 접근법으로 성능이 정체되는 경우 → 순환 의존성 확인 (동일 모델이 제안 및 평가) → 감지된 경우: 아키텍처 분리 구현 → 감지되지 않은 경우: 환경 지식 증류를 위해 성공적인 스킬 패턴을 포함한 RAG 추가

검증 전략 결정 테이블

시나리오	빠른 평가 (System 1)	느린 평가 (System 2)	라이브러리 승인 규칙
훈련 루프	LLM 생성 성공 함수	없음	해당 없음
스킬 검증	LLM 평가	VLM 확인	둘 다 통과 필요
라이브러리 오염 위험	높은 허용 오차	제로 허용 오차	System 2 무시 필요
비용 제약	속도에 최적화	정확도에 최적화	비대칭 비용 수용

실패 모드

1. 고무 도장 평가 (Rubber Stamp Evaluation)

증상: 보고된 성공률은 높지만 작업 완료는 낮음, 라이브러리 급속 성장 탐지 규칙: 동일 모델이 보상을 생성하고 성공을 평가한다면 순환 의존성 존재 근본 원인: LLM이 플레이어와 심판 역할을 동시에 수행하여 평가 편향 발생 수정: 독립적인 검증기로 아키텍처 분리 구현 (예: 시각 작업의 경우 VLM)

2. 기본 요소 폭발 마비 (Primitive Explosion Paralysis)

증상: 큰 스킬 라이브러리지만 복잡한 작업 해결 불가, 스킬이 효과적으로 구성되지 않음 탐지 규칙: 스킬 수는 증가하지만 복잡한 작업 성공률이 정체되면 '중간 스킬' 문제 존재 근본 원인: 상향식 체이닝은 기본 요소와 복잡한 목표 사이의 스킬을 발견할 수 없음 수정: 원하는 복잡한 동작에서 하향식 퀘스트 분해로 전환

3. 맥락 없는 RAG 낭비 (Context-Free RAG Waste)

증상: RAG 검색이 발생하지만 성능 개선 없음, 검색을 일반적인 예제 제공으로 취급 탐지 규칙: RAG가 제약 조건 학습 (예: 물리 이해)을 개선하지 않는다면, 단지 비싼 프롬프팅에 불과함 근본 원인: 환경 지식 증류 메커니즘 누락 수정: 스킬 라이브러리를 단순한 예제 모음이 아닌 환경의 행동 가능성에 대한 점진적 모델로 구조화

4. 라이브러리 오염 캐스케이드 (Library Contamination Cascade)

증상: 라이브러리가 성장함에 따라 성능이 시간이 지남에 따라 저하, 거짓 양성 누적 탐지 규칙: 라이브러리 승인이 훈련 루프와 동일한 평가를 사용한다면 오염이 캐스케이드됨 근본 원인: 나쁜 스킬이 나쁜 구성을 가능하게 함; 라이브러리 오류는 훈련 노이즈와 달리 누적됨 수정: 라이브러리 승인에는 비싼 독립적 검증 사용, 저렴한 평가는 훈련에만 사용

5. 수동 세분화 재정의 (Manual Granularity Override)

증상: 스킬이 자연스러운 의미 경계와 동떨어져 느껴짐, 강제된 추상화 수준 탐지 규칙: 수동으로 스킬 세분화를 지정하는 것이 LLM 제안과 모순된다면 도메인 정렬 확인 근본 원인: LLM은 훈련 데이터로부터 의미론적 작업 경계를 인코딩함 수정: 시스템이 자유롭게 스킬을 제안하도록 하고, 발견된 세분화를 관찰한 후 도메인 특정 요구에만 조정

실제 예제

예제 1: 이중 프로세스 검증을 사용한 로봇 서랍 열기

시나리오: 에이전트가 사전 정의된 성공 기준 없이 다양한 서랍 유형을 여는 방법을 학습해야 함.

System 1 (빠름) 프로세스:

1. LLM이 스킬 제안 생성: "grasp_drawer_handle"
2. LLM이 성공 함수 생성: drawer_handle_grasped = gripper_distance < 0.02
3. RL 훈련이 이 함수를 사용하여 100회 에피소드 진행
4. LLM 평가: "성공! 그리퍼가 일관되게 핸들에 도달"
5. 결정 포인트: 라이브러리에 추가? 아니요 - System 2 필요

System 2 (느림) 프로세스:

1. VLM이 최고 성능 10개 에피소드의 최종 비디오 프레임 분석
2. VLM 판정: "그리퍼가 핸들에 닿지만 잡은 상태를 유지하지 않음 - 손가락이 닫히지 않음"
3. 탐지: System 1 거짓 양성 발견
4. 조치: 라이브러리 승인 거부, 성공 함수 개선
5. 반복: 성공 함수에 그립 압력 요구사항 추가

전문가 vs 초보자:

• 초보자가 놓치는 점: LLM 자체 평가를 신뢰하여 잘못 학습된 스킬을 라이브러리에 추가
• 전문가가 잡아내는 점: 동일 모델이 자신이 제안한 것을 평가할 수 없음; 독립적 검증 필요

결과: System 2 없이 46%였던 정밀도가 System 2 적용 후 라이브러리 정밀도 76% 유지

예제 2: 다단계 작업을 위한 하향식 퀘스트 분해

시나리오: "prepare_coffee"가 상향식 스킬 체이닝으로 실패, "grasp_cup", "pour_liquid"와 같은 기본 요소가 있음에도 불구

상향식 실패 분석:

• 사용 가능한 스킬: grasp_cup, pour_liquid, move_arm, detect_object
• 구성 시도: 가능한 16개의 2-스킬 체인 모두 시도
• 누락된 중간 스킬: "align_cup_with_spout", "detect_liquid_level", "coordinate_bimanual_pouring"
• 결정 포인트: 상향식으로는 이를 발견할 수 없음 - 기본 요소 구성이 아님

하향식 분해:

1. 실패한 작업: "prepare_coffee"
2. 분해: [heat_water] → [grind_beans] → [align_cup] → [pour_water] → [add_beans]
3. 갭 분석: "align_cup"이 라이브러리에서 누락됨
4. 주문형 학습: 초기 상태 = "grind_beans"의 최종 상태로 "align_cup" 학습
5. 체이닝: 각 하위 작업의 성공 상태가 다음 작업의 초기 조건이 됨

트레이드오프 분석:

• 상향식: 12.50% 성공률, 불필요한 스킬 조합 탐색
• 하향식: 43.75% 성공률, 필요한 전제 조건만 학습
• 비용: 하향식은 작업 분해 능력 필요, 상향식은 철저한 탐색 필요

하향식이 실패하는 경우:

• 작업 분해가 잘못되면, 부정확한 하위 작업에 대한 스킬을 학습
• 초기 상태를 신뢰성 있게 설정할 수 없으면, 체이닝이 끊김
• 완화: 스킬 학습 전에 분해 검증, 상태 설정 확인 구현

예제 3: RAG 환경 지식 증류

시나리오: 에이전트가 명시적 물리 제약 없이 새로운 환경에서 조작 스킬을 학습해야 함

RAG 없음 (25% 성공률):

1. LLM이 보상 생성: reward = distance_to_target
2. 에이전트가 접근을 학습하지만 충돌 경계를 고려하지 않음
3. 실패: 그리퍼가 잡기 전에 표면에서 5cm 떨어져 있어야 한다는 지식 없음

RAG 사용 (46% 성공률):

1. 이전 성공 검색: "reach_cube_A" 보상 함수
2. 패턴 감지: 모든 성공적인 접근이 gripper_height > 0.05 제약을 포함
3. LLM 통합: reward = distance_to_target if gripper_height > 0.05 else -10
4. 지식 증류: 환경 행동 가능성이 암묵적으로 학습됨

전문가 vs 초보자:

• 초보자가 놓치는 점: RAG를 예제 제공으로만 취급, 제약 학습을 인식하지 못함
• 전문가가 잡아내는 점: RAG는 패턴 인식을 통한 환경 지식 증류를 가능하게 함

RAG가 실패하는 경우:

• 검색된 패턴이 다른 환경에서 온 경우, 잘못된 제약 학습
• 성공 예제가 너무 희박한 경우, 패턴이 통계적으로 유의미하지 않음
• 완화: 환경 유사성별 검색 필터링, 패턴 추출을 위한 최소 샘플 크기 요구

품질 관문

• 제안과 검증이 서로 다른 모델 기능을 사용함 (예: LLM이 제안, VLM이 검증)
• 빠른 평가 정밀도 >45%, 느린 평가 정밀도 >75%가 보류된 테스트 세트에서 측정됨
• 라이브러리 승인에는 훈련 루프 성공뿐만 아니라 독립적 검증이 필요함
• 복잡한 작업 분해가 명확한 의존성 순서를 가진 3~7개의 의미 있는 하위 작업을 생성함
• RAG 검색이 RAG 없는 기준선 대비 제약 학습을 15% 이상 개선함
• 스킬 세분화 분석이 매개변수 열거가 아닌 의미적 클러스터링을 보여줌
• 시스템이 순환 의존성 실패 모드를 탐지하고 복구할 수 있음
• 라이브러리 오염률 <25%가 독립적 평가를 통해 확인됨
• 하향식 분해가 복잡한 작업에서 상향식 체이닝보다 2배 이상 우수한 성능을 보임
• 환경 지식 증류가 성공 패턴으로부터 제약 학습을 입증함

적용 불가 범위 (NOT-FOR Boundaries)

다음 경우에는 이 스킬을 사용하지 마세요:

• 알려진 성공 기준이 있는 사전 정의된 작업 → 수제 보상으로 표준 RL 사용
• 단일 단계 조작 작업 → 데모 데이터로 지도 학습 사용
• 실시간 성능이 필요한 작업 → 이중 프로세스 검증이 너무 느림; 캐시된 스킬 라이브러리 사용
• 시각적 피드백이 없는 도메인 → VLM 검증 불가; 도메인 특정 독립적 검증기 설계
• 리소스 제약 환경 → System 2 검증이 비쌈; 더 낮은 정밀도를 수용하거나 계층적 검증 사용

대신 다음 스킬을 위임하세요:

• 표준 보상 엔지니어링 → 명확한 성공 메트릭이 있는 작업용
• 모방 학습 → 풍부한 데모 데이터가 있는 작업용
• 계층적 RL → 알려진 스킬 분해가 있는 작업용
• 메타 학습 → 새로운 작업 분포에 대한 빠른 적응용
• 헌법적 AI → 가치 정렬 및 안전 제약이 필요한 작업용