LLM Council

한 AI에게 질문을 하면, 하나의 답변만 받게 됩니다. 그 답변은 훌륭할 수도 있고, 평범할 수도 있습니다. 단 하나의 관점만 보았기 때문에 이를 알 방법이 없습니다.

카운슬이 이 문제를 해결합니다. 여러분의 질문을 5명의 독립적인 어드바이저에게 전달하여, 각자 근본적으로 다른 각도에서 생각하게 합니다. 그런 다음 서로의 작업을 검토합니다. 마지막으로 의장이 모든 것을 종합하여 어드바이저들이 동의하는 부분, 충돌하는 부분, 그리고 실제로 무엇을 해야 하는지 알려주는 최종 권장 사항을 제시합니다.

이 방법은 Andrej Karpathy의 LLM Council에서 차용했습니다. 그는 여러 모델에 쿼리를 보내고, 익명으로 상호 검토하게 한 후, 의장이 최종 답변을 생성합니다. 우리는 Claude 내부에서 서브 에이전트를 사용하여 동일한 작업을 수행하되, 다른 모델 대신 다른 사고 렌즈를 사용합니다.

카운슬을 실행해야 할 때

카운슬은 잘못된 결정의 대가가 큰 질문을 위한 것입니다.

좋은 카운슬 질문:

"97달러 워크숍을 출시해야 할까요, 아니면 497달러 강좌를 출시해야 할까요?"
"이 3가지 포지셔닝 각도 중 가장 강력한 것은 무엇인가요?"
"X에서 Y로 피벗하는 것을 고려 중입니다. 제가 미친 건가요?"
"제 랜딩 페이지 카피입니다. 약한 부분이 무엇인가요?"
"먼저 가상 비서를 고용해야 할까요, 아니면 자동화를 구축해야 할까요?"

나쁜 카운슬 질문:

"프랑스의 수도는 어디인가요?" (정답이 하나이며, 다양한 관점이 필요하지 않음)
"트윗을 작성해 주세요" (창작 작업, 결정이 아님)
"이 기사를 요약해 주세요" (처리 작업, 판단이 아님)

카운슬은 진정한 불확실성이 있고, 잘못된 판단의 비용이 높을 때 빛을 발합니다. 이미 답을 알고 있고 단지 확증을 원한다면, 카운슬은 듣고 싶지 않은 이야기를 할 가능성이 높습니다. 그것이 바로 포인트입니다.

다섯 명의 어드바이저

각 어드바이저는 다른 각도에서 생각합니다. 직함이나 페르소나가 아닌, 서로 간에 자연스럽게 긴장을 유발하는 사고 스타일입니다.

1. 반론자 (The Contrarian)

잘못된 점, 누락된 점, 실패할 점을 적극적으로 찾습니다. 아이디어에 치명적인 결함이 있다고 가정하고 이를 찾으려고 시도합니다. 모든 것이 견고해 보이면, 더 깊이 파고듭니다. 반론자는 비관론자가 아닙니다. 여러분이 회피하는 질문을 함으로써 잘못된 거래에서 구해주는 친구입니다.

2. 원리주의자 (The First Principles Thinker)

표면적인 질문은 무시하고 "우리가 실제로 해결하려는 것은 무엇인가?"라고 묻습니다. 가정을 제거합니다. 문제를 처음부터 다시 구축합니다. 때로는 카운슬의 가장 가치 있는 결과물은 원리주의자가 "당신은 완전히 잘못된 질문을 하고 있습니다"라고 말하는 것입니다.

3. 확장주의자 (The Expansionist)

다른 사람들이 모두 놓치고 있는 상승 여력을 찾습니다. 무엇이 더 커질 수 있을까? 어떤 인접 기회가 숨겨져 있을까? 무엇이 과소평가되고 있을까? 확장주의자는 위험에 신경 쓰지 않습니다(그것은 반론자의 일입니다). 그들은 이것이 예상보다 훨씬 더 잘 작동한다면 어떻게 될지에 관심을 둡니다.

4. 외부인 (The Outsider)

여러분, 여러분의 분야, 여러분의 이력에 대한 컨텍스트가 전혀 없습니다. 오직 눈앞에 있는 것에만 반응합니다. 이것은 가장 과소평가된 어드바이저입니다. 전문가들은 사각지대를 키웁니다. 외부인은 지식의 저주를 잡아냅니다. 즉, 여러분에게는 명백하지만 다른 모든 사람에게는 혼란스러운 것들입니다.

5. 실행자 (The Executor)

오직 한 가지만 신경 씁니다: 이것이 실제로 실행 가능한가? 그리고 실행하는 가장 빠른 길은 무엇인가? 이론, 전략, 거시적 사고는 무시합니다. 실행자는 모든 아이디어를 "좋아, 그럼 월요일 아침에 뭘 할 건데?"라는 렌즈를 통해 봅니다. 아이디어가 훌륭해 보이지만 명확한 첫 단계가 없다면, 실행자가 그렇게 말할 것입니다.

왜 이 다섯 명인가: 세 가지 자연스러운 긴장을 만듭니다. 반론자 대 확장주의자 (하방 대 상방). 원리주의자 대 실행자 (모든 것을 재고하라 대 그냥 실행하라). 외부인은 중간에 서서, 새로운 시각이 보는 것을 통해 모두가 정직함을 유지하도록 합니다.

카운슬 세션 진행 방식

1단계: 질문 구성 (컨텍스트 강화 포함)

사용자가 "council this" (또는 다른 트리거 문구)를 말하면, 질문을 구성하기 전에 두 가지 작업을 수행합니다:

A. 작업 공간에서 컨텍스트 스캔. 사용자의 질문은 종종 빙산의 일각에 불과합니다. 사용자의 Claude 설정에는 카운슬의 결과물을 크게 향상시킬 파일이 있을 가능성이 높습니다. 구성을 시작하기 전에 관련 컨텍스트 파일을 빠르게 스캔하고 읽습니다:

프로젝트 루트 또는 작업 공간의 CLAUDE.md 또는 claude.md (비즈니스 컨텍스트, 선호도, 제약 사항)
memory/ 폴더 (잠재 고객 프로필, 음성 문서, 비즈니스 세부 사항, 과거 결정 사항)
사용자가 명시적으로 참조하거나 첨부한 파일
같은 폴더에 있는 최근 카운슬 기록 (같은 내용을 반복해서 카운슬링하지 않도록)
특정 질문과 관련된 기타 컨텍스트 파일 (예: 가격 책정에 대해 묻는 경우, 매출 데이터, 과거 출시 결과, 잠재 고객 조사 확인)

Glob과 빠른 Read 호출을 사용하여 이 파일들을 찾습니다. 이 작업에 30초 이상 소비하지 마십시오. 어드바이저가 일반적인 조언 대신 구체적이고 근거 있는 조언을 제공하는 데 필요한 컨텍스트를 제공할 2-3개의 파일을 찾는 것입니다.

B. 질문을 구성합니다. 사용자의 원시 질문과 강화된 컨텍스트를 가져와 다섯 명의 어드바이저 모두가 받을 명확하고 중립적인 프롬프트로 재구성합니다. 구성된 질문에는 다음이 포함되어야 합니다:

핵심 결정 또는 질문
사용자 메시지의 주요 컨텍스트
작업 공간 파일의 주요 컨텍스트 (비즈니스 단계, 잠재 고객, 제약 사항, 과거 결과, 관련 숫자)
위험 요소 (이 결정이 중요한 이유)

자신의 의견을 추가하지 마십시오. 방향을 잡지 마십시오. 그러나 각 어드바이저가 일반적인 조언 대신 구체적이고 근거 있는 답변을 제공할 수 있는 충분한 컨텍스트를 갖도록 해야 합니다.

질문이 너무 모호한 경우("council this: my business"), 명확한 질문을 하나만 합니다. 딱 하나만. 그런 다음 진행합니다.

구성된 질문은 기록을 위해 저장합니다.

2단계: 카운슬 소집 (5명의 서브 에이전트를 병렬로)

5명의 어드바이저를 모두 서브 에이전트로 동시에 생성합니다. 각 서브 에이전트는 다음을 받습니다:

자신의 어드바이저 정체성과 사고 스타일 (위의 설명에서)
구성된 질문
명확한 지시: 독립적으로 응답하라. 애매모호하게 말하지 마라. 균형을 맞추려 하지 마라. 할당된 관점에 완전히 충실하라. 치명적인 결함이 보이면 말하라. 엄청난 상승 여력이 보이면 말하라. 당신의 역할은 가능한 한 강력하게 자신의 각도를 대표하는 것이다. 종합은 나중에 이루어진다.

각 어드바이저는 150-300단어의 응답을 생성해야 합니다. 내용이 충분히 실질적이면서도 훑어보기 쉬울 정도로 짧아야 합니다.

서브 에이전트 프롬프트 템플릿:

당신은 LLM 카운슬의 [어드바이저 이름]입니다.

당신의 사고 스타일: [위의 어드바이저 설명]

사용자가 이 질문을 카운슬에 제출했습니다:

---

[구성된 질문]

---

당신의 관점에서 응답하십시오. 직설적이고 구체적으로 말하십시오. 애매모호하게 말하거나 균형을 맞추려 하지 마십시오. 할당된 각도에 완전히 충실하십시오. 다른 어드바이저들이 당신이 다루지 않는 각도를 다룰 것입니다.

응답은 150-300단어로 유지하십시오. 서두 없이 바로 분석으로 들어가십시오.

3단계: 동료 검토 (5명의 서브 에이전트를 병렬로)

이 단계가 카운슬을 단순한 "5번 물어보기" 이상으로 만듭니다. 이것이 Karpathy 통찰력의 핵심입니다.

5명의 어드바이저 응답을 모두 수집합니다. 응답 A부터 E까지 익명화합니다 (위치 편향을 방지하기 위해 각 어드바이저가 어떤 문자에 매핑되는지 무작위로 지정합니다).

각 어드바이저를 위해 5명의 새로운 서브 에이전트를 생성합니다. 각 검토자는 모든 5개의 익명화된 응답을 보고 세 가지 질문에 답합니다:

가장 강력한 응답은 무엇이며 그 이유는 무엇인가? (하나 선택)
가장 큰 사각지대를 가진 응답은 무엇이며 그 사각지대는 무엇인가?
모든 응답이 놓친 것으로 카운슬이 고려해야 할 것은 무엇인가?

검토자 프롬프트 템플릿:

당신은 LLM 카운슬의 결과물을 검토하고 있습니다. 다섯 명의 어드바이저가 이 질문에 독립적으로 답변했습니다:

---

[구성된 질문]

---

다음은 익명화된 응답입니다:

**응답 A:**

[응답]

**응답 B:**

[응답]

**응답 C:**

[응답]

**응답 D:**

[응답]

**응답 E:**

[응답]

다음 세 가지 질문에 답하십시오. 구체적으로 답변하십시오. 문자로 응답을 참조하십시오.

1. 가장 강력한 응답은 무엇입니까? 그 이유는 무엇입니까?
2. 가장 큰 사각지대를 가진 응답은 무엇입니까? 무엇을 놓치고 있습니까?
3. 다섯 개의 응답 모두가 놓친 것으로 카운슬이 고려해야 할 것은 무엇입니까?

리뷰를 200단어 미만으로 유지하십시오. 직설적으로 말하십시오.

4단계: 의장 종합

이것이 최종 단계입니다. 하나의 에이전트가 모든 것을 받습니다: 원래 질문, 5명의 어드바이저 응답 (이제 익명이 해제되어 어떤 어드바이저가 무엇을 말했는지 알 수 있음), 그리고 5개의 동료 검토 모두.

의장의 임무는 최종 카운슬 결과물을 생성하는 것입니다. 다음 구조를 따릅니다:

카운슬 판결

카운슬이 동의하는 부분 — 여러 어드바이저가 독립적으로 수렴한 지점. 이는 신뢰도가 높은 신호입니다.
카운슬이 충돌하는 부분 — 진정한 의견 불일치. 이것을 매끄럽게 덮지 마십시오. 양측을 제시하고 합리적인 어드바이저들이 왜 동의하지 않는지 설명하십시오.
카운슬이 발견한 사각지대 — 동료 검토 단계를 통해서만 드러난 것들. 개별 어드바이저가 놓쳤지만 다른 어드바이저가 지적한 것들.
권장 사항 — 명확하고 실행 가능한 권장 사항. "상황에 따라 다릅니다"가 아닙니다. "양쪽을 고려하십시오"가 아닙니다. 진정한 답변입니다. 의장은 근거가 뒷받침된다면 다수결에 동의하지 않을 수 있습니다.
가장 먼저 해야 할 한 가지 — 단일하고 구체적인 다음 단계. 10가지 목록이 아닙니다. 한 가지입니다.

의장 프롬프트 템플릿:

당신은 LLM 카운슬의 의장입니다. 당신의 임무는 5명의 어드바이저와 그들의 동료 검토 결과를 종합하여 최종 판결을 내리는 것입니다.

카운슬에 제출된 질문:

---

[구성된 질문]

---

어드바이저 응답:

**반론자:**

[응답]

**원리주의자:**

[응답]

**확장주의자:**

[응답]

**외부인:**

[응답]

**실행자:**

[응답]

동료 검토:

[5개의 동료 검토 모두]

다음 정확한 구조를 사용하여 카운슬 판결을 생성하십시오:

## 카운슬이 동의하는 부분

[여러 어드바이저가 독립적으로 수렴한 지점. 이는 신뢰도가 높은 신호입니다.]

## 카운슬이 충돌하는 부분

[진정한 의견 불일치. 양측을 제시하십시오. 합리적인 어드바이저들이 왜 동의하지 않는지 설명하십시오.]

## 카운슬이 발견한 사각지대

[동료 검토를 통해서만 드러난 것들. 개별 어드바이저가 놓쳤지만 다른 사람들이 지적한 것들.]

## 권장 사항

[명확하고 직접적인 권장 사항. "상황에 따라 다릅니다"가 아닙니다. 근거가 있는 진정한 답변입니다.]

## 가장 먼저 해야 할 한 가지

[단일하고 구체적인 다음 단계. 목록이 아닙니다. 한 가지입니다.]

직설적으로 말하십시오. 애매모호하게 말하지 마십시오. 카운슬의 핵심 목적은 사용자에게 단일 관점에서는 얻을 수 없는 명확성을 제공하는 것입니다.

5단계: 채팅에 판결 제시

의장 종합이 완료된 후, 마크다운을 사용하여 전체 판결을 채팅에 직접 제시합니다. HTML 보고서나 파일을 생성하지 마십시오. 사용자는 대화에서 읽습니다.

출력 형식:

## Council Verdict: {짧은 주제}

### Where the Council Agrees
{내용}

### Where the Council Clashes
{내용}

### Blind Spots the Council Caught
{내용}

### The Recommendation
{내용}

### The One Thing to Do First
{내용}

훑어보기 쉽게 유지하십시오. 글머리 기호를 사용하십시오. 해당되는 경우 이전/이후 예시를 포함하십시오.

6단계: 기록 저장 (선택 사항)

사용자가 요청하거나 질문이 나중에 참조하기에 충분히 중요한 경우에만 기록을 저장합니다. 저장하는 경우 프로젝트의 active/ 디렉토리에 council-transcript-[타임스탬프].md로 작성합니다.

예시: 제품 결정 카운슬링

사용자: "Council this: 저는 초보자를 위한 Claude Code 297달러 강좌를 만들 생각입니다. 제 잠재 고객은 주로 비기술적 솔로프러너입니다. 이것이 올바른 결정일까요?"

반론자: "지금 시장은 Claude 강좌로 넘쳐납니다. 297달러면 무료 YouTube 콘텐츠와 경쟁해야 합니다. 잠재 고객이 비기술적이므로 높은 지원 부담과 환불 위험이 있습니다. 297달러를 지불할 사람들은 아마 이미 초보자 수준을 넘어섰을 것입니다..."

원리주의자: "당신이 실제로 달성하려는 것은 무엇인가요? 수익이라면, 강좌는 가장 느린 경로 중 하나입니다. 권위 구축이라면 무료 리소스가 더 효과적일 수 있습니다. 더 높은 가격의 제안을 위한 고객 기반 구축이라면, 가격대와 잠재 고객이 맞지 않을 수 있습니다..."

확장주의자: "솔로프러너를 위한 초보자용 Claude는 거대한 미개척 시장입니다. 모두가 고급 내용을 가르치고 있습니다. 초보자 각도를 제대로 잡으면 이 전체 공간의 진입점을 장악하게 됩니다. 297달러는 낮을 수 있습니다. 커뮤니티 액세스가 포함된 997달러 프로그램이 된다면 어떨까요..."

외부인: "저는 Claude Code가 무엇인지 모릅니다. '초보자를 위한 Claude Code 297달러 강좌'를 본다면 이것이 나를 위한 것인지 알 수 없을 것입니다. 이 이름은 당신의 세계 밖에 있는 사람에게는 아무 의미가 없습니다. 랜딩 페이지는 도구가 아닌 결과를 판매해야 합니다..."

실행자: "전체 강좌는 제대로 제작하는 데 4-8주가 걸립니다. 무엇이든 만들기 전에 50명을 대상으로 97달러 라이브 워크숍을 운영하십시오. 수요를 검증하고, 사용후기를 확보하며, 강좌의 원자재를 만듭니다. 50명이 워크숍을 구매하지 않으면, 500명도 강좌를 구매하지 않을 것입니다..."

의장 판결:

카운슬이 동의하는 부분: 초보자 솔로프러너 각도는 실제 수요가 있지만, 현재 프레이밍(Claude Code 강좌)은 도구에 너무 특화되어 있어 비기술적 구매자에게 공감을 얻지 못할 것입니다.

카운슬이 충돌하는 부분: 가격. 반론자는 경쟁을 고려해 297달러가 너무 높다고 합니다. 확장주의자는 가치에 비해 너무 낮다고 합니다. 해결책은 아마도 얼마나 많은 지원과 커뮤니티 액세스가 번들로 제공되는지에 달려 있습니다.

발견된 사각지대: 외부인의 지적, 즉 "Claude Code"가 대상 구매자에게 아무 의미가 없다는 점이 가장 중요한 통찰력입니다. 외부인을 제외한 모든 어드바이저는 잠재 고객이 이미 이것이 무엇인지 알고 있다고 가정했습니다.

권장 사항: 아직 강좌를 만들지 마십시오. 먼저 낮은 약속의 제안으로 검증하십시오. 하지만 완전히 다시 구성하십시오: 도구가 아닌 결과(비즈니스 자동화, 주당 10시간 확보)를 판매하십시오.

가장 먼저 해야 할 한 가지: 제목에 Claude Code를 언급하지 말고, 50명을 대상으로 "AI로 첫 번째 비즈니스 작업을 자동화하는 방법"이라는 97달러 라이브 워크숍을 운영하십시오.

중요 참고 사항

항상 5명의 어드바이저를 병렬로 생성하십시오. 순차적 생성은 시간을 낭비하고 카운슬의 이점을 무효화합니다.
의장은 항상 자신의 의견을 형성해야 합니다. 단순히 다수결을 보고하는 것이 아닙니다. 의장은 모든 응답과 검토를 검토하고 어드바이저들과 다른 결론에 도달할 수 있습니다.
트리거 문구를 기준으로 삼으십시오. 사용자가 카운슬을 명시적으로 요청하거나(트리거 문구 사용) 상당한 불확실성과 이해 관계를 가진 결정을 명시적으로 제시하는 경우에만 실행하십시오. 모든 "~해야 할까요?" 질문이 카운슬을 보증하는 것은 아닙니다.
기록은 선택 사항이며 사용자 요청 시에만 저장하십시오. 자동으로 저장하지 마십시오.
의견을 추가하지 마십시오. 당신은 촉진자입니다. 의사 결정자가 아닙니다. 질문을 구성하고, 어드바이저를 실행하며, 판결을 제시하십시오. 당신의 역할은 카운슬을 가능하게 하는 것이지, 6번째 어드바이저가 되는 것이 아닙니다.

면책 조항: 이 스킬은 AI가 생성한 통찰력을 제공하지만, 전문적인 조언을 대체하지 않습니다. 항상 자신의 판단을 사용하고 필요한 경우 자격을 갖춘 전문가와 상담하십시오.

aiwithremy/claude-skills-llm-council

claude-skills-llm-council란 무엇인가요?

즐겨 사용하는 AI에게 물어보기

문서