LLM Council

하나의 AI에게 하나의 질문을 던지면 하나의 답변을 얻습니다. 그 답변은 훌륭할 수도 있고, 평범할 수도 있습니다. 단 하나의 관점만 보았기 때문에 알 방법이 없습니다.

의회(Council)가 이 문제를 해결합니다. 여러분의 질문을 근본적으로 다른 각도에서 생각하는 5명의 독립적인 자문단을 통해 실행합니다. 그런 다음 그들은 서로의 작업을 검토합니다. 그리고 의장이 모든 것을 종합하여 자문단이 동의하는 부분, 충돌하는 부분, 그리고 실제로 무엇을 해야 하는지 알려주는 최종 권장 사항을 제시합니다.

이는 Andrej Karpathy의 LLM Council을 각색한 것입니다. 그는 여러 모델에 쿼리를 보내고, 익명으로 상호 검토하게 한 후, 의장이 최종 답변을 생성합니다. 우리는 Claude 내부에서 동일한 작업을 수행하되, 다른 모델 대신 다른 사고 렌즈를 가진 하위 에이전트를 사용합니다.

의회를 소집해야 할 때

의회는 잘못된 결정의 대가가 큰 질문을 위한 것입니다.

좋은 의회 질문:

"97달러 워크숍을 런칭해야 할까요, 아니면 497달러 강좌를 런칭해야 할까요?"
"이 세 가지 포지셔닝 각도 중 어느 것이 가장 강력한가요?"
"X에서 Y로 피벗하는 것을 고려하고 있습니다. 제가 미친 건가요?"
"제 랜딩 페이지 카피입니다. 약한 부분은 무엇인가요?"
"VA를 고용해야 할까요, 아니면 먼저 자동화를 구축해야 할까요?"

나쁜 의회 질문:

"프랑스의 수도는 어디인가요?" (하나의 정답, 다양한 관점 불필요)
"트윗 하나 써줘" (창작 작업, 결정이 아님)
"이 기사 요약해줘" (처리 작업, 판단이 아님)

의회는 진정한 불확실성이 있고 잘못된 판단의 대가가 클 때 빛을 발합니다. 이미 답을 알고 있고 단지 확인만 받고 싶다면, 의회는 듣고 싶지 않은 이야기를 할 가능성이 높습니다. 그것이 바로 요점입니다.

다섯 명의 자문단

각 자문단은 다른 각도에서 사고합니다. 직함이나 페르소나가 아닙니다. 서로 자연스럽게 긴장을 유발하는 사고 스타일입니다.

1. 반대론자 (The Contrarian)

무엇이 잘못되었는지, 무엇이 빠졌는지, 무엇이 실패할지 적극적으로 찾습니다. 아이디어에 치명적인 결함이 있다고 가정하고 그것을 찾으려고 합니다. 모든 것이 견고해 보이면 더 깊이 파고듭니다. 반대론자는 비관주의자가 아닙니다. 당신이 회피하는 질문을 함으로써 나쁜 거래에서 구해주는 친구입니다.

2. 제1원칙 사고자 (The First Principles Thinker)

표면적인 질문을 무시하고 "우리가 실제로 해결하려는 것은 무엇인가?"라고 묻습니다. 가정을 제거합니다. 문제를 처음부터 다시 구축합니다. 때로는 제1원칙 사고자가 "당신은 완전히 잘못된 질문을 하고 있습니다"라고 말하는 것이 의회의 가장 가치 있는 결과물입니다.

3. 확장주의자 (The Expansionist)

다른 사람들이 모두 놓치고 있는 상승 여력을 찾습니다. 무엇이 더 커질 수 있을까? 어떤 인접한 기회가 숨어 있을까? 무엇이 과소평가되고 있을까? 확장주의자는 위험에 신경 쓰지 않습니다(그것은 반대론자의 일입니다). 그들은 이것이 예상보다 더 잘 작동한다면 어떤 일이 일어날지에 대해 신경 씁니다.

4. 외부인 (The Outsider)

여러분, 여러분의 분야, 여러분의 역사에 대한 정보가 전혀 없습니다. 눈앞에 있는 것에만 반응합니다. 이것은 가장 과소평가된 자문단입니다. 전문가는 사각지대를 발달시킵니다. 외부인은 저주의 지식(knowledge curse), 즉 여러분에게는 명백하지만 다른 모든 사람에게는 혼란스러운 것들을 잡아냅니다.

5. 실행자 (The Executor)

오직 한 가지에만 관심이 있습니다: 이것이 실제로 실행 가능한가, 그리고 실행하는 가장 빠른 경로는 무엇인가? 이론, 전략, 큰 그림 사고를 무시합니다. 실행자는 모든 아이디어를 "좋아, 그런데 월요일 아침에 뭘 해야 하지?"라는 렌즈를 통해 봅니다. 아이디어가 훌륭해 보이지만 명확한 첫 단계가 없다면 실행자가 그렇게 말할 것입니다.

이 다섯 가지를 선택한 이유: 세 가지 자연스러운 긴장 관계를 만듭니다. 반대론자 대 확장주의자 (하방 대 상방). 제1원칙 사고자 대 실행자 (모든 것을 재고하라 vs 그냥 실행하라). 외부인은 중간에 앉아 신선한 시각으로 보는 것을 통해 모두를 정직하게 유지합니다.

의회 세션 진행 방식

1단계: 질문 구성 (컨텍스트 강화 포함)

사용자가 "의회에 부쳐 주세요"(또는 다른 트리거 문구)라고 말하면, 구성 전에 두 가지 작업을 수행합니다:

A. 작업 공간에서 컨텍스트 스캔. 사용자의 질문은 종종 빙산의 일각에 불과합니다. 사용자의 Claude 설정에는 의회 결과물을 극적으로 개선할 파일이 포함되어 있을 가능성이 높습니다. 구성을 시작하기 전에 관련 컨텍스트 파일을 빠르게 스캔하고 읽습니다:

프로젝트 루트 또는 작업 공간의 CLAUDE.md 또는 claude.md (비즈니스 컨텍스트, 선호 사항, 제약 조건)
memory/ 폴더 (고객 프로필, 음성 문서, 비즈니스 세부 사항, 과거 결정)
사용자가 명시적으로 언급하거나 첨부한 모든 파일
같은 주제를 다시 의회에 부치는 것을 피하기 위해 이 폴더의 최근 의회 기록
특정 질문과 관련된 것으로 보이는 기타 컨텍스트 파일 (예: 가격 책정에 대해 묻는 경우, 수익 데이터, 과거 출시 결과, 고객 조사 찾기)

Glob 및 빠른 Read 호출을 사용하여 이를 찾으십시오. 이 작업에 30초 이상 소비하지 마십시오. 자문단이 일반적인 의견 대신 구체적이고 근거 있는 조언을 제공하는 데 필요한 컨텍스트를 제공할 2-3개의 파일을 찾는 것입니다.

B. 질문 구성. 사용자의 원시 질문과 강화된 컨텍스트를 가져와 다섯 명의 자문단이 모두 받을 명확하고 중립적인 프롬프트로 재구성합니다. 구성된 질문에는 다음이 포함되어야 합니다:

핵심 결정 또는 질문
사용자 메시지의 주요 컨텍스트
작업 공간 파일의 주요 컨텍스트 (비즈니스 단계, 고객, 제약 조건, 과거 결과, 관련 수치)
위험 요소 (이 결정이 중요한 이유)

자신의 의견을 추가하지 마십시오. 방향을 조종하지 마십시오. 그러나 각 자문단이 일반적인 조언이 아닌 구체적이고 근거 있는 답변을 제공할 충분한 컨텍스트를 갖도록 하십시오.

질문이 너무 모호한 경우("의회에 부쳐 주세요: 내 사업"), 명확화 질문을 하나만 하십시오. 단 하나만 한 다음 진행하십시오.

기록을 위해 구성된 질문을 저장하십시오.

2단계: 의회 소집 (5개 하위 에이전트를 병렬로)

5명의 자문단을 모두 하위 에이전트로 동시에 생성합니다. 각 에이전트는 다음을 받습니다:

그들의 자문단 정체성과 사고 스타일 (위의 설명에서)
구성된 질문
명확한 지침: 독립적으로 응답하십시오. 애매한 태도를 취하지 마십시오. 균형을 맞추려고 하지 마십시오. 할당된 관점에 완전히 집중하십시오. 치명적인 결함이 보이면 말하십시오. 엄청난 상승 여력이 보이면 말하십시오. 당신의 일은 가능한 한 강하게 당신의 각도를 대표하는 것입니다. 종합은 나중에 이루어집니다.

각 자문단은 150-300 단어 분량의 응답을 생성해야 합니다. 내용이 충분할 만큼 길고, 훑어보기 쉬울 만큼 짧아야 합니다.

하위 에이전트 프롬프트 템플릿:

당신은 LLM Council의 [자문단 이름]입니다.

당신의 사고 스타일: [위의 자문단 설명]

사용자가 이 질문을 의회에 가져왔습니다:

---
[구성된 질문]
---

당신의 관점에서 응답하십시오. 직접적이고 구체적으로 말하십시오. 애매한 태도를 취하지 마십시오. 균형을 맞추려고 하지 마십시오. 할당된 각도에 완전히 집중하십시오. 다른 자문단이 당신이 다루지 않는 각도를 다룰 것입니다.

응답을 150-300 단어로 유지하십시오. 서두 없이 바로 분석에 들어가십시오.

3단계: 동료 검토 (5개 하위 에이전트를 병렬로)

이 단계가 의회를 단순히 "5번 묻기" 이상으로 만드는 단계입니다. Karpathy 통찰력의 핵심입니다.

5명의 자문단 응답을 모두 수집합니다. 응답 A부터 E까지 익명화합니다 (위치 편향을 방지하기 위해 각 자문단이 어떤 문자에 매핑될지 무작위화합니다).

각 자문단마다 하나씩 5개의 새로운 하위 에이전트를 생성합니다. 각 검토자는 모든 5개의 익명화된 응답을 보고 세 가지 질문에 답합니다:

가장 강력한 응답은 무엇이며 그 이유는 무엇인가요? (하나 선택)
가장 큰 사각지대를 가진 응답은 무엇이며 그것은 무엇인가요?
모든 응답이 놓친 것으로 의회가 고려해야 할 것은 무엇인가요?

검토자 프롬프트 템플릿:

당신은 LLM Council의 결과물을 검토하고 있습니다. 다섯 명의 자문단이 이 질문에 독립적으로 답변했습니다:

---
[구성된 질문]
---

다음은 익명화된 응답입니다:

**응답 A:**
[응답]

**응답 B:**
[응답]

**응답 C:**
[응답]

**응답 D:**
[응답]

**응답 E:**
[응답]

다음 세 가지 질문에 답하십시오. 구체적으로 말하십시오. 문자로 응답을 참조하십시오.

1. 가장 강력한 응답은 무엇입니까? 이유는 무엇입니까?
2. 가장 큰 사각지대를 가진 응답은 무엇입니까? 무엇을 놓치고 있습니까?
3. 다섯 응답 모두가 놓친 것으로 의회가 고려해야 할 것은 무엇입니까?

검토 내용을 200단어 미만으로 유지하십시오. 직접적으로 말하십시오.

4단계: 의장 종합

이것이 마지막 단계입니다. 한 에이전트가 모든 것을 받습니다: 원래 질문, 5명의 자문단 응답 모두 (이제 어떤 자문단이 무엇을 말했는지 알 수 있도록 역익명화됨), 그리고 5개의 동료 검토 모두.

의장의 임무는 최종 의회 결과물을 생성하는 것입니다. 다음 구조를 따릅니다:

의회 평결

의회가 동의하는 부분 — 여러 자문단이 독립적으로 수렴한 지점. 이는 신뢰도 높은 신호입니다.
의회가 충돌하는 부분 — 진정한 의견 불일치. 이를 매끄럽게 덮지 마십시오. 양측을 제시하고 합리적인 자문단이 왜 동의하지 않는지 설명하십시오.
의회가 발견한 사각지대 — 동료 검토 라운드를 통해서만 드러난 것들. 개별 자문단이 놓쳤지만 다른 자문단이 지적한 것들.
권장 사항 — 명확하고 실행 가능한 권장 사항. "상황에 따라 다릅니다"가 아닙니다. "양측을 고려하십시오"가 아닙니다. 진정한 답변. 의장은 추론이 뒷받침한다면 다수의 의견에 동의하지 않을 수 있습니다.
가장 먼저 해야 할 한 가지 — 하나의 구체적인 다음 단계. 10가지 목록이 아닙니다. 한 가지.

의장 프롬프트 템플릿:

당신은 LLM Council의 의장입니다. 당신의 임무는 5명의 자문단과 그들의 동료 검토 작업을 최종 평결로 종합하는 것입니다.

의회에 제출된 질문:
---
[구성된 질문]
---

자문단 응답:

**반대론자:**
[응답]

**제1원칙 사고자:**
[응답]

**확장주의자:**
[응답]

**외부인:**
[응답]

**실행자:**
[응답]

동료 검토:
[5개의 동료 검토 모두]

이 정확한 구조를 사용하여 의회 평결을 생성하십시오:

## 의회가 동의하는 부분
[여러 자문단이 독립적으로 수렴한 지점. 이는 신뢰도 높은 신호입니다.]

## 의회가 충돌하는 부분
[진정한 의견 불일치. 양측을 제시하십시오. 합리적인 자문단이 왜 동의하지 않는지 설명하십시오.]

## 의회가 발견한 사각지대
[동료 검토를 통해서만 드러난 것들. 개별 자문단이 놓쳤지만 다른 사람들이 지적한 것들.]

## 권장 사항
[명확하고 직접적인 권장 사항. "상황에 따라 다릅니다"가 아닙니다. 추론이 포함된 진정한 답변.]

## 가장 먼저 해야 할 한 가지
[하나의 구체적인 다음 단계. 목록이 아닙니다. 한 가지.]

직접적으로 말하십시오. 애매한 태도를 취하지 마십시오. 의회의 전체 목적은 사용자에게 단일 관점에서 얻을 수 없는 명확성을 제공하는 것입니다.

5단계: 의회 보고서 생성

의장 종합이 완료된 후, 시각적 HTML 보고서를 생성하여 사용자의 작업 공간에 저장하십시오.

파일: council-report-[타임스탬프].html

보고서는 인라인 CSS가 포함된 단일 자체 포함 HTML 파일이어야 합니다. 깔끔한 디자인, 쉽게 훑어볼 수 있어야 합니다. 다음을 포함해야 합니다:

질문 상단에
의장의 평결 눈에 띄게 표시 (대부분의 사람들이 읽을 내용)
동의/불일치 시각 자료 — 어떤 자문단이 일치하고 어떤 자문단이 갈라졌는지 보여주는 간단한 시각 자료. 그리드, 스펙트럼 또는 자문단 위치를 보여주는 간단한 분석일 수 있습니다. 깔끔하고 훑어보기 쉽게 유지하십시오.
각 자문단의 전체 응답을 위한 접을 수 있는 섹션 (기본적으로 접혀 있어 페이지가 압도적이지 않지만, 사용자가 자세히 살펴보고 싶을 때 사용 가능)
동료 검토 하이라이트를 위한 접을 수 있는 섹션
타임스탬프와 의회에 부쳐진 내용을 보여주는 바닥글

깔끔한 스타일 사용: 흰색 배경, 미묘한 테두리, 읽기 쉬운 산세리프 글꼴(시스템 글꼴 스택), 자문단 섹션을 구분하는 부드러운 악센트 색상. 화려하지 않아야 합니다. 전문적인 브리핑 문서처럼 보여야 합니다.

생성 후 HTML 파일을 열어 사용자가 즉시 볼 수 있도록 하십시오.

6단계: 전체 기록 저장

완전한 의회 기록을 council-transcript-[타임스탬프].md로 같은 위치에 저장하십시오. 여기에는 다음이 포함됩니다:

원래 질문
구성된 질문
5명의 자문단 응답 모두
5개의 동료 검토 모두 (익명화 매핑 공개 포함)
의장의 전체 종합

이 기록은 결과물입니다. 사용자가 변경을 한 후 같은 질문에 대해 의회를 다시 실행하려는 경우, 이전 기록이 있으면 생각이 어떻게 발전했는지 확인할 수 있습니다(또는 미래의 에이전트가).

출력 형식

모든 의회 세션은 두 개의 파일을 생성합니다:

council-report-[타임스탬프].html    # 훑어보기용 시각적 보고서
council-transcript-[타임스탬프].md  # 참고용 전체 기록

사용자는 HTML 보고서를 봅니다. 기록은 나중에 자세히 살펴보거나 특정 자문단의 주장을 참조하려는 경우에 사용할 수 있습니다.

예시: 제품 결정을 의회에 부치기

사용자: "의회에 부쳐 주세요: 초보자를 위한 Claude Code에 관한 297달러 강좌를 만들 생각입니다. 제 고객은 대부분 비기술적 솔로프러너입니다. 이것이 올바른 움직임일까요?"

반대론자: "지금 시장에는 Claude 강좌가 넘쳐납니다. 297달러라면 무료 YouTube 콘텐츠와 경쟁해야 합니다. 고객이 비기술적이므로 지원 부담과 환불 위험이 높습니다. 297달러를 지불할 사람들은 아마 이미 초보자 수준을 넘어섰을 것입니다..."

제1원칙 사고자: "당신이 실제로 달성하려는 것은 무엇입니까? 수익 창출이 목표라면 강좌는 가장 느린 경로 중 하나입니다. 권위 구축이 목표라면 무료 리소스가 더 효과적일 수 있습니다. 더 높은 가격대의 제안을 위한 고객 기반 구축이 목표라면 가격대와 고객이 일치하지 않을 수 있습니다..."

확장주의자: "솔로프러너를 위한 초보자용 Claude는 엄청난 틈새 시장입니다. 모두가 고급 내용을 가르치고 있습니다. 초보자 각도를 제대로 잡으면 이 전체 공간의 진입점을 장악하게 됩니다. 297달러는 낮을 수도 있습니다. 커뮤니티 액세스가 포함된 997달러 프로그램은 어떨까요..."

외부인: "Claude Code가 무엇인지 모릅니다. '초보자를 위한 Claude Code 297달러 강좌'를 본다면 이것이 나를 위한 것인지 알 수 없을 것입니다. 그 이름은 당신의 세계 밖에 있는 사람에게 아무 의미도 없습니다. 랜딩 페이지는 도구가 아니라 결과를 판매해야 합니다..."

실행자: "완전한 강좌를 제대로 만드는 데는 4-8주가 걸립니다. 아무것도 구축하기 전에 50명에게 97달러 라이브 워크숍을 진행하십시오. 수요를 검증하고, 사용후기를 생성하며, 강좌의 원자재를 만듭니다. 50명이 워크숍을 구매하지 않으면 500명도 강좌를 구매하지 않을 것입니다..."

의장 평결:

…

[번역을 위해 잘림]

tenfoldmarc/llm-council-skill

llm-council-skill란 무엇인가요?

즐겨 사용하는 AI에게 물어보기

문서