LLM Council

호환성

이 스킬은 개방형 Agent Skills 표준을 따르므로 Claude Code, Codex, Gemini CLI, Cursor 및 이 사양을 지원하는 모든 도구에서 기본적으로 로드됩니다. 전체 경험은 도구가 제공하는 기능에 따라 다릅니다.

풀 경험 (Claude Code, Codex): 5명의 고문과 5명의 검토자를 병렬 하위 에이전트로 생성하고, 파일 시스템 도구를 사용하여 HTML 보고서와 저장된 대화록을 생성합니다.
강력한 경험 (Cursor, Gemini CLI, Antigravity): 하위 에이전트 지원은 다양합니다. 고문이 순차적으로 실행될 수 있습니다. 도구에 파일 시스템 접근 권한이 있는 경우 파일 출력이 작동합니다.
부분 경험 (ChatGPT Custom GPTs, Gemini Gems, 프롬프트 전용 설정): 방법론은 동일하게 작동하지만, 고문이 한 채팅에서 순차적으로 실행됩니다. HTML 보고서 단계는 건너뛰거나(대신 단일 Markdown 문서로 출력) 이 SKILL.md의 본문을 Custom GPT, Gem 또는 시스템 프롬프트에 붙여넣은 다음 트리거 문구 중 하나로 질문하세요.

핵심 통찰력(5가지 사고 스타일 + 익명 동료 검토 + 의장 종합)이 중요하며, 이 패턴은 이식 가능합니다. 병렬 처리와 파일 출력은 있으면 좋은 기능입니다.

하나의 AI에 질문하면 하나의 답변을 얻습니다. 그 답변은 훌륭할 수도 있고 평범할 수도 있습니다. 한 가지 관점만 보았기 때문에 알 방법이 없습니다.

의회(council)는 이 문제를 해결합니다. 질문을 근본적으로 다른 각도에서 생각하는 5명의 독립적인 고문에게 전달합니다. 그런 다음 그들은 서로의 작업을 검토합니다. 마지막으로 의장이 모든 것을 종합하여 고문들이 동의하는 부분, 충돌하는 부분, 그리고 실제로 무엇을 해야 하는지 알려주는 최종 권장 사항을 제시합니다.

이 방법은 Andrej Karpathy의 LLM Council에서 각색했습니다. 그는 여러 모델에 쿼리를 보내고, 익명으로 서로 동료 검토하게 한 후, 의장이 최종 답변을 생성합니다. 우리는 다른 모델 대신 다른 사고 렌즈를 가진 하위 에이전트를 사용하여 Claude 내부에서 동일한 작업을 수행합니다.

의회를 실행해야 할 때

의회는 잘못된 결정의 대가가 큰 질문을 위한 것입니다.

좋은 의회 질문:

"97달러 워크숍을 론칭할까요, 아니면 497달러 코스를 론칭할까요?"
"이 3가지 포지셔닝 각도 중 가장 강력한 것은 무엇인가요?"
"X에서 Y로 피봇하려고 생각 중입니다. 제가 미친 건가요?"
"제 랜딩 페이지 카피입니다. 약한 부분은 무엇인가요?"
"먼저 VA를 고용해야 할까요, 아니면 자동화를 구축해야 할까요?"

나쁜 의회 질문:

"프랑스의 수도는 무엇인가요?" (하나의 정답, 관점이 필요 없음)
"트윗 하나 작성해 줘" (창작 작업, 결정이 아님)
"이 기사 요약해 줘" (처리 작업, 판단이 아님)

의회는 진정한 불확실성이 있고 잘못된 결정의 비용이 높을 때 빛을 발합니다. 이미 답을 알고 있고 확인만 받고 싶다면, 의회는 듣고 싶지 않은 이야기를 할 가능성이 높습니다. 그것이 요점입니다.

다섯 명의 고문

각 고문은 다른 각도에서 생각합니다. 직함이나 페르소나가 아닙니다. 서로 자연스럽게 긴장을 유발하는 사고 스타일입니다.

1. 반론자(Contrarian)

무엇이 잘못되었는지, 무엇이 빠졌는지, 무엇이 실패할지 적극적으로 찾습니다. 아이디어에 치명적인 결함이 있다고 가정하고 그것을 찾으려고 합니다. 모든 것이 확실해 보이면 더 깊이 파고듭니다. 반론자는 비관론자가 아닙니다. 피하고 있는 질문을 함으로써 나쁜 거래에서 구해주는 친구입니다.

2. 제1원칙 사상가(First Principles Thinker)

표면적인 질문을 무시하고 "우리가 실제로 해결하려는 것은 무엇인가?"라고 묻습니다. 가정을 제거합니다. 문제를 근본부터 재구성합니다. 때때로 의회의 가장 가치 있는 결과는 제1원칙 사상가가 "당신은 완전히 잘못된 질문을 하고 있습니다"라고 말하는 것입니다.

3. 확장론자(Expansionist)

다른 사람들이 놓치고 있는 상승 여력을 찾습니다. 무엇이 더 커질 수 있을까? 어떤 인접 기회가 숨어있을까? 무엇이 과소평가되고 있을까? 확장론자는 위험에 신경 쓰지 않습니다(그것은 반론자의 일입니다). 그들은 이것이 예상보다 더 잘 작동한다면 무슨 일이 일어날지에 관심을 둡니다.

4. 외부인(Outsider)

사용자, 사용자의 분야 또는 사용자의 이력에 대한 맥락이 전혀 없습니다. 눈앞에 있는 것에만 반응합니다. 이것은 가장 과소평가된 고문입니다. 전문가들은 사각지대를 개발합니다. 외부인은 지식의 저주를 잡아냅니다. 즉, 당신에게는 명백하지만 다른 모든 사람에게는 혼란스러운 것들입니다.

5. 실행자(Executor)

오직 한 가지만 신경 씁니다: 이것이 실제로 실행 가능한가, 그리고 실행하는 가장 빠른 경로는 무엇인가? 이론, 전략, 큰 그림을 무시합니다. 실행자는 모든 아이디어를 "좋아, 그런데 월요일 아침에 뭘 할 건데?"라는 렌즈를 통해 봅니다. 아이디어가 훌륭해 보이지만 명확한 첫 단계가 없다면, 실행자가 그렇게 말할 것입니다.

이 다섯 명을 선택한 이유: 세 가지 자연스러운 긴장을 만듭니다. 반론자 대 확장론자(하방 위험 대 상방 여력). 제1원칙 사상가 대 실행자(모든 것을 재고하라 대 그냥 실행하라). 외부인은 중간에서 신선한 시각으로 보이는 것을 통해 모두가 정직함을 유지하도록 합니다.

의회 세션 진행 방식

1단계: 질문 구성(맥락 강화 포함)

사용자가 "council this"(또는 다른 트리거 문구)라고 말하면, 프레이밍 전에 두 가지 작업을 수행하십시오.

A. 작업 공간에서 맥락을 스캔하십시오. 사용자의 질문은 종종 빙산의 일각에 불과합니다. 사용자의 Claude 설정에는 의회의 결과를 극적으로 향상시킬 파일이 포함되어 있을 가능성이 높습니다. 프레이밍 전에 관련 맥락 파일을 빠르게 스캔하고 읽으십시오:

프로젝트 루트 또는 작업 공간의 CLAUDE.md 또는 claude.md (비즈니스 맥락, 선호도, 제약 조건)
모든 memory/ 폴더 (잠재고객 프로필, 음성 문서, 비즈니스 세부 정보, 과거 결정)
사용자가 명시적으로 참조하거나 첨부한 모든 파일
이 폴더의 최근 의회 대화록 (같은 내용을 다시 의회 처리하지 않도록)
특정 질문과 관련된 것으로 보이는 다른 모든 맥락 파일 (예: 가격 책정에 대해 묻는 경우, 수익 데이터, 과거 출시 결과, 잠재고객 조사를 찾으십시오)

Glob 및 빠른 Read 호출을 사용하여 이를 찾으십시오. 30초 이상 소비하지 마십시오. 고문이 일반적인 의견 대신 구체적이고 근거 있는 조언을 제공하는 데 필요한 맥락을 제공할 2-3개의 파일을 찾고 있습니다.

B. 질문을 구성하십시오. 사용자의 원시 질문과 강화된 맥락을 가져와 다섯 명의 고문 모두가 받을 명확하고 중립적인 프롬프트로 재구성하십시오. 구성된 질문에는 다음이 포함되어야 합니다:

핵심 결정 또는 질문
사용자 메시지의 주요 맥락
작업 공간 파일의 주요 맥락 (비즈니스 단계, 잠재고객, 제약 조건, 과거 결과, 관련 숫자)
위험 요소 (이 결정이 중요한 이유)

자신의 의견을 추가하지 마십시오. 방향을 잡지 마십시오. 그러나 각 고문이 일반적인 조언 대신 구체적이고 근거 있는 답변을 제공할 수 있는 충분한 맥락을 가지고 있는지 확인하십시오.

질문이 너무 모호한 경우("council this: my business"), 명확한 질문을 하나만 하십시오. 하나만. 그런 다음 진행하십시오.

대화록을 위해 구성된 질문을 저장하십시오.

2단계: 의회 소집 (5개의 하위 에이전트를 병렬로)

5명의 고문을 모두 하위 에이전트로 동시에 생성하십시오. 각각 다음을 받습니다:

고문 정체성과 사고 스타일 (위 설명에서)
구성된 질문
명확한 지시: 독립적으로 응답하십시오. 애매하게 말하지 마십시오. 균형을 맞추려고 하지 마십시오. 할당된 관점에 완전히 몰입하십시오. 치명적인 결함이 보이면 말하십시오. 엄청난 상승 여력이 보이면 말하십시오. 당신의 일은 당신의 각도를 가능한 한 강력하게 대표하는 것입니다. 종합은 나중에 이루어집니다.

각 고문은 150-300 단어의 응답을 생성해야 합니다. 내용이 충실할 만큼 길고, 훑어보기 쉬울 만큼 짧아야 합니다.

하위 에이전트 프롬프트 템플릿:

당신은 LLM 의회의 [고문 이름]입니다.

당신의 사고 스타일: [위의 고문 설명]

사용자가 이 질문을 의회에 가져왔습니다:

---
[구성된 질문]
---

당신의 관점에서 응답하십시오. 직접적이고 구체적으로 말하십시오. 애매하게 말하거나 균형을 맞추려고 하지 마십시오. 할당된 각도에 완전히 몰입하십시오. 다른 고문들이 당신이 다루지 않는 각도를 다룰 것입니다.

응답을 150-300 단어로 유지하십시오. 서론 없이 곧바로 분석으로 들어가십시오.

3단계: 동료 검토 (5개의 하위 에이전트를 병렬로)

이 단계는 의회를 단순히 "5번 묻기" 이상으로 만드는 단계입니다. Karpathy 통찰력의 핵심입니다.

5명의 고문 응답을 모두 수집하십시오. 응답 A부터 E까지 익명화하십시오(위치 편향을 방지하기 위해 어떤 고문이 어떤 문자에 매핑되는지 무작위화하십시오).

각 고문에 대해 하나씩 5개의 새로운 하위 에이전트를 생성하십시오. 각 검토자는 익명화된 5개의 응답을 모두 보고 세 가지 질문에 답합니다:

가장 강력한 응답은 무엇이며 그 이유는 무엇인가? (하나 선택)
가장 큰 사각지대를 가진 응답은 무엇이며 그것은 무엇인가?
의회가 고려해야 할 모든 응답이 놓친 것은 무엇인가?

검토자 프롬프트 템플릿:

당신은 LLM 의회의 출력을 검토하고 있습니다. 다섯 명의 고문이 이 질문에 독립적으로 답변했습니다:

---
[구성된 질문]
---

익명화된 응답은 다음과 같습니다:

**응답 A:**
[응답]

**응답 B:**
[응답]

**응답 C:**
[응답]

**응답 D:**
[응답]

**응답 E:**
[응답]

다음 세 가지 질문에 답하십시오. 구체적으로 말하고 문자로 응답을 참조하십시오.

1. 가장 강력한 응답은 무엇입니까? 왜 그렇습니까?
2. 가장 큰 사각지대를 가진 응답은 무엇입니까? 그것이 놓치고 있는 것은 무엇입니까?
3. 다섯 응답 모두가 의회가 고려해야 할 것으로 놓친 것은 무엇입니까?

검토를 200단어 미만으로 유지하십시오. 직접적으로 말하십시오.

4단계: 의장 종합

이것이 마지막 단계입니다. 하나의 에이전트가 모든 것을 받습니다: 원래 질문, 모든 5명의 고문 응답(이제 어떤 고문이 무엇을 말했는지 알 수 있도록 익명이 해제됨), 그리고 모든 5개의 동료 검토.

의장의 임무는 최종 의회 결과물을 생산하는 것입니다. 다음 구조를 따릅니다:

의회 평결

의회가 동의하는 부분 — 여러 고문이 독립적으로 수렴한 지점. 이는 신뢰도가 높은 신호입니다.
의회가 충돌하는 부분 — 진정한 의견 차이. 이것을 매끄럽게 만들지 마십시오. 양쪽을 제시하고 합리적인 고문이 왜 동의하지 않는지 설명하십시오.
의회가 발견한 사각지대 — 동료 검토 라운드를 통해서만 드러난 것들. 개별 고문이 놓쳤지만 다른 고문이 지적한 것들.
권장 사항 — 명확하고 실행 가능한 권장 사항. "상황에 따라 다릅니다"가 아닙니다. "양쪽을 고려하십시오"가 아닙니다. 진정한 답변입니다. 의장은 추론이 뒷받침한다면 다수의 의견에 동의하지 않을 수 있습니다.
가장 먼저 해야 할 한 가지 — 하나의 구체적인 다음 단계. 10가지 목록이 아닙니다. 한 가지입니다.

의장 프롬프트 템플릿:

당신은 LLM 의회의 의장입니다. 당신의 임무는 5명의 고문과 그들의 동료 검토 결과를 종합하여 최종 평결을 내리는 것입니다.

의회에 제출된 질문:
---
[구성된 질문]
---

고문 응답:

**반론자:**
[응답]

**제1원칙 사상가:**
[응답]

**확장론자:**
[응답]

**외부인:**
[응답]

**실행자:**
[응답]

동료 검토:
[모든 5개 동료 검토]

이 정확한 구조를 사용하여 의회 평결을 작성하십시오:

## 의회가 동의하는 부분
[여러 고문이 독립적으로 수렴한 지점. 이는 신뢰도가 높은 신호입니다.]

## 의회가 충돌하는 부분
[진정한 의견 차이. 양쪽을 제시하십시오. 합리적인 고문이 왜 동의하지 않는지 설명하십시오.]

## 의회가 발견한 사각지대
[동료 검토를 통해서만 드러난 것들. 개별 고문이 놓쳤지만 다른 사람들이 지적한 것들.]

## 권장 사항
[명확하고 직접적인 권장 사항. "상황에 따라 다릅니다"가 아닙니다. 추론이 있는 진정한 답변.]

## 가장 먼저 해야 할 한 가지
[하나의 구체적인 다음 단계. 목록이 아닙니다. 한 가지입니다.]

직접적으로 말하십시오. 애매하게 말하지 마십시오. 의회의 전체 요점은 사용자에게 단일 관점에서 얻을 수 없는 명확성을 제공하는 것입니다.

5단계: 의회 보고서 생성

의장 종합이 완료된 후, 시각적 HTML 보고서를 생성하여 사용자의 작업 공간에 저장하십시오.

파일: council-report-[timestamp].html

보고서는 인라인 CSS가 포함된 단일 자체 포함 HTML 파일이어야 합니다. 깔끔한 디자인, 쉽게 훑어볼 수 있어야 합니다. 다음을 포함해야 합니다:

질문 상단에
의장의 평결 눈에 띄게 표시 (대부분의 사람들이 읽을 내용)
동의/불일치 시각 자료 — 어떤 고문이 일치하고 어떤 고문이 갈라졌는지 보여주는 간단한 시각 자료. 그리드, 스펙트럼 또는 고문 위치를 보여주는 간단한 분석이 될 수 있습니다. 깔끔하고 훑어보기 쉽게 유지하십시오.
각 고문의 전체 응답을 위한 접을 수 있는 섹션 (기본적으로 접혀 있어 페이지가 압도적이지 않지만 사용자가 파고들고 싶을 때 사용 가능)
동료 검토 하이라이트를 위한 접을 수 있는 섹션
타임스탬프와 의회에서 논의된 내용을 보여주는 바닥글

깔끔한 스타일 사용: 흰색 배경, 미묘한 테두리, 읽기 쉬운 산세리프 글꼴(시스템 글꼴 스택), 고문 섹션을 구분하는 부드러운 강조 색상. 화려하지 않게. 전문적인 브리핑 문서처럼 보여야 합니다.

HTML 파일을 생성한 후 열어서 사용자가 즉시 볼 수 있도록 하십시오.

6단계: 전체 대화록 저장

전체 의회 대화록을 같은 위치에 council-transcript-[timestamp].md로 저장하십시오. 여기에는 다음이 포함됩니다:

원래 질문
구성된 질문
모든 5명의 고문 응답
모든 5개의 동료 검토 (익명화 매핑 공개됨)
의장의 전체 종합

이 대화록은 아티팩트입니다. 사용자가 변경한 후 동일한 질문에 대해 의회를 다시 실행하려는 경우, 이전 대화록이 있으면 사고가 어떻게 발전했는지 확인할 수 있습니다.

출력 형식

모든 의회 세션은 두 개의 파일을 생성합니다:

council-report-[timestamp].html    # 훑어보기용 시각적 보고서
council-transcript-[timestamp].md  # 참조용 전체 대화록

사용자는 HTML 보고서를 봅니다. 대화록은 나중에 더 깊이 파고들거나 특정 고문의 주장을 참조하려는 경우 사용할 수 있습니다.

예시: 제품 결정 의회 처리

사용자: "Council this: 초보자를 위한 Claude Code에 관한 297달러 강좌를 만들려고 합니다. 제 잠재고객은 대부분 비기술적 독립 사업가입니다. 이것이 올바른 움직임일까요?"

반론자: "지금 시장은 Claude 강좌로 넘쳐납니다. 297달러에 무료 YouTube 콘텐츠와 경쟁하고 있습니다. 잠재고객이 비기술적이라는 것은 높은 지원 부담과 환불 위험을 의미합니다. 297달러를 기꺼이 지불할 사람들은 아마 이미 초보자 수준을 넘어섰을 것입니다..."

…

refaelach/gmba-class-19-skills

gmba-class-19-skills란 무엇인가요?

즐겨 사용하는 AI에게 물어보기

문서