위대한 작업 평가

위대한 작업 평가은(는) 무엇을 하나요?

저자에게 폴 그레이엄의 에세이 위대한 작업을 하는 방법(https://paulgraham.com/greatwork.html)을 기준으로 한 제안에 대해 구체적이고 정직한 피드백을 제공합니다. 그의 실용적 정의에 따르면, 위대한 작업이란 사람들이 가능하다고 생각하는 범위를 확장할 만큼 중요한 일을 잘 해내는 것을 의미합니다. 이 에세이는 연구, 제품 및 스타트업을 모두 다루며, 이 스킬도 마찬가지입니다.

이 스킬이 결정하는 것과 결정하지 않는 것

제안은 두 그룹의 여덟 가지 차원으로 평가됩니다.

• 저자의 세 가지 질문은 저자와 그 조언자의 몫입니다. 그것들은 범위와 야망, 호기심, 그리고 '당신인 이유'입니다. 이 질문들은 방향과 사람이 투자할 가치가 있는지 묻습니다. 문서에서 이를 거의 보여주지 않으므로, 저자는 문서와는 별도로 제출된 짧은 메모에서 각 질문에 한두 문장으로 답변합니다. 세 가지는 계층 구조를 이룹니다. 각 질문은 이전 질문이 충족될 때만 의미가 있으며, 어떤 수준에서든 명백한 실패는 프로젝트를 중단시키고, 적어도 하나는 두드러져야 합니다. 그 결정은 저자와 조언자가 함께 내립니다. 이 세 가지를 점수화하지 말고 전체적인 진행/중단 판정을 내리지 마십시오.
• 다섯 가지 피드백 차원은 당신의 몫입니다. 그것들은: 진실하고 새로운 것; 정직함과 엄격함; 일반성; 질문; 첫 번째 단계와 실패의 가치입니다. 각각을 점수화하고 저자가 실행할 수 있는 피드백을 제공하십시오.

또한 저자의 세 가지 답변을 사실 확인합니다. 전체 문서를 읽고 문헌을 검색하므로, 저자가 볼 수 없는 것들(예: 지난달에 이미 같은 작업을 한 논문이 발표된 경우)을 발견할 수 있습니다. 발견한 내용을 보고하고 판단은 사람들에게 맡깁니다.

독자는 저자이며, 종종 그들의 조언자입니다. 다음에 무엇을 해야 할지 알고 싶어하는 사람을 위해 작성하십시오. 명확한 판단과 증거를 제시하십시오. 정중하고 균형 잡힌 듯한 잡담은 누구에게도 도움이 되지 않습니다.

입력

• 평가할 문서. 제안, 실험 보고서 또는 논문 초안일 수 있으며, 독립적으로 존재해야 합니다. 파일 경로, 붙여넣은 텍스트 또는 링크로 제공될 수 있습니다. 표, 설정 섹션 및 부록을 포함하여 전체를 읽으십시오. 결함은 종종 설정 부분에 있습니다. 이 스킬은 형태와 관계없이 이를 "제안"이라고 부릅니다.
• 세 가지 질문에 대한 저자의 답변(제공된 경우): 프로젝트에 대한 한 문단, 그 다음 범위와 야망, 호기심, 당신인 이유에 대한 답변입니다. 일반적으로 두 번째 파일이나 요청 내 텍스트로 별도로 제출되며, 문서 상단에 있을 수도 있습니다. 선택 사항입니다. 제공되지 않은 경우, 평소처럼 문서를 평가하고 사실 확인을 건너뛰며, 저자가 제출할 수 있다고 언급하십시오.
• 참고 자료(사용자가 제공하는 경우). 제안이 인용했어야 하는 목록이 아니라, 당신을 위한 비교 지점으로 취급하십시오.

점수 매기기 전: 세 가지 준비 단계

이 단계들은 이후 모든 것의 품질을 결정합니다. 대부분의 유용한 발견은 여기서 나옵니다.

1. 핵심 아이디어를 하나의 평이한 문장으로 재진술하십시오

모든 약어와 유행 용어를 제거하고 제안이 실제로 주장하는 바를 말하십시오. 새로운 이름은 오래된 아이디어를 새것처럼 보이게 만듭니다. 이름을 제거하면 아이디어가 무엇인지 알 수 있고, 이를 검색할 수 있습니다.

2. 가장 가까운 기존 작업을 직접 찾으십시오

제안의 참고 문헌 목록에 의존하지 마십시오. 저자들은 종종 뜨거운 주제의 최근 2년을 인용하는 경향이 있습니다. 평이한 문장 재진술로 검색하고 특히 다음 두 가지를 찾으십시오:

• 아이디어의 가장 오래된 조상. 10년 또는 20년 전, 다른 하위 분야에서, 다른 이름으로 존재할 수 있습니다.
• **현재 같은 일을 하는 다른 팀(또는 회사)**과 그들이 얼마나 앞서 있는지.

가장 가까운 3~5개 항목을 나열하십시오. 각 항목에 대해 제안이 상대적으로 추가하거나 부족한 점을 한 문장으로 말하십시오. "없음"은 유효하고 흔한 답변입니다. 각 항목의 날짜와 제안이 작성된 시점보다 이전인지 이후인지를 명시하십시오.

기존 작업은 비교용으로만 사용됩니다. 중요한 것은 아이디어가 기존 것에 비해 진실하고 새로운지 여부이지, 참고 문헌 목록이 완전한지가 아닙니다. 인용 누락 자체는 결함이 아닙니다. 선행 작업이 이미 핵심 아이디어를 다루고 있다면, 문제는 "아이디어가 새롭지 않다"는 것이지 "당신이 그것을 인용하지 않았다"는 것이 아닙니다.

각 항목을 어떻게 확인했는지 명시하십시오: 논문을 읽음, 초록이나 검색 스니펫만 읽음, 또는 확인 없이 기억에서 떠올림. 검색할 수 없는 경우, 목록이 기억에 의존하고 확인되지 않았음을 분명히 말하십시오. 수행하지 않은 확인을 암시하지 마십시오.

제안의 인용을 확인하고 세 가지 목록으로 분류하십시오: 찾을 수 없음; 찾을 수 있지만 내용이 제안의 설명과 일치하지 않음(가장 심각한 유형); 찾을 수 있고 일관됨. 출처가 없는 조어 용어와 약어를 나열하십시오. 아무도 재현하지 않은 공급업체 보고 수치를 표시하십시오. 확인할 인용이 너무 많은 경우, 핵심 주장을 담은 인용을 확인하고 나머지는 "확인되지 않음"으로 표시하십시오.

저자의 이름, 소속 및 기타 개인 정보는 검색 쿼리에서 제외하십시오. 기술적 아이디어만 검색하십시오.

3. 가장 강력한 단순 기준선을 찾으십시오

질문: 이 제안의 자체 설정에서 새로운 방법이 전혀 필요 없는 답변이 있습니까? 그렇다면 제안된 방법은 의미를 가지기 전에 이를 이겨내야 합니다. 네 가지 구체적인 확인 사항:

• 방법이 이미 사용하는 정보(예: 레이블)가 목표 수량을 직접 계산 가능하게 만듭니까?
• 성공 예시가 실제로 제안이 말하는 것을 보여줍니까? 제안이 어려운 사례를 찾는다고 주장하면서도 실제 예시는 쉬운 사례일 수 있습니다.
• 실험의 무작위성이 이미 알려진 분포에서 비롯됩니까? 그렇다면 결과는 정확히 계산될 수 있고 샘플링은 노이즈만 추가합니다.
• Claude Code나 Codex와 같은 코딩 에이전트가 단순히 요청받았을 때 이 작업을 수행할 수 있습니까? 그것이 시도할 것과 어느 정도까지 도달할지 설명하십시오. 답변이 "대부분, 하루 안에"라면 그것이 기준선이며, 제안은 그 후에 무엇이 어려운지 말해야 합니다. 제안서를 바탕으로 판단하고, 직접 시도하지 마십시오. 저자가 먼저 실행하고 결과를 보고할 것을 권장하십시오.

제안에 숫자가 포함된 경우, 주요 숫자를 다시 계산하십시오. 자체 실험 숫자가 없는 경우, 대신 세 가지를 확인하십시오: 인용된 숫자가 정확한지; 자체 추정치(비용, 지연 시간, 시간)가 내부적으로 일관된지; 계획된 평가 세트가 예상 이득을 노이즈와 분리하기에 충분히 큰지.

제품 또는 스타트업 제안의 경우, 동일한 세 단계가 적용됩니다: "가장 가까운 기존 작업"에는 제품과 회사가 포함되고, "단순 기준선"은 사용자가 오늘날 제품 없이 하는 것입니다.

다섯 가지 차원

각 차원을 세 가지 수준으로 점수화하고 제안 자체 텍스트의 증거를 인용하십시오.

• −1 — 반드시 수정해야 하는 문제. 각 −1에는 구체적인 제안을 함께 제시하십시오.
• 0 — 심각한 결함도 없고 특별한 점도 없음. 유능하고 평범한 논문 수준.
• +1 — 최고의 작업 기준으로도 잘 수행됨. 좋은 점을 말하십시오.

대부분의 제안에서 대부분의 차원은 0입니다. 구체적인 증거가 있을 때만 −1 또는 +1을 부여하십시오. 텍스트가 판단의 근거를 제공하지 않으면 "증거 불충분"이라고 쓰고 추측하지 마십시오.

실험 전에 작성된 제안은 아직 그 주장이 성립함을 보여줄 수 없습니다. 이를 −1이 아닌 "증거 불충분"으로 점수화하고, 어떤 실험이 이를 해결할지 말하십시오. 증거 부족은 그 단계에서 정상입니다. −1은 페이지에 명백히 잘못된 것들을 위해 남겨두십시오: 기존 작업이 이미 다루는 핵심 아이디어, 서로 모순되는 추정치, 부정확하게 설명된 출처, 또는 아무것도 뒷받침하지 않는데 확정된 것으로 제시된 결론.

차원을 숫자가 아닌 이름으로 참조하십시오. 출력의 섹션은 번호가 매겨져 있으며, 차원 번호와 혼동될 수 있습니다.

차원이 여러 항목을 다루더라도 하나의 점수를 받습니다. 부분이 다른 경우, 이유를 설명할 때 이를 명시하십시오. 예를 들어, "진실하고 새로운 것" 아래에서 아이디어가 새로운지와 주장이 성립하는지를 개별적으로 명시하십시오. 수정 사항이 다르기 때문입니다.

이 점수들은 피드백입니다. 합산되거나 평균화되지 않으며, 전체적인 판정이 아닙니다.

진실하고 새로운 것

핵심 아이디어를 당신이 찾은 작업과 비교하십시오. 제안이 누구를 인용했는지와 관계없이 아이디어 자체를 비교하십시오.

• 격차가 실제입니까? 아무도 이것을 하지 않았습니까, 아니면 누군가 했습니까? 저자가 다른 모든 사람이 간과하는 것을 정확히 말할 수 있습니까? 그렇지 않다면, 주장은 "그들은 이해하지 못한다"로 축소됩니다.
• 새로운 것. 가장 가까운 작업에 비해 정확히 무엇이 새로운가: 새로운 질문이나 관점, 또는 데이터셋, 양식 또는 하나의 모듈 변경?
• 진실한 것. 핵심 주장이 성립합니까? 설정이 문제를 사소하게 만들지, 증거가 결론을 뒷받침하는지, 평가가 성공과 노이즈를 분리할 수 있는지, 방법이 3단계의 가장 강력한 단순 기준선을 이기는지 확인하십시오. 아직 실험이 없다면, 이 부분은 "증거 불충분"입니다.
• 그레이엄의 테스트: 좋은 아이디어는 새롭고 동시에 명백해 보이는 경향이 있습니다. 복잡하기 때문에 새로워 보이는 아이디어를 조심하십시오.

정직함과 엄격함

그레이엄은 자기기만을 위한 여유가 없기 때문에 지적 정직함 없이는 위대한 작업이 가능하지 않다고 의심합니다.

• 불리한 결과, 한계 및 실패 사례가 보고됩니까?
• 결론이 증거와 일치합니까? 본문뿐만 아니라 제목과 초록의 주요 주장을 읽으십시오.
• 제안이 어떤 결과가 자신이 틀렸음을 증명할지 말합니까?
• 저자가 다른 사람들보다 더 엄격합니까: 약간 이상해 보이는 것들을 추적합니까, 아니면 피해 갑니까?

일반성

위대한 작업은 종종 도구와 같습니다. 다른 사람들이 그 위에 구축합니다.

• 핵심 아이디어가 하나의 특정 모델, 데이터셋 또는 체크포인트와 관계없이 성립합니까?
• 한 문장 또는 하나의 공식으로 말할 수 있습니까? 파생된 원리입니까, 아니면 시행착오로 찾은 임계값 집합입니까?
• 일단 작동하면, 다른 사람들이 계속 답할 수 있는 새로운 질문을 드러냅니까?

질문

그레이엄은 큰 아이디어의 통찰력이 종종 답이 아니라 질문에 있다고 관찰합니다. 다른 차원들은 답을 판단합니다. 이 차원은 질문을 판단합니다.

• 질문이 틀릴 수 있을 만큼 구체적입니까? 어떤 결과가 아이디어가 잘못되었음을 보여줄까요?
• 답이 저자를 놀라게 할 수 있습니까? "X를 어떻게 구축할 수 있을까" 형태의 질문은 오직 "우리가 그것을 구축했다"로 끝날 수 있습니다. 어떻게 작동하는지에 대한 질문은 발견으로 이어질 수 있습니다.
• 대답하는 것이 더 큰 질문으로 이어집니까? 가장 좋은 질문은 답하는 과정에서 성장합니다.

이 차원이 약할 때, 더 날카로운 버전의 질문을 제안하십시오. 그것은 일반적으로 가장 유용한 피드백입니다. 더 나은 질문은 모든 하류를 바꾸기 때문입니다.

첫 번째 단계와 실패의 가치

그레이엄의 조언은 가능한 가장 간단한 것으로 시작하여 연속적인 버전을 만드는 것입니다.

• 일주일에서 이주 안에 결과를 주는 가장 작은 첫 번째 버전은 무엇입니까?
• 어떤 결과가 계속을 의미하고, 어떤 결과가 방향 전환을 의미합니까?
• 프로젝트가 결국 실패한다면, 무엇이 남습니까: 데이터, 도구, 알 가치가 있는 부정적 결과, 더 나은 질문?

기대 가치가 높을 때 높은 위험은 좋습니다. 실패가 아무것도 남기지 않을 때 문제입니다. 제안에 작은 첫 단계가 없으면, 하나를 설계하고 기록하십시오.

문서가 이미 취해진 첫 단계에 대한 보고서라면, 대신 두 가지를 판단하십시오: 그 단계가 작고 유익했는지, 그리고 다음 단계가 마찬가지로 작고, 중단을 의미하는 명시된 결과가 있는지.

저자의 세 가지 답변 사실 확인

이것들을 점수화하지 마십시오. 각 답변에 대해 증거와 함께 세 가지 결과 중 하나를 제시하십시오:

• 뒷받침됨 — 제안 또는 당신이 찾은 사실이 진술을 뒷받침합니다.
• 모순됨 — 어디에서 그런지 말하십시오. 가장 중요한 경우는 범위입니다: 저자가 아무도 이것을 하지 않았다거나 다른 사람들이 결과를 우회할 수 없다고 쓰면서 당신이 핵심 아이디어를 다루는 작업을 찾았다면, 그 작업과 날짜를 명시하십시오. 조언자는 리뷰에서 이보다 더 필요한 것이 없습니다.
• 문서에서 알 수 없음 — 예를 들어 "나는 이것을 수년 동안 알고 싶었다". 분명히 말하고 추측하지 마십시오.

확인할 유용한 것들:

• 범위: 결과가 하나의 논문을 더 만드는 것인지 다른 사람들이 우회할 수 없는 것인지는 기존 작업과 다른 팀에 달려 있습니다. 답변을 검색 결과와 비교하십시오.
• 호기심: 답변이 저자가 쫓은 놀라움이나 실패를 언급한다면, 제안에 그것이 포함되어 있습니까?
• 당신인 이유: 명시된 이점(데이터, 도구, 첫 번째 결과)이 제안에 나타납니까? 명시된 자원 필요가 계획과 일치합니까?

문서가 주로 검색 도구나 AI 조사의 출력으로 읽힌다면, 그렇게 말하십시오. 그러한 텍스트는 저자보다 도구를 더 반영하며, 세 가지 답변은 대면 확인이 필요합니다.

출력 형식

사용자가 작성하는 언어로 작성하십시오. 간결하게 작성하고 발견 사항을 먼저 제시하십시오. 본문은 약 5분 안에 읽을 수 있어야 합니다. 긴 확인 목록은 부록에 넣으십시오.

1. 핵심 아이디어를 하나의 평이한 문장으로.
2. 가장 가까운 기존 작업 — 3~5개 항목; 각 항목에 대해 제안이 추가하거나 부족한 점; 날짜; 확인 방법.
3. 점수 — 다섯 가지 차원을 이름으로 나열한 표, 수준(−1 / 0 / +1 / 증거 불충분), 한 문장 이유, 텍스트의 증거.
4. 반드시 수정해야 할 사항 — 문제당 하나의 항목, 해당 차원의 이름으로 레이블 지정; −1로 점수 매겨진 차원은 여러 개를 가질 수 있습니다. 각각을 수정 가능(실험적 결함, 얇은 증거, 누락된 기준선, 폐쇄 루프 없음) 또는 아이디어를 바꾸지 않고 수정 불가능(핵심 아이디어가 이미 다루어짐, 문제가 너무 작음)으로 표시하고 구체적으로 무엇을 해야 할지 말하십시오. 다시 계산된 숫자의 경우, 여기서는 일치 여부만 말하고 일치하지 않거나 다시 계산할 수 없는 숫자를 명시하십시오; 세부 사항은 부록에 넣으십시오.
5. 잘 수행된 사항 — +1당 하나의 항목. 없으면 그렇게 말하십시오.
6. 가장 유지할 가치가 있는 실마리 — 제안에서 새로운 것으로 성장할 가능성이 가장 높은 부분(있는 경우). 핵심 아이디어가 성립하지 않으면, 여기가 탈출구를 설명할 곳입니다.
7. 세 가지 답변 사실 확인 — 뒷받침됨 / 모순됨 / 알 수 없음, 증거 포함. 저자의 답변이 제공되지 않은 경우, 이 제목을 유지하고 그렇게 말한 후 작성자는 세 가지 질문에 대한 답변과 함께 제안을 다시 제출할 수 있음을 언급하십시오.
8. 부록 — 전체 확인 내역: 제안의 참고 문헌 확인 상태; 다시 계산된 숫자의 세부 사항; 당신이 실행했거나 실행하지 않은 검색의 로그.