좋은 연구 수행 방법
사용 시기
본격적인 과학 또는 ML 연구(문제 선택 또는 재구성, 실험 설계, 제안서/논문 작성 또는 재구성, 증거가 주장을 뒷받침하는지 검토, 또는 다음에 실행할 내용 결정)를 수행할 때 이 스킬을 로드하세요. 단순한 사실 조회나 기계적인 파일 편집 시에는 건너뛰세요.
이 스킬은 의도적으로 작은 규모의 참고 자료 중심 스킬입니다. 첫 번째 임무는 모델이 실험을 계획하거나 논문을 작성하기 전에 신뢰도가 높은 참고 자료를 먼저 참고하도록 하는 것입니다. 사용자가 더 많은 출처와 기본 원칙을 개발함에 따라 추가하세요.
함께 로드할 스킬
- 이 스킬이 활성화될 때마다
humanizer를 함께 로드하세요. 사용자 대상 제안서, 논문, 초록, 서론, 리뷰 또는 연구 메모를 작성하거나 편집하기 전에 이 스킬을 읽으세요. 기술적 정확성과 사용자의 고유한 어조를 유지하면서 최종 산문에 AI-반대 적용(Anti-AI pass)을 수행하세요. - 작업이 사용자의 연구 시스템에 속할 때
ai-research-custom을 함께 로드하세요. 해당 스킬은 아티팩트 라우팅, 표준 프로젝트/실험 기록 형태, 중단 기준(kill criteria) 및 원장(ledgers)을 관리합니다. - 작업에 문헌 조사 또는 광범위한 출처 종합이 필요할 때
deep-research-orchestration-custom을 함께 로드하세요. 이 스킬은 연구 품질을 관장하며, deep-research-orchestration-custom은 팬아웃(fanout) 및 검색을 관장합니다.
우선 참고 자료
연구 설계 또는 논문 구조에 관한 실질적인 결정을 내리기 전에 Hamming, Carlini 및 Nanda의 관련 부분을 읽으세요. 또한 에이전트 지원 정량적 작업을 선택하거나 실행할 때 Schwartz/BootLoops를 참고하세요. 연구가 스타트업이나 다른 응용 환경에서 수행되는 경우 먼저 Kei를 읽으세요. 나머지 네 가지 참고 자료는 학계 또는 대규모 연구소 환경을 가정하기 때문입니다. 작업이 작은 경우, 결정을 변경하는 원칙만 추출하고 모든 에세이를 의례적으로 요약하지 마세요.
-
Richard Hamming, "You and Your Research"
https://www.cs.virginia.edu/~robins/YouAndYourResearch.html문제 선택 및 연구 방향 설정에 사용하세요. 문제가 중요하면서도 합리적인 공격 방법이 있는지, 명백한 제약 조건을 결과로 전환할 수 있는지, 고립된 작업이 클래스에 대한 재사용 가능한 결과가 될 수 있는지, 그리고 모순되는 증거를 계속 눈에 띄게 유지해야 하는지 질문하세요. Hamming이 설명하는 균형을 유지하세요: 실행할 만큼 아이디어를 믿되, 실패할 지점을 알아차릴 만큼 의심하세요.
-
Nicholas Carlini, "How to win a best paper award (or, an opinionated take on how to do important research)"
https://nicholas.carlini.com/writing/2026/how-to-win-a-best-paper-award.html연구 안목, 실행 및 논문 집중에 사용하세요. 논문의 한 가지 아이디어를 가능한 한 적은 단어로 진술하세요. 프로젝트를 죽일 가능성이 가장 높은 하위 문제부터 시작하세요. 정밀한 실험, 여러 번의 시도, 예측 가능한 반론에 대한 통제를 실행하세요. 단순히 관련된 모든 실험을 실행하지 않고 논문을 국소적으로 완전하게 만드세요. 대규모 투자 전에 최상의 결론을 먼저 작성하세요. 의도된 독자를 파악하세요. 독립적으로 이해될 수 있는 그림을 설계하세요.
-
Neel Nanda, "Highly Opinionated Advice on How to Write ML Papers"
https://www.alignmentforum.org/posts/eJGptPbbFPZGLpjsp/highly-opinionated-advice-on-how-to-write-ml-papers주장, 증거 및 반복적 글쓰기에 사용하세요. 프로젝트를 하나에서 세 개의 구체적인 주장, 그 중요성, 그리고 각 주장당 하나에서 세 개의 결정적인 실험으로 압축하세요. 경쟁 가설을 구별하는 실험을 선호하세요. 내러티브에 적대적 검증(red-team)을 수행하세요. 강력하고 적절하게 튜닝된 기준선을 사용하세요. 탐색적 분석과 확인적 분석에 레이블을 붙이세요. 한계와 무효 결과를 보존하세요. 단계적으로 확장하세요: 압축된 글머리 기호 내러티브 -> 서론 개요 -> 전체 논문 개요 -> 그림/결과 -> 산문 -> 반복 편집.
-
Matthew Schwartz, "Claude-shaped science" (Anthropic Science Blog, October 1, 2026)
https://www.anthropic.com/research/claude-shaped-science
도구 키트 및 프로토콜: https://bootloops.ai/harness.html · https://github.com/BootLoops-ai/bootloops · https://github.com/BootLoops-ai/skills연구 에이전트를 사용한 문제 선택 및 안정적인 실행에 사용하세요. Schwartz의 BootLoops 사례 연구는 Hamming의 중요성-공격성 테스트에 역량 적합성 질문을 추가합니다: 모델의 폭넓은 지식, 코딩 능력, 기계 규모의 읽기 능력, 또는 철저한 계산 능력을 통해 어떤 중요한 문제들이 다루기 쉬워지는가? 인간 연구자의 워크플로우를 모방하도록 에이전트에 강제하기 전에 학제 간 공유된 수학적 구조와 기존 방법을 검색하세요. 이러한 구분을 명시적으로 유지하세요:
- 기술적 정확성과 과학적 가치는 별개의 관문입니다. 현재 문헌 및 도메인 전문 지식에 대한 참신성과 관련성을 확인하세요. Schwartz의 생태학 및 유전학 예에서 전문가들은 초기 정확한 계산이 흥미롭지 않다는 것을 발견하고 유용한 질문으로 방향을 전환했습니다. 단순히 더 많은 자릿수나 더 빠른 재현보다는 새롭게 답변 가능한 질문을 선호하세요. "AI-형성"이 단순히 다루기 쉬움만을 최적화하는 구실이 되지 않도록 하세요.
- 노동 집약적 작업을 확장하기 전에 방법을 개선하세요. 작은 실행을 측정하고, 병목 현상을 검사하며, 긴 계산을 시작하기 전에 기존 도구와 알고리즘을 검색하세요. 개선 사항이 일반화되는 경우, 알려진 사례에서 검증하고 그 목적, 적용 가능성, 인터페이스 및 검증 기준을 유지하여 다음 프로젝트가 이를 상속받을 수 있도록 하고, 실패한 프로젝트의 유용한 도구도 포함하세요.
- 자체 입력을 인증할 수 없는 검사를 설계하세요. 독립적인 참조 경로와 답변을 맞추거나 선택하는 데 사용되지 않은 보류된 포인트/데이터를 사용하고, 참조 출처를 기록하세요. 심어진 진실을 복구하고 의도적으로 손상된 사례를 거부하여 검사기 자체를 테스트하세요. 적절한 경우 정밀도 상향 또는 인증된 오류 범위를 사용하세요. 수치적 일치는 계산을 뒷받침하지만 일반적인 항등식의 증명 자체는 아닙니다.
- 완료를 구체화하세요. 실행 가능한 재현 스크립트, 정량적 수용 기준, 플롯 및 해결되지 않은 가정을 보존하세요. 입증되지 않은 하중 지지 보조정리, 대체된 공리 또는 모호한 "좋은 일치"는 완료된 결과가 아닙니다. 독립적인 비판적 검토를 사용하고, 결과를 해결하며, 안심시키는 요약을 수용하지 말고 실제 아티팩트를 재확인하세요. 세션 및 압축(compaction)을 통해 현재 계획과 증거를 디스크에 보존하세요.
필요할 때 관련 상위 프로토콜, 특히
acceptance-gate,planted-truth,independence-bookkeeping,timing-discipline,reading-contract또는tool-stewardship를 읽으세요. 증명 작업에는prove-protocol을 참고하세요. 이는 모델 독립적인 참고 자료이며 자동으로 설치되는 스킬이나 보편적 보장이 아닙니다. Schwartz는 Anthropic의 자금 지원을 받아 BootLoops를 소유하고 유지 관리합니다. 보고된 과학적 성과는 저자가 보고한 것이며 프로젝트 수준의 검증이 필요합니다. 모델의 변화에 따라 모델별 역량 한계를 재평가하세요. -
Kei, "Doing a Research Startup" (September 5, 2024)
https://web.archive.org/web/20240920140442/https://keiyuva.ai/posts/type.startup/
보관된 복사본. 원본(keiyuva.ai/posts/type.startup)은 2026년 도메인이 만료되면서 오프라인이 되었습니다.연구가 스타트업 또는 다른 응용 환경에서 수행될 때 입문 자료로 사용하세요. 그곳에서의 실험적 연구는 학계나 대규모 연구소의 제약 조건과 유사하면서도 결정을 변경하는 방식으로 다른 제약 조건 하에서 실행됩니다. 위의 네 가지 참고 자료를 포함한 대부분의 연구 조언은 다른 주기, 환경 및 인센티브 세트를 가정하므로, 적용하기 전에 작업의 목적과 수행 위치를 설정하세요. Kei는 연구 스타트업의 창업자로서 글을 씁니다. 투자자는 속도에 비용을 지불하지만, 더 많은 돈이 연구를 안정적으로 빠르게 만들지는 않습니다: "50가지 시도를 해서 모두 실패하거나, 1-2번 만에 성공할 수도 있습니다." 진행 상황에 대한 명확한 지표가 없으므로, 누군가는 방향을 설정하고 종료할 대상을 결정하는 강력한 PI 역할을 해야 합니다. 모든 사람이 모든 것을 시도하게 하면 회사는 망합니다. 지출은 독립성과 연결되어 있으며, 이는 제한된 베팅, 서로 구축하는 작은 성공적인 실험, 그리고 연구로 복귀하는 사이의 견고한 적당한 크기의 제품 출시를 선호합니다. 자원이 부족하면 더 큰 예산이 샀을 것보다 더 저렴하고 더 나은 방법을 강제할 수도 있습니다. 결과를 보고할 때 무엇을 시도했고 왜 실패했는지 말하세요. 에세이는 왜 실패했는지에 대한 설명 없이 "작동하지 않았습니다"라고 말하는 것을 경고 신호로 간주합니다. 한 창업자의 한 회사에 대한 설명으로 취급하세요.
작업 순서
- 문제를 선택하세요. 왜 중요한지, 왜 지금 합리적인 공격이 가능한지, 그리고 이 팀만이 위치할 수 있는 것이 무엇인지 작성하세요. 에이전트 지원 작업의 경우, 특정 AI 이점을 명시하고 과학적 가치를 별도로 설정하세요. 설정과 작업의 목적(논문, 제품, 고객, 투자 유치)을 명시하세요. 이는 위 조언 중 어떤 것이 적용되는지 결정하기 때문입니다.
- 확장하기 전에 압축하세요. 한 문장 아이디어, 최상의 결론, 그리고 세 개 이하의 주장을 작성하세요.
- 주장을 증거에 매핑하세요. 각 주장에 대해 결정적인 실험, 가장 강력한 대안 설명, 가장 강력한 기준선, 그리고 이를 무효화하거나 좁힐 결과를 명시하세요.
- 가능성이 높은 실패를 먼저 공격하세요. 나머지를 다듬기 전에 가장 큰 부담이 되는 불확실성에 대한 가장 저렴한 테스트를 구축하세요.
- 논문의 그림을 초기에 설계하세요. 각 계획된 그림은 한 문장으로 된 핵심 메시지와 지원하는 명명된 주장이 필요합니다. 캡션만으로 설명할 수 없으면 분할하세요.
- 논문은 단일하게, 부록은 포괄적으로 유지하세요. 모든 본문 실험은 하나의 아이디어를 발전시켜야 합니다. 유용하지만 하중을 지지하지 않는 조사, 암묵적 지식 및 부수적 발견은 부록이나 동반 노트에 넣으세요.
- 냉정한 독자의 관점에서 작성하세요. 맥락 -> 문제 -> 주장 -> 증거 -> 영향. 독자에게 필요한 용어를 정의하세요. 단순한 아이디어를 형식적인 언어 뒤에 숨기지 마세요.
humanizer를 로드하고 적용하세요. AI-형성 어조, 벽과 같은 텍스트 리듬, 불필요한 제목, 상투적인 전환, 대시 과용, 일반적인 중요성 언어를 제거하세요. 아티팩트가 중요할 때 산문을 소리 내어 읽거나 TTS를 사용하세요.- 출시 전에 감사하세요. 사실/인용 정확성, 증거 강도, 보고되지 않은 무효 결과, 사전/사후 분석 상태, 재현 가능성, 그리고 결론이 실제로 "그래서 어쩌라고?"에 답하는지 확인하세요.
새 프로젝트를 위한 최소 산출물
긴 제안서 전에 다음을 생성하세요:
- 한 문장 아이디어
- 최상의 결론
- 하나에서 세 개의 주장
- 주장 -> 증거 -> 반증자 맵
- 첫 번째 킬 테스트
- 계획된 주요 그림(들)
- 알려진 혼동 요인과 가장 강력한 기준선
- 의도적으로 범위 외로 설정된 사항
그런 다음에만 산문으로 확장하세요.