연구 글쓰기
대부분의 나쁜 연구 글쓰기는 형편없이 쓰여진 것이 아닙니다. 반증 불가능하기 때문입니다. 유능하고 정확한 문장이지만, 잘못된 것으로 판명될 수 있는 주장은 하나도 없어서, 독자는 아무것도 할 수 없이 글을 마치게 됩니다. 측정된 결과입니다. AI가 생성한 연구 산문 한 단락은 전체 단어 레벨 린트에서 10,000단어당 0.0 히트를 기록했고, 472단어 중 하나의 반증 가능한 주장만을 담고 있었습니다. 모든 표면적 검사를 통과했지만 아무 말도 하지 않았습니다.
따라서 1차 패스는 주장 감사입니다. 다른 모든 것은 부차적입니다.
1차 패스 — 감사 (항상 실행)
먼저 모드를 선택하십시오. 문서에 잘못된 질문을 하면 아무 결과도 얻을 수 없습니다.
| 당신이 하는 일 | 단위 | 질문 |
|---|---|---|
| 산문 교정 | 각 문단 | 어떤 관찰이 이것을 거짓으로 만들까? |
| 산문 초안 작성 | 작성 전에, 의도한 각 주장 | 동일. 산문이 존재하기 전에 답을 함 |
| 아직 결과가 없는 작업 설계 | 각 핵심 가정 | 이 가정이 틀렸다면, 작업이 여전히 주장하는 바를 측정하는가? |
설계 모드는 변형이 아닙니다. 설계의 주장은 무엇이 측정될 것인지에 대한 것이며, "우리는 여덟 개 레이어를 훑을 것이다"는 거짓일 수 없으므로, 반증 가능성은 적용될 대상이 없습니다. 틀려도 괜찮은 가정은 괜찮습니다. 그렇지 않은 가정은 작업을 시작하기 전에 통제해야 할 교란 요인입니다.
교정 및 초안 작성
| ¶ | 한 문장으로 된 주장 | 자신의 주장인가, 인용인가? | 무엇이 그것을 거짓으로 만들까? |
|---|
- 자신의 주장 vs 인용. 자신의 주장은 모든 인용이 정확하게 보고되더라도 틀릴 수 있습니다. "Qin et al.은 X를 보고한다"는 인용입니다. "X는 게이트 역할을 할 수 없다"는 자신의 주장입니다. 인용된 주장만으로 구성된 초안은 틀릴 수 없습니다 — 그것이 바로 결함입니다.
- 기술된 그대로 반증 가능 — 독자가 문장만으로 반박하는 관찰을 명명할 수 있습니다. "강한 상관관계"는 실패합니다. 위반할 임계값이 없습니다. "세 모델에 걸쳐 r > 0.5로 상관한다"는 통과합니다.
- 수량화되지 않은 최상급 표현이 가장 흔한 실패입니다: 가장 명확한, 주된, 대부분의, 몇 안 되는 중 하나. 기준을 제시하거나 순위를 포기하십시오.
- 분석적 주장은
[A]플래그를 받습니다. 유도된 주장 — "계수는 임의의 u에 대해 정확히 1이다" — 은 어떠한 관찰에 의해서도 반박되지 않으며, 오직 유도 오류 또는 전제의 실패에 의해서만 반박됩니다. 전제의 반증 조건을 네 번째 열에 넣고, 주장의 것을 넣지 마십시오. 경험적 내용이 그곳에 있기 때문입니다. 우리의 경우: 고정 주장은 분석적이고, 그 전제는 접두사 공유이며, 전제가 [E-017]과 [E-018]이 측정한 것입니다. 주의: 분석적 주장은 문서 내 또는 인용을 통해 그 유도를 제공해야 합니다. 유도가 제시되지 않으면 분석적이 아니라 단지 반증 불가능한 것입니다.
네 번째 열이 비어 있는 모든 행을 수정하십시오 — 구체화하거나, 명시적 인용으로 강등하거나, 삭제하십시오. 자신의 주장이 전혀 없다면 멈추고 그렇게 말하십시오. 어떤 재작성도 그것을 고치지 못합니다.
"이것을 어떻게 처리해야 할지 모르겠다"는 여기서 해결되며, 형식 문제가 아닙니다. 초안은 실행할 수 없는 지시문으로 가득 찰 수 있습니다 — "GradSim을 사전 편집 위험 점수로 사용" 은 동사와 목적어가 있지만 실행 불가능합니다. 게이트에는 임계값과 출처가 절대 제공하지 않는 오류율이 필요하기 때문입니다. 빈 지시문은 수량화되지 않은 주장에 기반합니다. 이 1차 패스를 통과하지 못한 초안에 "다음 조치" 목록을 덧붙이지 마십시오. 아무도 할 수 없는 일의 깔끔한 목록이 나올 뿐입니다.
설계
| # | 핵심 가정 | 틀리면 작업이 지속되는가? | 통제 방안 |
|---|
실현 가능성을 가정에 포함시키십시오: 이 작업은 내가 실제로 가진 컴퓨팅, 데이터 및 의존성 예산 내에서 실행된다. 절반의 호출에서 실패하는 의존성은 나중에 흡수할 사고가 아니라 아티팩트(체크포인팅, 재개 가능성)를 변경하는 설계 매개변수입니다. 세 번째 열의 "아니오"는 교란 요인입니다. 티켓을 열기 전에 통제 방안을 명명하십시오.
두 번째 작업, 바로 중요한 작업
모든 행에 네 번째 열이 생기면, 어떤 주장이 핵심적인지 보이게 됩니다.
감사는 무엇이 핵심인지 알려줍니다. 어떤 순서를 부과해야 하는지는 알려주지 않습니다 — 장르가 알려줍니다.
- 논문은 의존성에 따라 순서를 정합니다: 다른 주장이 기반하는 주장을 먼저, 단지 그것을 확인하는 것은 강등합니다.
- 실험 노트, 기록 또는 서사는 시간 순서에 따라 순서를 정합니다. 여덟 개의 주장이 철회된 순서대로 보여주는 것이 임무인 게시물은 의존성 순서로 정렬하면 망가집니다.
- 둘은 결합됩니다. 시간 순서 문서에도 논증하는 섹션이 있으며, 논증 섹션 내에서는 의존성이 지배합니다 (문서가 최상위 수준에서 하는 일과 무관하게).
이것을 거꾸로 하는 것이 이 패스가 해를 끼칠 수 있는 유일한 방법이므로, 무언가를 옮기기 전에 장르를 결정하십시오.
세 번의 실제 사용에서 필터링은 0개의 반증 불가능한 주장을 잡아냈습니다 — 모든 출처가 이미 그 기준에 맞춰 작성되어 있었습니다 — 반면 순위는 매번 구조를 변경했습니다. 필터가 아닌 순위를 기대하십시오. 아무것도 잡아내지 못한 감사는 실패한 것이 아닙니다. 무엇이 무엇보다 우선하는지에 대한 테이블을 읽으십시오.
2차 패스 — 7가지 구조적 질문
순서대로. 작업 예제: references/structure.md. 질문 2와 3이 세 번의 실제 사용에서 실제로 발동된 질문입니다 — 2번이 두 번, 3번이 한 번 — 그러므로 먼저 거기에 주의를 집중하십시오. 세 번의 사용은 순위가 아닙니다. 어디를 봐야 하는지에 대한 정보입니다.
- 제목 — 각각을 진릿값이 있는 문장으로 다시 쓸 수 있는가? (참고문헌, 부록, 방법, 그리고 한계 역할을 하는 모든 것은 탐색 레이블이므로 예외입니다.)
- 공백 — 어떤 공백이며, 그것을 메우는 데 비용은 얼마나 들고, 무엇이 바뀌는가? 가격이 책정되지 않은 공백은 희망사항입니다.
- 기호 — 각 대상이 기호를 얻기 전에 영어로, 기능에 의해 명명되었는가?
references/mathematics.md. - 억압 — 생략된 모든 용어가 생략된 지점에서 언급되었는가? "...x는 표기법의 단순화를 위해 생략되었습니다."
- 명명 — 기존 어휘가 이것을 정확히 나타내는가? 그렇다면 빌려오십시오. 불확실할 경우 새로 만드십시오. 새로 만든 용어는 큰 소리로 실패하고, 잘못 빌린 용어는 조용히 실패하기 때문입니다.
- 모호한 표현 — 격리하십시오. 줄이지 마십시오. 모든 자격은 명명된 한계(Limits) 섹션에 들어가고, 본문은 모호함 없이 작성됩니다. 동일한 인식론적 내용, 집중됨, 그리고 더 정직함: 모호한 부사 대신 구체적인 한계가 명명됩니다.
- 비판 — 범위가 손상되기 전에 고정되었는가? "X는 A를 수행하기 위해 구축되었고, 실제로 그렇게 합니다. B는 다른 질문입니다. 문제는 하류에 있습니다."
모든 초안은 한계 섹션을 갖습니다, 이름이 무엇이든
격리가 요구사항입니다. 이름은 아닙니다. "공격할 대상"은 적대적 레지스터에서 동일한 역할을 수행합니다. 그 역할을 수행하는 섹션은 진릿값 제목 규칙에서 면제됩니다.
그러나 세 번째 범주가 이름 변경 후에도 살아남는지 확인하십시오. 적대적 프레이밍은 검토자가 공격할 것을 수집하며, 아무도 사용에 대한 제약을 공격하지 않습니다 — 따라서 해당 항목은 섹션이 다른 이름으로 불릴 때 사라지는 경향이 있습니다.
세 가지 종류의 항목이 있으며, 세 번째는 단독으로 나타나지 않습니다:
- 결과가 보여주지 않는 것 — "지식이 존재하는지 측정하며, 모델이 그것을 생성할 것인지는 측정하지 않습니다."
- 수행되지 않은 것 — "GPT-2-XL에 대해 제약된 측정을 실행하지 않았습니다."
- 결과가 어떻게 사용되지 않을 수 있는지 — "제가 제공하는 방법이 아니라, 발견의 결과입니다." 2차 패스 질문이 생성하지 않습니다. 의도적으로 추가하십시오.
3차 패스 — 린트 (최소 기준, 게이트가 아님)
python scripts/lint.py --rate DRAFT.md
참고 비율: 하우스 스타일 산문 0.0 (27,700단어 중 10,000당), 출판된 기계 해석 논문 5.1, 편집되지 않은 설문 보고서 산문 6.4. 1.25배 차이 — 이것은 좋은 논문과 나쁜 보고서를 구분할 수 없습니다.
저자 테스트도 아닙니다. 비율은 작성자가 하우스 스타일을 따르는지 추적할 뿐, 누가 입력했는지 추적하지 않습니다. 실제 사용 시 AI가 작성한 두 문서가 0.0을 기록했습니다 (3,200단어 및 13,100단어). 깨끗한 린트를 품질 또는 출처의 증거로 보고하지 마십시오.
위치 선정 주장
참신성 판정 — "이것은 주장되지 않았다", "우리가 선점당했다" — 은 주장이므로 1차 패스가 그대로 적용됩니다. 맨몸으로 말한 판정은 의견입니다. 가장 가까운 논문이 하지 않는 것을 명명하는 판정은 확인될 수 있습니다. 감사가 생성하지 않는 두 가지 규칙:
보류하려면 진행보다 더 강력한 증거가 필요합니다. 잘못된 "길이 열려있다" 는 나중에 논문이 나타나면서 드러납니다. 잘못된 "우리가 선점당했다" 는 작업을 조용히 죽이고 그것이 틀렸다는 증거를 생성하지 않습니다. 확인되지 않은 선점 판정은 확인할 근거이지, 보류할 근거가 아닙니다.
판정이 논문이 한 것에 달려 있을 때는 산문이 아닌 방법 또는 부록을 읽으십시오. 서론은 저자들이 구성이 산출하기를 희망한 것을 말합니다. 부록은 실제로 수행된 것을 말합니다. 아무리 검색을 추가해도 그것을 잡아낼 수 없습니다.
이것이 할 수 없는 일
이러한 패스는 초안의 증거 기반이 아닌 인식론적 구조를 개선합니다. 측정된 결과: 이를 적용하여 일곱 개의 반증 가능한 주장과 0개의 새로운 숫자가 추가되었습니다. 출처에 아무것도 없었기 때문입니다. 빈약한 증거 위에서는 증거가 빈약하다는 명시적 진술을 생성합니다 — 확신에 찬 빈약함보다는 낫지만, 잘 입증된 것과는 다릅니다.
초안에 필요한 숫자가 없으면 그렇게 말하고 중단하십시오.
또한 작업이 수행할 가치가 있는지 결정하거나, 문헌 검색을 실행하거나, 다음에 무엇을 구축할지 선택하지 않습니다. 프로젝트 수준의 설계 프로토콜이 이러한 것을 담당합니다.
참고 자료
references/structure.md— 일곱 가지 질문, before/after 예제 포함references/mathematics.md— 말이 먼저, 기호는 나중에; 이름에 대한 자유 추론 검사references/exemplars.md— 표시된 구절, 그리고 하나의 작업된 반례references/voice.md— 오직 빈 상태에서 초안을 작성할 때만. 문서를 확장하는 경우? 문서의 레지스터를 따르십시오.