방거 디텍터 — 진위 검증 및 정직한 공개은(는) 무엇을 하나요?
이 섹션 전체를 실행하기 전에 끝까지 읽으십시오. 대부분의 요청은 잘못된 결과를 요구하며, 이를 제공하면 글이 더 나빠집니다.
탐지기 점수가 의미하는 것과 의미하지 않는 것
AI 텍스트 탐지기는 대개 두 가지 통계적 속성을 측정합니다: perplexity(각 다음 단어가 얼마나 예측 가능한지)와 burstiness(문장 길이와 구조의 변동성). 낮은 perplexity와 낮은 burstiness는 기계 생성으로 간주됩니다.
이는 저자 증거가 아닌 스타일의 대리 지표입니다. 그 결과는 측정 가능하고 심각합니다:
- Liang et al.(2023, Patterns) 연구에 따르면 탐지기는 비원어민 영어 작가 에세이의 61.3%를 오탐했으며, 원어민 에세이는 거의 완벽하게 분류했습니다. **TOEFL 에세이의 97.8%**는 적어도 하나의 탐지기에 의해 오탐되었습니다.
- 같은 연구에서 비원어민 에세이를 더 정교한 어휘로 다시 쓰면 오탐률이 61.22%에서 11.77%로 감소했습니다. 탐지기는 저자 여부가 아닌 어휘 범위를 측정한 것입니다.
- 기술, 법률, 과학 문서도 같은 이유로 오탐됩니다. 해당 분야의 논문은 필연적으로 용어와 구조를 재사용합니다. 탐지기는 필요한 균일성을 기계 출력으로 읽습니다.
- 최근 학술 연구는 오탐 문제가 구조적임을 주장합니다: 실제 탐지 능력을 가진 텍스트 전용 탐지기는 일부 인간 집단에 대해 오탐을 반드시 발생시킵니다. 더 나은 엔지니어링으로는 이 문제가 제거되지 않습니다.
탐지기는 인간이 썼다는 것도, 기계가 썼다는 것도 증명할 수 없습니다. 모든 점수를 약한 적대적 증거로 취급하십시오.
이 스위트에 특화된 함정
technical-clarity.md는 의도적으로 짧은 문장, 개념당 하나의 이름, 일관된 구조, 평이한 어휘를 만듭니다. 이는 의도적으로 낮은 perplexity와 burstiness입니다. 올바르게 적용하면 초안의 AI 점수가 상승하면서 글은 개선됩니다.
명확성을 해쳐서 이 갈등을 해결하지 마십시오. 글이 명확하고 출처가 명시되었으며 진정으로 저자의 것이라면, 높은 탐지기 점수는 탐지기가 틀린 것입니다. 기록하고 넘어가십시오.
1단계: 진위 확인 — 점수가 아닙니다
다음 검사는 초안이 진정으로 저자의 것인지 결정합니다. 먼저 실행하고, 탐지기를 사용할 수 없는 경우에도 실행하십시오.
- 출처(Provenance). 모든 숫자, 인용, 이야기, 날짜, 결과, 명명된 구체적인 내용은 실제 아티팩트(파일, 커밋, 스크린샷, 측정값, 게시된 글, 또는 저자가 말한 것)로 추적되어야 합니다. 출처를 확인할 수 없는 것은 부드럽게 표현하지 말고 제거하십시오. 이것이 실제로 중요한 검사입니다.
- 판단(Judgment). 글은 저자만이 자신의 경험에서 내릴 수 있는 결정을 제시합니다. 균형 잡힌 요약과 입장 없음이 실제 신호입니다.
- 경험적 질감(Earned texture). 생성될 수 없었던 구체적인 세부 사항: 정확한 오류 문자열, 그 비용, 잘못된 부분, 마음을 바꾼 것.
- 실제 변이(Real variation). 문장 리듬이 생각의 변화에 따라 달라지며, 변이를 인위적으로 만든 것이 아닙니다. 소리 내어 읽어보십시오.
- 제약 준수(Constraint compliance). 크리에이터 프로필의 금지된 구두점, 구문, 어조 규칙이 충족됩니다.
- 말하기 테스트(Say-it-out-loud). 저자가 이 문장을 동료에게 말할 수 있습니까? 그렇지 않은 문장은 다시 쓰십시오.
여섯 가지 모두 통과하는 초안은 탐지기 결과와 관계없이 진정합니다.
2단계: 탐지기 실행 여부 결정
크리에이터 프로필에서 detector_mode를 읽으십시오.
off— 실행하지 않습니다.requested— 저자가 요청할 때만 실행합니다.panel— 외부 공개용 글에 대해 탐지기 접근이 가능할 때 실행합니다. 접근이 불가능하면실행 안 함을 기록합니다. 실행을 암시하지 마십시오.
비공개 초안, 내부 문서, 저자가 자신의 이름으로 공개하지 않는 모든 것에 대해 탐지기를 건너뛰십시오.
3단계: 패널 실행
- 현재 접근 가능한 최소 두 개의 독립적인 서비스를 사용하십시오. 하나의 점수는 노이즈입니다.
- 개인, 미공개, 또는 클라이언트 기밀 초안을 타사 탐지기에 절대 붙여넣지 마십시오. 이는 저자의 자료를 외부 서비스에 공개하는 행위입니다. 매번 먼저 물어보십시오.
- 각 실행을
references/research/detector-runs.md에 기록하십시오: 날짜, 입력 식별자 또는 해시, 서비스 및 버전, 결과, 강조된 구절 위치, 매핑된 글쓰기 결함, 수정 사항, 재실행 결과. - 공개 원장에는 정제된 샘플만 사용하십시오. 비공개 초안은 비공개 오버레이에 기록하십시오.
4단계: 강조 구절을 실제 결함에 매핑하거나 중단
점수는 절대 재작성을 트리거하지 않습니다. 각 강조된 구절에 대해 writing-quality.md의 실제 결함에 매핑되는지 질문하십시오:
- 일반적인 시작, 빈 전환, 장식적 결론,
- 출처 없는 주장 또는 모호한 권위,
- 쌓인 삼항 구조, 대칭적인 단락, 강제된 병렬 구조,
- 회피적 표현 또는 숨가쁜 확신,
- 저자가 절대 사용하지 않는 어휘.
해당하는 것만 수정하십시오. 한 번 재실행하십시오. 점수와 관계없이 두 번의 탐지기 주도 수정 후 중단하십시오. 진실, 명확성, 리듬, 진정한 목소리가 모든 점수보다 우선합니다.
금지된 행동
다음은 작업과 저자의 신뢰성을 손상시킵니다:
- 인간처럼 보이기 위해 오타, 문법 오류, 어색한 표현을 삽입.
- "휴머나이저" 도구를 통해 초안을 실행.
- perplexity를 높이기 위해 filler 또는 동의어 회전을 추가. 이는 스위트가 제거하는 것을 정확히 다시 도입합니다.
- 점수 이동만을 위해 진실하고 명확하며 저자-진정한 구절을 변경.
- 어느 방향으로든 탐지기 점수를 저자 증거로 제시.
- 콘텐츠가 "AI 탐지를 통과"한다는 주장을 기능으로 게시. 이는 검증 불가능하고 서비스와 시간에 따라 달라지며 쉬운 반박을 초래합니다.
5단계: 공개
AI 도움에 대해 투명하게 밝히는 것은 어떤 점수보다 강력한 입장이며, 검증을 견딜 수 있는 유일한 방법입니다.
원칙: 과정을 정직하게 공개하고, 도구가 무엇을 했고 인간이 무엇을 했는지 구체적으로 밝히십시오. 독자는 도구 사용에 반대하지 않습니다. 그들은 누구의 생각을 읽고 있는지에 대해 오도되는 것에 반대합니다.
정직한 공개가 포함하는 것:
- 의견, 판단, 결론은 저자의 것입니다.
- 모든 사실적 구체 사항은 저자가 실제 아티팩트에 대해 확인했습니다.
- 저자는 오류에 대한 책임을 집니다.
- 도구가 진정으로 도움을 준 부분: 초안 작성, 구조화, 편집, 연구 지원, 글이 작성된 기준에 대한 점검.
피해야 할 것:
- 도구를 사용했을 때 "100% 인간 작성"이라고 주장. 스크린샷 하나로 끝납니다.
- 모든 것에 붙이는 포괄적인 AI 면책 문구. 이는 정직성보다 법적 보호처럼 읽힙니다.
- 반대로 과장하여, 저자가 했을 때 도구가 생각을 했다고 암시.
- 공개가 각주일 때 글의 주제로 만듦.
배치: 독자가 원할 위치에 한 줄의 평이한 문장. 바이라인, 저자 노트, 저장소 README, 또는 소개 페이지에. 모든 단락에 넣지 마십시오.
저자의 목소리로 공개 문구를 초안하고 제안한 후 저자가 표현을 선택하도록 하십시오. 저자가 승인하지 않은 공개를 절대 게시하지 마십시오.
출력 형식
다음 순서로 보고하십시오:
- 여섯 가지 진위 확인 결과, 통과 또는 실패, 실패한 항목 명시.
- 탐지기 실행: 서비스, 날짜, 결과, 또는
실행 안 함과 그 이유. - 실제 결함에 매핑된 강조 구절과 수행된 수정 사항.
- 기각된 강조 구절과 그 이유.
- 글이 필요하다면 제안된 공개 문구.
- 여전히 저자의 승인이 필요한 사항.
탐지기 점수를 진위 결과 없이 보고하지 마십시오. 점수는 더 약한 신호이며 절대 헤드라인으로 제시되어서는 안 됩니다.