Scholar Evaluation (학술 평가)
이 스킬을 사용하여 반복 가능한 루브릭으로 학술 또는 과학 작업을 평가하세요.
사용 시기
- 연구 논문, 제안서, 학위 논문 장 또는 문헌 검토를 검토할 때.
- 주장이 인용된 증거에 의해 뒷받침되는지 확인할 때.
- 방법론, 연구 설계, 분석 또는 한계를 평가할 때.
- 품질이나 관련성에 대해 두 개 이상의 논문을 비교할 때.
- 수정을 위한 구조화된 피드백을 제공할 때.
평가 범위
가장 먼저 평가 대상을 식별하세요.
- 실증 연구 논문
- 이론 논문
- 기술 보고서
- 체계적 또는 서술적 문헌 검토
- 연구 제안서
- 학위 논문 또는 논문 장
- 학술대회 초록 또는 짧은 논문
그런 다음 평가 범위를 선택하세요.
- 종합적(comprehensive): 모든 루브릭 차원 평가
- 표적(targeted): 방법론이나 인용과 같은 한두 가지 차원에 집중
- 비교(comparative): 동일 루브릭을 사용하여 여러 작업을 평가
루브릭
해당되는 각 차원을 1점에서 5점으로 평가하세요.
- 5: 우수함; 명확하고, 엄격하며, 출판 준비 완료
- 4: 좋음; 약간의 개선 필요
- 3: 적절함; 의미 있는 결함이 있지만 사용 가능
- 2: 약함; 상당한 수정 필요
- 1: 매우 나쁨; 심각한 타당성 또는 명확성 문제
해당되지 않는 차원은 N/A를 사용하세요.
1. 문제 및 연구 질문
- 문제가 명확하고 구체적인가?
- 기여가 의미 있는가?
- 범위와 가정이 명시적으로 제시되었는가?
- 질문이 주장된 기여와 일치하는가?
2. 문헌 및 맥락
- 관련 선행 연구가 적절히 다루어졌는가?
- 작업이 단순히 출처를 나열하는 대신 종합하고 있는가?
- 결함이 정확하게 식별되었는가?
- 최신 연구와 기초 연구가 균형을 이루는가?
3. 방법론
- 방법이 연구 질문에 답하는 데 적합한가?
- 설계 선택이 정당화되었는가?
- 변수, 데이터셋, 참가자 또는 자료가 명확하게 설명되었는가?
- 다른 연구자가 이 작업을 재현할 수 있는가?
- 윤리적 및 실용적 제약이 인정되었는가?
4. 데이터 및 증거
- 데이터 출처가 신뢰할 수 있고 적절한가?
- 표본 크기 또는 코퍼스 범위가 적절한가?
- 포함, 제외 및 전처리 결정이 문서화되었는가?
- 누락 데이터와 편향 위험이 논의되었는가?
5. 분석
- 통계적, 질적 또는 계산적 방법이 적절한가?
- 기준선(baselines)과 대조군(controls)이 공정한가?
- 필요한 경우 불확실성, 민감도 또는 견고성 검사가 포함되었는가?
- 대안적 설명이 고려되었는가?
6. 결과 및 해석
- 결과가 명확하게 제시되었는가?
- 주장이 증거의 범위를 벗어나지 않는가?
- 그림, 표, 지표가 이해하기 쉬운가?
- 부정적 또는 귀무 결과가 정직하게 다루어졌는가?
7. 한계 및 타당성 위협
- 한계가 일반적인 수준이 아닌 구체적인가?
- 내적, 외적, 구성 및 결론 타당성 위험이 다루어졌는가?
- 논문이 추측과 입증된 결과를 구분하는가?
8. 글쓰기 및 구조
- 논증이 따라가기 쉬운가?
- 섹션이 연구 질문을 중심으로 구성되었는가?
- 정의와 표기법이 명확한가?
- 어조가 정확하고 학술적인가?
9. 인용
- 인용된 논문이 그에 첨부된 주장을 뒷받침하는가?
- 가능한 경우 1차 출처가 사용되었는가?
- 리뷰 논문은 리뷰로 표시되었는가?
- 사전 인쇄본은 사전 인쇄본으로 표시되었는가?
- 인용 메타데이터와 링크가 정확한가?
검토 프로세스
- 초록, 서론, 그림, 결론을 읽어 주장된 기여를 파악합니다.
- 방법과 결과를 읽어 증거 품질을 확인합니다.
- 가장 강력한 주장을 인용된 출처와 대조합니다.
- 해당되는 각 차원에 점수를 부여합니다.
- 치명적 차단 요소(critical blockers)를 수정 제안과 분리합니다.
- 구체적인 다음 편집 사항으로 마무리합니다.
출력 템플릿
# 학술 평가: <대상>
## 종합 평가
* 종합 점수: <1-5 또는 N/A>
* 신뢰도: <높음 | 보통 | 낮음>
* 요약: <3-5 문장>
## 차원 점수
| 차원 | 점수 | 증거 | 수정 우선순위 |
| --- | ---: | --- | --- |
| 문제 및 질문 | | | |
| 문헌 및 맥락 | | | |
| 방법론 | | | |
| 데이터 및 증거 | | | |
| 분석 | | | |
| 결과 및 해석 | | | |
| 한계 | | | |
| 글쓰기 및 구조 | | | |
| 인용 | | | |
## 치명적 문제
## 권장 수정 사항
## 필요한 증거 확인
주의사항
- 점수를 구체적인 피드백을 대체하는 수단으로 사용하지 마십시오.
- 해당 논문의 범위를 벗어난 차원이 누락되었다고 해서 불이익을 주지 마십시오.
- 인용 횟수, 저널, 저자 명성을 품질의 증거로 취급하지 마십시오.
- 초록에 나타났다는 이유만으로 뒷받침되지 않은 주장을 받아들이지 마십시오.