학술 평가은(는) 무엇을 하나요?
이 스킬을 사용하여 반복 가능한 루브릭으로 학술 또는 과학 작업을 평가하세요.
사용 시기
- 연구 논문, 제안서, 학위 논문 장 또는 문헌 검토를 검토할 때.
- 주장이 인용된 증거에 의해 뒷받침되는지 확인할 때.
- 방법론, 연구 설계, 분석 또는 한계를 평가할 때.
- 두 개 이상의 논문을 품질이나 관련성 측면에서 비교할 때.
- 수정을 위한 구조화된 피드백을 생성할 때.
평가 범위
평가 대상을 식별하는 것으로 시작하세요:
- 경험 연구 논문
- 이론 논문
- 기술 보고서
- 체계적 또는 서술적 문헌 검토
- 연구 제안서
- 학위 논문 또는 디지털 장
- 학회 초록 또는 짧은 논문
그런 다음 범위를 선택하세요:
- 포괄적(comprehensive): 모든 루브릭 차원
- 목표 지향적(targeted): 방법이나 인용과 같은 한두 가지 차원
- 비교적(comparative): 동일한 루브릭을 기준으로 여러 작업 순위 지정
루브릭
해당되는 각 차원을 1에서 5까지 점수로 평가하세요:
- 5: 우수함; 명확하고 엄격하며 출판 준비 완료
- 4: 좋음; 약간의 개선 필요
- 3: 적절함; 의미 있는 격차가 있지만 사용 가능
- 2: 약함; 상당한 수정 필요
- 1: 나쁨; 주요 타당성 또는 명확성 문제
해당되지 않는 차원에는 N/A를 사용하세요.
1. 문제 및 연구 질문
- 문제가 명확하고 구체적인가?
- 기여가 의미 있는가?
- 범위와 가정이 명시적인가?
- 질문이 주장된 기여와 일치하는가?
2. 문헌 및 맥락
- 관련 선행 연구가 다루어졌는가?
- 작업이 단순히 출처를 나열하는 대신 종합하는가?
- 격차가 정확하게 식별되었는가?
- 최신 자료와 기본 자료가 균형을 이루는가?
3. 방법론
- 방법이 연구 질문에 답하는가?
- 설계 선택이 정당화되었는가?
- 변수, 데이터 세트, 참가자 또는 자료가 명확하게 설명되었는가?
- 다른 연구자가 작업을 재현할 수 있는가?
- 윤리적 및 실용적 제약이 인정되었는가?
4. 데이터 및 증거
- 데이터 출처가 신뢰할 수 있고 적절한가?
- 표본 크기 또는 코퍼스 범위가 적절한가?
- 포함, 제외 및 전처리 결정이 문서화되었는가?
- 누락된 데이터 및 편향 위험이 논의되었는가?
5. 분석
- 통계, 질적 또는 계산 방법이 적절한가?
- 기준선과 대조군이 공정한가?
- 필요할 때 불확실성, 민감도 또는 견고성 검사가 포함되었는가?
- 대안적 설명이 고려되었는가?
6. 결과 및 해석
- 결과가 명확하게 제시되었는가?
- 주장이 증거 범위 내에 머무르는가?
- 그림, 표 및 측정 기준이 이해 가능한가?
- 부정적 또는 귀무 결과가 정직하게 처리되었는가?
7. 한계 및 타당성 위협
- 한계가 일반적이기보다 구체적인가?
- 내부, 외부, 구성 및 결론 타당성 위험이 다루어졌는가?
- 논문이 추측과 입증된 결과를 구분하는가?
8. 작성 및 구조
- 주장이 따라가기 쉬운가?
- 섹션이 연구 질문을 중심으로 구성되었는가?
- 정의와 표기법이 명확한가?
- 어조가 정확하고 학술적인가?
9. 인용
- 인용된 논문이 그에 첨부된 주장을 뒷받침하는가?
- 가능한 경우 1차 출처가 사용되었는가?
- 검토 논문이 검토로 표시되었는가?
- 사전 인쇄본이 사전 인쇄본으로 표시되었는가?
- 인용 메타데이터와 링크가 정확한가?
검토 프로세스
- 주장된 기여를 위해 초록, 서론, 그림 및 결론을 읽으세요.
- 증거 품질을 위해 방법과 결과를 읽으세요.
- 가장 강력한 주장을 인용된 출처와 대조하세요.
- 해당되는 각 차원에 점수를 매기세요.
- 중요한 차단 요인과 수정 제안을 분리하세요.
- 구체적인 다음 편집 내용으로 마무리하세요.
출력 템플릿
# 학술 평가: <대상>
## 전체 평가
- 전체 점수: <1-5 또는 N/A>
- 신뢰도: <높음 | 중간 | 낮음>
- 요약: <3-5 문장>
## 차원 점수
| 차원 | 점수 | 증거 | 수정 우선순위 |
| --- | ---: | --- | --- |
| 문제 및 연구 질문 | | | |
| 문헌 및 맥락 | | | |
| 방법론 | | | |
| 데이터 및 증거 | | | |
| 분석 | | | |
| 결과 및 해석 | | | |
| 한계 및 타당성 위협 | | | |
| 작성 및 구조 | | | |
| 인용 | | | |
## 중요한 문제
## 권장 수정 사항
## 필요한 증거 확인
함정
- 점수를 구체적인 피드백을 대체하는 수단으로 사용하지 마세요.
- 해당 범위를 벗어난 차원을 생략했다고 논문에 불이익을 주지 마세요.
- 인용 횟수, 학술지 또는 저자 평판을 품질 증거로 취급하지 마세요.
- 초록에 나타난다고 해서 뒷받침되지 않은 주장을 받아들이지 마세요.