데이터 처리량 가속기은(는) 무엇을 하나요?
이 스킬은 병목 현상이 많은 데이터의 이동, 변환 또는 저장에 있을 때 사용합니다. 목표는 단순히 속도만 높이는 것이 아닙니다. 목표는 데이터 정확성을 입증하며 올바른 위치에 더 빠르게 데이터를 안착시키는 것입니다.
첫 번째 구분
최적화하기 전에 다음을 구분하세요:
- 소스 추출 속도;
- 네트워크 전송 속도;
- 웨어하우스/로드 속도;
- 변환 속도;
- 서빙 테이블 신선도;
- 작업 실행 중 실시간 테일 증가.
파이프라인이 "빠르더라도" 최종 캐치업 윈도우보다 새 데이터가 더 빨리 도착하면 뒤처져 보일 수 있습니다.
빠른 경로 휴리스틱
- 데이터가 이미 있는 곳으로 컴퓨팅을 이동하세요.
- 대규모 적재 파일에는 웨어하우스 네이티브 스캔, 조인, 추가를 선호하세요.
- 완료된 파일/파티션을 건너뛰기 위해 매니페스트 또는 체크포인트를 사용하세요.
- 읽기 및 추가 패턴과 일치하는 파티셔닝과 클러스터링을 사용하세요.
- 소규모 파일, 요청 및 쓰기를 일괄 처리하세요.
- 고유 키, 매니페스트 또는 교체 가능한 스테이징을 통해 쓰기를 멱등적으로 만드세요.
- 원시, 파생 및 서빙 테이블을 별도로 추적 가능하게 유지하세요.
워크플로
- 현재 소스, 대상 및 매니페스트 계약서를 읽습니다.
- 백로그를 측정합니다: 외부 파일, 매니페스트 행, 원시 행, 파생 행, 최소/최대 타임스탬프 및 처리되지 않은 개수.
- 안전한 캐치업 또는 샘플 벤치마크를 실행합니다.
- 변형을 비교합니다: 배치 크기, 작업자 수, 웨어하우스 SQL, 파일 그룹화, 스테이징 형태 및 매니페스트 업데이트 방법.
- 개수와 타임스탬프가 일관되게 유지되는 가장 빠른 경로만 채택합니다.
- 경로를 CLI, 예약된 작업, 워크플로 또는 런북으로 코드화합니다.
- 코드화된 경로가 실행된 후 최종 회계를 다시 실행합니다.
회계 출력
다음과 같은 하드 회계 블록을 사용하세요:
데이터 처리량 결과:
- 발견된 소스 파일: 294
- 이번 실행에서 처리된 파일: 294
- 추가된 원시 행: 9,683,598
- 추가된 파생 행: 8,917,585
- 읽기 시점의 남은 테일: 24개 파일
- 런타임: 38.7초
- 정확성 게이트: 매니페스트 개수와 테이블 최대 타임스탬프 일치
가드레일
- 지표를 좋게 보이게 하기 위해 원시 데이터를 삭제하지 마세요.
- 실패한 파일을 조용히 건너뛰지 마세요.
- 히스토리컬 역채우기 상태와 실시간 테일 신선도를 혼동하지 마세요.
- 대상 테이블과 매니페스트가 일치할 때까지 파이프라인이 완료되었다고 하지 마세요.
- 금융, 의료, 규제 또는 고객에 영향을 미치는 데이터의 경우 재생 증거와 승인 게이트를 보존하세요.