데이터 처리량 가속기은(는) 무엇을 하나요?
이 스킬은 대량 데이터를 이동, 변환, 저장하는 과정에서 병목이 발생할 때 사용합니다. 목표는 단순한 속도가 아닙니다. 목표는 데이터가 정확하게 올바른 위치에 도달했음을 증명하는 더 빠른 처리입니다.
첫 번째 구분
최적화 전에 다음 요소를 분리하세요:
- 소스 추출 속도;
- 네트워크 전송 속도;
- 웨어하우스 / 로드 속도;
- 변환 속도;
- 서빙 테이블 신선도;
- 작업 실행 중 라이브 테일 증가량.
파이프라인이 "빠르더라도" 새로운 데이터가 최종 따라잡기 윈도우보다 빠르게 도착하면 여전히 뒤처져 보일 수 있습니다.
빠른 경로 휴리스틱
- 데이터가 이미 있는 곳으로 컴퓨팅을 이동하세요.
- 대량의 수집된 파일에는 웨어하우스 네이티브 스캔, 조인, 추가를 선호하세요.
- 완료된 파일/파티션을 건너뛰기 위해 매니페스트 또는 체크포인트를 사용하세요.
- 읽기 및 추가 패턴과 일치하는 파티셔닝 및 클러스터링을 사용하세요.
- 작은 파일, 요청, 쓰기를 배치 처리하세요.
- 고유 키, 매니페스트 또는 교체 가능한 스테이징을 통해 쓰기를 멱등성 있게 만드세요.
- 원시 데이터, 파생 데이터, 서빙 테이블을 별도로 관리 가능하게 유지하세요.
워크플로우
- 현재 소스, 대상 및 매니페스트 계약을 읽습니다.
- 백로그를 측정합니다: 외부 파일, 매니페스트 행, 원시 행, 파생 행, 최소/최대 타임스탬프 및 미처리 개수.
- 안전한 따라잡기 또는 샘플 벤치마크를 실행합니다.
- 변형을 비교합니다: 배치 크기, 작업자 수, 웨어하우스 SQL, 파일 그룹화, 스테이징 형태, 매니페스트 업데이트 방법.
- 카운트와 타임스탬프가 일관된 가장 빠른 경로만 승격합니다.
- 경로를 CLI, 예약된 작업, 워크플로우 또는 런북으로 코드화합니다.
- 코드화된 경로가 실행된 후 최종 회계를 다시 실행합니다.
회계 출력
하드 회계 블록을 사용하세요:
데이터 처리량 결과:
- 발견된 소스 파일: 294
- 이번 실행에서 처리된 파일: 294
- 추가된 원시 행: 9,683,598
- 추가된 파생 행: 8,917,585
- 남은 테일: 읽기 시점에 24개 파일
- 실행 시간: 38.7초
- 정확성 게이트: 매니페스트 카운트와 테이블 최대 타임스탬프가 일치
가드레일
- 지표를 좋게 보이기 위해 원시 데이터를 삭제하지 마십시오.
- 실패한 파일을 조용히 건너뛰지 마십시오.
- 과거 백필 상태와 라이브 테일 신선도를 혼동하지 마십시오.
- 대상 테이블과 매니페스트가 일치할 때까지 파이프라인이 완료되었다고 말하지 마십시오.
- 금융, 의료, 규제 또는 고객에게 영향을 미치는 데이터의 경우 재생 증거와 승인 게이트를 보존하십시오.