SQLite 상태
반복 작업이 이미 수행한 작업을 기억해야 할 때 사용하는 스킬입니다. 즉, 어떤 항목에 대해 알림을 보냈는지, 마지막으로 처리한 커서는 무엇인지 등을 기억하여 다음 실행 시 재알림이나 재스크래핑을 방지합니다. 하나의 표준 라이브러리 SQLite 파일로 서버 없이, 추가 의존성 없이 지속적이고 파일 잠금이 가능한 상태를 제공합니다.
호출 시점
- 사용자가 "같은 것을 두 번 알리지 마", "실행 간 중복 제거", "마지막 ID 기억", "중단된 지점에서 재개"라고 말하는 경우
- 대화 중 코드가 매번 실행 시 모든 것을 다시 처리하는 cron/스케줄 스크립트인 경우
호출하지 말아야 할 경우
- 상태가 매우 작고 단일 실행 내에서만 일시적으로 사용되는 경우 – 일반 set/dict로 충분합니다.
- 여러 머신이 동시에 상태를 공유해야 하는 경우 – 단일 파일 대신 실제 서버 데이터베이스를 사용합니다.
구체적인 예
사용자 입력:
제 뉴스 스크레이퍼가 매시간 동일한 헤드라인을 다시 보냅니다. 새 것만 보내도록 해주세요.
출력:
from state import filter_new, mark_seen
db = "news.db"
fresh = filter_new(db, [a["url"] for a in articles]) # 보지 않은 URL만
for url in fresh:
send_alert(url)
mark_seen(db, *fresh) # 다음 실행을 위해 기억
적용 패턴
- 각 항목을 배열 위치가 아닌 안정적이고 고유한 키(URL, ID, 내용 해시)로 식별합니다.
filter_new로 처리할 항목을 결정하고, 작업이 성공한 후에만mark_seen을 호출합니다.- 진행 상황을 명명된 커서(
set_cursor/get_cursor)로 저장하여 재개 가능한 스크레이퍼가 중간부터 다시 시작할 수 있도록 합니다. - WAL 모드를 활성화하여 동시 읽기와 함께 지속적인 쓰기를 지원하고, 단일 작성자를 유지합니다.
- 하나의
.db파일을 백업하거나 버전 관리합니다. 이 파일이 작업의 모든 기억입니다.
참고: assets/state.py.
출처
저자의 자동화 프로젝트에서 실제 사용을 통해 정리되었습니다. v1.0.0. 참고: [[pipeline-orchestrator]], [[cron-dispatch]], [[webhook-receiver]].
→ Trawlkit으로 완전한 실행 가능한 봇을 구축하세요.