/always-on-agent-architecture — 잊지 않는 에이전트 구축하기
항상 켜져 있는 에피소드 메모리를 가진 AI 에이전트를 위한 아키텍처를 설계하고 있습니다. 이는 긴 컨텍스트 윈도우를 가진 챗봇이 아닙니다. 이것은 세션 간에 상태를 유지하고, 자체 메모리 계층을 관리하며, 서비스로 실행되고, 수 주에서 수 개월에 걸쳐 정체성을 유지하는 시스템입니다. 핵심 통찰: LLM을 상태 비저장 함수가 아닌 관리되는 메모리 위에서 작동하는 CPU로 취급하십시오.
의사 결정 포인트
메모리 프레임워크 선택 트리
Q1: 완전한 에이전트 런타임(서버, API, 도구)이 필요합니까?
├─ 예 → Letta 사용 (가장 완벽하고 프로덕션 준비 완료)
└─ 아니요, 자체 에이전트 루프가 있습니다
├─ Q2: 시간/관계 추적이 필요합니까?
│ ├─ 예 → Zep/Graphiti 사용 (최고의 시간 지식 그래프)
│ └─ 아니요 → Q3으로 이동
│ ├─ Q3: 그래프 + 벡터 하이브리드가 필요합니까?
│ │ ├─ 예 → Mem0 사용 (그래프 모드)
│ │ └─ 아니요 → Q4로 이동
│ │ ├─ Q4: 이미 LangGraph를 사용 중입니까?
│ │ │ ├─ 예 → LangMem 사용
│ │ │ └─ 아니요 → pgvector 또는 Chroma 사용
└─ 종속성이 없습니까? → 사용자 정의 SQLite + 로컬 임베딩
핵심 메모리 축출 트리거
| 트리거 | 임계값 | 조치 |
|---|---|---|
| 크기 오버플로 | 코어 메모리 > 4KB | 가장 최근에 사용되지 않은 블록 요약, 요약을 아카이브로 이동 |
| 수명 감소 | 30일 이상 사용되지 않은 데이터 | 압축 검토 표시 |
| 관련성 감소 | 액세스 점수 < 0.3 | 감소 태그와 함께 아카이브 메모리로 이동 |
| 사용자 재정의 | 사용자가 "X를 잊어"라고 말함 | 즉시 제거 + 아카이브 툼스톤 |
| 충돌 감지 | 모순된 사실 저장됨 | 에이전트가 조정하거나 사용자에게 질문하도록 프롬프트 |
벡터 DB 선택 기준
If query_latency_requirement < 10ms AND data_size > 100M vectors:
→ Qdrant 사용 (속도에 최적화됨)
Else if 이미 PostgreSQL을 사용 중:
→ pgvector 사용 (단일 DB, 더 간단한 운영)
Else if 하이브리드 검색(키워드 + 시맨틱) 필요:
→ Weaviate 사용 (최고의 하이브리드)
Else if 제로 운영 선호:
→ Pinecone 사용 (완전 관리형)
Else:
→ Chroma 사용 (로컬 우선, 간단한 API)
메모리 계층 라우팅 결정
입력: 사용자 메시지 또는 에이전트 관찰
│
├─ 정체성/선호도 업데이트 포함?
│ └─ 예 → 코어 메모리 업데이트, 즉시 유지
├─ 대화 컨텍스트 필요?
│ └─ 예 → 리콜 메모리 검색 (대화 기록)
├─ 사실적 지식 필요?
│ └─ 예 → 아카이브 메모리 검색 (벡터 저장소)
└─ 외부 데이터 필요?
└─ 예 → 외부 도구 사용 (API, 파일 등)
장애 모드
메모리 손상 연쇄
증상: 에이전트 성격 표류, 모순된 응답, 코어 메모리 충돌 근본 원인: 잠금 없이 코어 메모리에 대한 동시 쓰기 또는 실패한 부분 업데이트 탐지 규칙: 코어 메모리 크기가 갑자기 50% 이상 감소하거나 잘못된 형식의 JSON/YAML 포함 복구 절차:
- 추가 손상을 방지하기 위해 에이전트를 즉시 중지
- 마지막으로 알려진 양호한 백업(<1시간)에서 코어 메모리 복원
- 백업 이후 대화 로그를 재생하여 손실된 업데이트 재구성
- 재시작 전에 코어 메모리 업데이트에 쓰기 잠금 구현
벡터 검색 저하
증상: 점점 더 관련 없는 검색 결과, 에이전트가 최근에 저장한 사실을 찾을 수 없음 근본 원인: 임베딩 모델 드리프트, 인덱스 손상 또는 메모리 압축 부재 탐지 규칙: 알려진 쿼리에 대한 상위 3개 결과의 평균 코사인 유사도 < 0.7 복구 절차:
- 무작위 샘플 100개 벡터에 대한 임베딩 일관성 검사 실행
- 10% 이상이 비정상 임베딩을 보이면 전체 인덱스 재구축
- 임베딩 모델 버전 고정 구현
- 재발 방지를 위한 임베딩 드리프트 모니터링 추가
지속성 계층 교착 상태
증상: 에이전트가 메모리 작업에서 멈춤, 데이터베이스 연결 시간 초과 근본 원인: 동일한 메모리 블록에 대한 동시 읽기/쓰기, 불충분한 연결 풀링 탐지 규칙: 메모리 작업이 30초 이상 소요되거나 데이터베이스에 잠금 대기 시간 초과 표시 복구 절차:
- 중단된 연결을 종료하여 잠금 해제
- 메모리 작업에 대한 지수 백오프 재시도 로직 구현
- 최대 연결 제한이 있는 연결 풀링 추가
- 메모리 업데이트에 대한 트랜잭션 격리 수준 검토
컨텍스트 윈도우 폭발
증상: API 비용 급증, 응답 지연 시간 증가, 토큰 제한 오류 근본 원인: 코어 메모리 비대, 쿼리당 너무 많은 아카이브 청크 검색 탐지 규칙: 요청당 평균 토큰이 모델 컨텍스트 제한의 80% 초과 복구 절차:
- 코어 메모리 크기 감사 - 비대한 블록 압축 또는 보관
- 아카이브 검색 결과 수를 기본값(10 → 5)에서 줄임
- LLM 호출 전 토큰 계산 구현
-
$1/대화에 대한 비용 모니터링 알림 추가
메모리 누수 - 무제한 증가
증상: 데이터베이스 크기가 선형적으로 증가, 시간이 지남에 따라 검색 성능 저하 근본 원인: 메모리 압축 없음, 중복 사실 삽입, 가비지 수집 누락 탐지 규칙: 정상 사용 시 총 메모리 크기가 월 100MB 이상 증가 복구 절차:
- 아카이브 메모리에서 사실 중복 제거 실행 (코사인 유사도 > 0.92)
- 7일 이상 된 리콜 메모리에 대한 대화 요약 구현
- 관련성 점수 매기기 및 낮은 점수 메모리 자동 정리 추가
- 주간 압축 작업 예약
작업 예제
예제: 개인 연구 비서 구축
시나리오: 기술 연구를 돕고, 선호도를 기억하며, 수개월에 걸쳐 지식을 쌓는 에이전트를 위한 아키텍처 설계
1단계 - 메모리 계층 설계
코어 메모리 (2KB):
- 사용자 이름: "Sarah"
- 연구 분야: ["machine learning", "distributed systems"]
- 선호하는 논문 출처: ["arxiv", "acm digital library"]
- 작성 스타일: "detailed with code examples"
- 현재 프로젝트: "distributed training optimization"
리콜 메모리:
- 모든 대화를 PostgreSQL에 저장, 전문 검색 지원
- 30일 보존 기간, 이후 요약
아카이브 메모리:
- 논문 요약, 추출된 통찰, 코드 조각
- PostgreSQL의 pgvector 사용 (리콜에 이미 사용 중)
- 로컬 임베딩을 위한 nomic-embed-text (개인정보 보호 + 비용)
2단계 - 프레임워크 선택 결정 의사 결정 트리 따라:
- 전체 에이전트 런타임 필요? 아니요 (맞춤형 구축)
- 시간 추적 필요? 아니요 (연구 사실은 대부분 시대를 초월함)
- 그래프+벡터 필요? 아니요 (간단한 시맨틱 검색으로 충분)
- 이미 LangGraph 사용? 아니요
- → 결정: pgvector + PostgreSQL
3단계 - 에이전트 루프 구현
async def research_step(user_query: str):
# 코어 메모리 로드
core = load_core_memory() # 사용자 선호도, 활성 프로젝트
# 쿼리가 현재 프로젝트와 관련 있는지 확인
if "optimization" in user_query.lower():
# 프로젝트별 지식을 위해 아카이브 검색
relevant_papers = search_archival("distributed training optimization")
context = f"현재 프로젝트 컨텍스트: {relevant_papers}"
else:
# 일반 도메인 지식 검색
context = search_archival(user_query)
# 코어 메모리 + 검색된 컨텍스트로 프롬프트 구성
system_prompt = f"""
당신은 Sarah의 연구 비서입니다.
사용자 선호도: {core['preferences']}
현재 프로젝트: {core['current_project']}
검색된 컨텍스트: {context}
"""
response = await llm.chat([
{"role": "system", "content": system_prompt},
{"role": "user", "content": user_query}
])
# 상호 작용 저장
save_to_recall(user_query, response)
return response
초보자가 놓칠 수 있는 것:
- 아카이브에 추출된 통찰 대신 원시 논문 저장
- 대화 검색(리콜 메모리) 구현하지 않음
- 코어 메모리에 너무 많은 정보를 넣음 (50개 항목의 연구 분야 목록)
- 메모리 압축 전략 없음
전문가가 잡아내는 것:
- 코어 메모리는 지식이 아닌 "작업 정체성"에 집중
- 아카이브 메모리는 원시 문서가 아닌 선별된 사실을 저장
- 검색 전에 검색을 구현 (에이전트가 관련성을 결정)
- 첫날부터 메모리 증가 계획
품질 게이트
배포 검증 체크리스트
- 메모리 지연 SLO: 코어 메모리 로드 <100ms, 아카이브 검색 완료 <500ms
- 메모리 일관성: 코어 메모리가 에이전트 재시작 후에도 손상 없이 유지됨 (의도적인 종료로 테스트)
- 검색 관련성: 알려진 쿼리에 대한 상위 3개 아카이브 결과의 코사인 유사도 >0.6
- 메모리 크기 규칙: 코어 메모리 ≤4KB, 리콜 보존 ≤30일, 아카이브 청크 각 ≤1KB
- 지속성 내구성: 모든 메모리 업데이트가 데이터베이스 재시작 후에도 유지됨 (ACID 준수 확인)
- 비용 관리: 하루 100회 대화에서 메모리 작업 비용 <$0.01/대화
- 압축 일정: 메모리 압축이 매주 실행되고 총 크기를 10% 이상 줄임
- 정체성 일관성: 50개 이상의 대화 세션에서 에이전트 성격이 안정적으로 유지됨
- 콜드 스타트 복구: 에이전트가 빈 메모리 상태를 정상적으로 처리 (온보딩 흐름 작동)
- 백업 검증: 메모리 백업이 성공적으로 복원되고 에이전트 정체성을 유지
NOT-FOR 경계
이 스킬을 다음 용도로 사용하지 마십시오:
- 에이전트 훈련 데이터 선택 →
/always-on-agent-inputs를 대신 사용하세요. 해당 스킬은 에이전트에 무엇을 공급할지 다루고, 이 스킬은 저장 및 검색 방법을 다룹니다. - 에이전트 애플리케이션 브레인스토밍 →
/always-on-agent-applications를 대신 사용하세요. 해당 스킬은 사용 사례 아이디어 발상을 다루고, 이 스킬은 기술 구현을 다룹니다. - 에이전트 안전 및 개인정보 보호 →
/always-on-agent-safety를 대신 사용하세요. 해당 스킬은 데이터 거버넌스, 동의 및 보안을 다룹니다. 이 스킬은 해당 사항이 이미 설계되었다고 가정합니다. - 일반 에이전트 패턴 →
/agentic-patterns를 대신 사용하세요. 해당 스킬은 ReAct 루프, 도구 사용, 계획을 다루고, 이 스킬은 그 아래의 지속성 계층을 다룹니다. - 일회성 에이전트 작업 →
/agent-creator를 대신 사용하세요. 에이전트가 세션 간에 기억할 필요가 없다면 항상 켜져 있는 아키텍처가 필요하지 않습니다. - 데이터베이스 스키마 설계 → 이 스킬은 기본 데이터베이스 개념을 이해한다고 가정합니다. 스키마 최적화는 데이터베이스별 스킬을 사용하십시오.
- 비용 최적화 전략 → 이 스킬은 비용 고려 사항을 언급하지만 심층적인 최적화는 다루지 않습니다. 비용별 스킬에 위임하십시오.