#9 전체 시스템 운영 점검 — 매월 5분 헬스체크lecture_script
코스: claude-autowork · 에이전트: producer
HOOK (45초)
자동 처리, 만들어두고 나서 잊고 계시죠?
처음엔 잘 돌아가다가 어느 날 갑자기 응답이 이상해지거나, 비용이 두 배로 나오거나, 아무도 모르게 에러가 쌓여있던 경험 있으신가요?
문제는 시스템이 망가지는 게 아닙니다. 망가진 걸 모르는 게 문제입니다.
오늘은 매달 딱 5분만 투자해서 전체 시스템을 점검하는 헬스체크 루틴을 알려드립니다. 이 루틴만 있으면 조용히 썩어가는 자동화를 사전에 잡을 수 있습니다.
PROMISE (30초)
이 차시가 끝나면, 회원님은 Claude 자동 처리 전체를 5분 안에 점검하는 나만의 헬스체크 체크리스트를 완성할 수 있습니다.
CORE (8–10분)
중요 개념 1 — '신호등 지표' : 시스템 상태는 3가지 색으로만 본다
설명
헬스체크에서 가장 흔한 실수는 너무 많은 것을 보려다 아무것도 못 보는 겁니다. 지표를 녹색·노란색·빨간색, 세 단계로만 나눠서 판단하세요. 녹색은 정상, 노란색은 주의, 빨간색은 즉시 조치입니다.
예시
Claude API 응답 성공률이 98% 이상이면 녹색입니다. 95~97%면 노란색, 94% 이하면 빨간색으로 봅니다. 매달 이 숫자 하나만 봐도 시스템 건강을 단번에 알 수 있습니다.
반례
"에러가 1건밖에 없으니까 괜찮겠지"라고 생각하시는 분들이 있는데, 절대 건수로만 판단하면 안 됩니다. 하루 10건 처리 중 1건 에러면 10% 실패율, 빨간불입니다.
정리
메모리 페그는 '교통 신호등'입니다. 운전할 때처럼, 초록이면 가고 빨간불이면 반드시 멈추세요. 지표는 3색 신호등 하나로 단순화합니다.
중요 개념 2 — '3-3-3 체크' : 3분 안에 3개 영역을 3가지 질문으로
설명
헬스체크가 길어지는 이유는 구조가 없기 때문입니다. 저는 3개 영역, 각 영역당 3가지 질문, 총 9개 질문을 3분 안에 훑는 방식을 씁니다.
3개 영역은 이렇습니다. 첫째, 입력 영역입니다. 프롬프트와 데이터가 제대로 들어오고 있나? 둘째, 처리 영역입니다. Claude가 의도한 대로 응답하나? 셋째, 출력 영역입니다. 결과물이 최종 목적지에 잘 전달되나?
예시
입력 영역 질문 예시입니다. "지난달 프롬프트가 수정된 적 있나?", "입력 데이터 포맷이 바뀌진 않았나?", "외부 연동 API가 변경되진 않았나?" 이렇게 세 가지만 체크합니다.
반례
처리 영역만 열심히 보는 분들이 많은데, 제 경험상 문제의 60%는 입력 영역에서 발생합니다. 쓰레기가 들어오면 쓰레기가 나옵니다. 출력이 이상하면 먼저 입력부터 보세요.
정리
메모리 페그는 숫자 '333'입니다. 3개 영역, 3가지 질문, 3분. 이 숫자를 외워두면 어떤 시스템에도 적용할 수 있습니다.
중요 개념 3 — '비용 드리프트' 감지 : 조용히 새는 돈을 잡는 법
설명
자동 처리에서 가장 소리 없이 망가지는 건 비용입니다. API 사용량이 서서히 늘거나, 불필요한 호출이 반복되어도 당장 에러가 나지 않으니 모르고 지나치는 경우가 많습니다. 이걸 '비용 드리프트'라고 부릅니다.
헬스체크 때마다 전달 대비 토큰 사용량 변화율을 확인하세요. 대부분의 경우, 10% 이상 늘었다면 원인을 찾아야 합니다.
예시
지난달 월 5만 토큰 쓰던 시스템이 이번 달 8만 토큰으로 늘었다면, 60% 증가입니다. 실제로 처리량이 늘어서인지, 프롬프트가 길어져서인지, 재시도 호출이 늘어서인지 구분해야 합니다.
반례
"토큰이 좀 늘었어도 서비스가 잘 되면 괜찮지 않나?"라고 생각하실 수 있습니다. 단기적으로는 맞습니다. 하지만 비용 드리프트를 방치하면 6개월 뒤 운영 비용이 예측 불가능해집니다. 조기에 잡는 게 훨씬 쉽습니다.
정리
메모리 페그는 '물 새는 수도꼭지'입니다. 한 방울씩 새는 건 티가 안 납니다. 하지만 한 달 수도요금 고지서를 보면 충격받죠. 매달 비용 고지서를 먼저 확인하세요.
EXERCISE (3–4분)
지금 영상을 일시정지하고, 나만의 헬스체크 체크리스트를 만들어 보겠습니다. 아래 단계를 따라오세요.
Step 1 — 신호등 기준 설정 (1분)
지금 운영 중인 자동 처리을 하나 고르세요. 그 시스템에서 가장 중요한 지표 1개를 정하고, 녹색·노란색·빨간색 기준값을 직접 숫자로 적어보세요.
예: "API 성공률 98% 이상 = 녹색 / 95~97% = 노란색 / 94% 이하 = 빨간색"
Step 2 — 3-3-3 체크 질문 작성 (2분)
입력·처리·출력 세 영역에 각각 질문을 3개씩, 총 9개를 만들어 보세요. 앞서 드린 예시를 참고해서 회원님의 시스템에 맞게 바꾸면 됩니다. 완벽하지 않아도 됩니다. 지금 떠오르는 것부터 적으세요.
Step 3 — 비용 기준선 기록 (30초)
이번 달 토큰 사용량 또는 API 비용을 지금 바로 확인하고 어딘가에 적어두세요. 다음 달 헬스체크 때 비교할 기준선이 됩니다. 이게 없으면 드리프트를 절대 감지할 수 없습니다.
이 세 가지를 하나의 문서나 노션 페이지에 모아두면, 회원님만의 헬스체크 체크리스트가 완성됩니다.
CTA (30초)
다음 차시에서는 이 코스 전체를 마무리합니다. 지금까지 만든 자동 처리을 어떻게 확장하고, 팀에 넘기고, 문서화할지 다룰 예정입니다.
오늘 만든 체크리스트, 댓글에 인증해 주세요. 다른 수강생들에게도 좋은 참고가 됩니다.
예상 분량: 12분