#4 프롬프트 반복 테스트로 품질 높이기lecture_script
코스: claude-autowork · 에이전트: producer
HOOK (45초)
프롬프트를 짰는데 결과가 별로예요. 다시 써봤는데 또 별로예요. 세 번째도 그냥 감으로 고쳤더니 더 나빠진 경험, 있으시죠?
문제는 노력이 아니에요. 기록 없이 반복하는 게 문제입니다.
오늘은 Claude에게 같은 업무를 세 번 시키되, 매번 '왜 고쳤는지'를 기록하는 방법을 알려드립니다. 이 방법을 쓰면 시행착오가 자산이 됩니다.
PROMISE (30초)
이 차시가 끝나면, 프롬프트 v1·v2·v3의 결과를 비교하고 개선 이유까지 기록한 로그 한 장을 완성할 수 있습니다.
CORE (8–10분)
중요 개념 1 — 이터레이션 설계: "다트 3발의 법칙"
설명
이터레이션은 '반복 개선'입니다. 단순 재시도와 다릅니다. 재시도는 같은 다트를 같은 자리에 던지는 것, 이터레이션은 조준점을 바꾸고 다시 던지는 겁니다.
실전에서는 3회가 최소 단위입니다. 1회는 기준점, 2회는 가설 검증, 3회는 정착입니다.
예시
업무: 주간 보고서 요약 프롬프트
- v1: "이 보고서를 요약해 줘"
- v2: "이 보고서를 3줄로 요약하고 중요한 수치를 포함해 줘"
- v3: "이 보고서를 3줄로 요약해. 첫 줄은 성과, 둘째 줄은 리스크, 셋째 줄은 다음 주 액션으로 구성해 줘"
각 버전마다 바꾼 것이 딱 하나입니다. 그게 이터레이션 설계의 중요한입니다.
반례
v1에서 v2로 넘어갈 때 세 가지를 한꺼번에 바꾸면 어떤 변경이 결과를 개선했는지 알 수 없습니다. 이건 이터레이션이 아니라 복권 긁기입니다.
정리
🎯 기억 페그 — "다트 3발, 조준점 하나씩" 한 번에 하나만 바꾸고, 최소 3발을 던져라.
중요 개념 2 — 출력 평가 기준: "채점표 없는 시험은 없다"
설명
출력이 '좋다·나쁘다'는 느낌으로 판단하면 개선 방향이 매번 달라집니다. 평가 기준을 숫자와 항목으로 먼저 정해야 합니다.
제 경험상 실무에서 쓸 만한 기준은 세 가지입니다.
| 기준 | 질문 |
|---|---|
| 정확성 | 요청한 내용이 다 들어 있나? |
| 형식 준수 | 지정한 포맷을 지켰나? |
| 사용 가능성 | 복붙 후 수정 없이 쓸 수 있나? |
각 기준을 1~3점으로 채점합니다. 총 9점 만점 구조입니다.
예시
주간 보고서 요약 v1 결과를 채점하면: - 정확성 2점 (수치 누락) - 형식 준수 1점 (줄 수 초과) - 사용 가능성 1점 (용어 수정 필요) - 합계 4/9점
이 숫자가 있으면 v2에서 무엇을 고쳐야 할지 명확해집니다.
반례
"뭔가 어색하다"는 평가는 기준이 아닙니다. 어색함을 해소하려고 프롬프트를 바꾸면 오히려 정확성이 떨어지는 경우가 대부분입니다. 느낌이 아니라 항목으로 평가하세요.
정리
📋 기억 페그 — "9점 채점표를 먼저 꺼내라" 정확성·형식·사용 가능성, 각 3점씩.
중요 개념 3 — 프롬프트 버전 관리: "코드처럼 커밋하라"
설명
개발자들은 코드를 바꿀 때마다 커밋 메시지를 씁니다. "왜 바꿨는지"를 기록하는 겁니다. 프롬프트도 똑같이 관리할 수 있습니다.
버전 로그는 세 칸으로 충분합니다.
| 칸 | 내용 |
|---|---|
| 버전 | v1 / v2 / v3 |
| 변경 내용 | 무엇을 바꿨나 |
| 변경 이유 | 왜 바꿨나 (채점 결과 기반) |
이 로그가 쌓이면 같은 유형의 업무에서 v1을 건너뛸 수 있습니다. 과거의 실패가 미래의 지름길이 됩니다.
예시
v1 → v2 변경: 출력 길이 제한 추가
이유: 형식 준수 1점 → 줄 수 초과 문제 해결 목적
v2 → v3 변경: 단락별 역할 명시
이유: 사용 가능성 1점 → 구조 불명확으로 수정 필요했음
반례
버전 번호만 붙이고 이유를 안 쓰면 3개월 뒤에 v2가 왜 존재하는지 알 수 없습니다. 버전 관리의 중요한은 번호가 아니라 이유 기록입니다.
정리
💾 기억 페그 — "버전·변경·이유, 세 칸 커밋" 이유 없는 버전은 번호가 아니라 쓰레기다.
EXERCISE (3–4분)
지금 영상을 일시정지하고 따라 해 보세요. 완성 목표물은 프롬프트 개선 실험 로그 (v1~v3 비교표) 입니다.
Step 1 — 업무 선택 (1분)
본인이 Claude에 자주 시키는 업무 하나를 고르세요. 예: 이메일 초안 작성, 회의록 요약, 제품 설명문 생성. 업무를 한 줄로 적어 두세요.
Step 2 — 채점표 먼저 작성 (1분)
아래 표를 복사해서 빈 문서에 붙여 넣으세요.
| 기준 | 배점 | v1 | v2 | v3 |
|---|---|---|---|---|
| 정확성 | /3 | |||
| 형식 준수 | /3 | |||
| 사용 가능성 | /3 | |||
| 합계 | /9 |
Step 3 — v1 실행 및 채점 (1분)
Claude에 가장 단순한 버전의 프롬프트를 입력하세요. 결과를 받으면 채점표를 채워 넣으세요. 낮은 점수 항목 하나를 골라 개선 이유를 메모하세요.
Step 4 — v2·v3 반복 (1분)
메모한 이유를 바탕으로 딱 하나만 바꿔 v2를 만드세요. 같은 방식으로 채점 후 v3까지 완성하세요. 마지막으로 버전·변경 내용·변경 이유 세 칸을 로그에 기록하세요.
로그 한 장이 완성되면 일시정지를 해제하세요.
CTA (30초)
다음 차시 #5에서는 완성한 로그를 바탕으로 업무 유형별 프롬프트 템플릿을 만드는 방법을 다룹니다. 오늘 만든 v3가 그 템플릿의 원본이 됩니다.
오늘 완성한 비교표, 댓글에 가장 개선 폭이 컸던 변경 이유 하나만 남겨 주세요. 다른 분들의 로그가 회원님의 v1을 대신해 줄 겁니다.
예상 분량: 15분