#4 프롬프트 반복 테스트로 품질 높이기lecture_script
코스: claude-autowork · 에이전트: producer
HOOK (45초)
프롬프트 한 번 썼는데 결과가 별로면, 그냥 포기하셨죠?
"Claude가 내 말을 못 알아듣나 보다" 하고 넘어가신 분, 손 드세요.
사실 문제는 Claude가 아니라 테스트를 한 번만 했다는 것입니다.
오늘 이 영상 하나로, 프롬프트를 과학적으로 개선하는 루틴을 손에 넣으실 겁니다.
PROMISE (30초)
이 차시가 끝나면, 동일한 업무 프롬프트를 3단계로 개선하고 "왜 나아졌는지"를 설명하는 로그를 직접 완성할 수 있습니다.
CORE (8–10분)
중요 개념 1 · 이터레이션 설계 — "요리 레시피 수정본"
설명
이터레이션은 '같은 목표를 향해 조금씩 다르게 시도하는 반복'입니다.
무작위로 고치는 게 아닙니다.
한 번에 변수 하나만 바꿔야 합니다.
메모리 페그 → 요리 레시피를 떠올리세요.
소금을 더 넣고 싶다면, 소금만 바꿉니다. 동시에 설탕도 바꾸면 무엇 때문에 맛이 달라졌는지 알 수 없죠.
예시
v1 프롬프트: "회의록 요약해 줘"
v2 프롬프트: "회의록을 3줄로 요약해 줘" ← 길이 변수만 추가
반례
v2에서 길이도 바꾸고, 말투도 바꾸고, 역할도 추가하면?
어떤 변화가 품질을 높였는지 알 수 없습니다.
결국 다음 번에 재현이 안 됩니다.
정리
이터레이션 설계의 중요한은 "한 번에 하나씩" 입니다.
중요 개념 2 · 출력 평가 기준 — "채점표 3칸"
설명
결과물을 "좋다/나쁘다"로만 보면 개선이 불가능합니다.
평가 기준을 미리 숫자로 정해야 합니다.
메모리 페그 → 채점표 3칸을 기억하세요.
정확성 / 간결성 / 사용 가능성, 이 3가지가 제 경험상 가장 자주 쓰이는 기준입니다.
각 항목을 1~5점으로 직접 채점합니다.
예시
회의록 요약 업무라면:
- 정확성: 중요한 결정 사항이 빠짐없이 포함됐는가? (1~5)
- 간결성: 3줄 이내로 정리됐는가? (1~5)
- 사용 가능성: 바로 이메일에 붙여넣기 가능한가? (1~5)
v1 총점이 7점, v2 총점이 11점이라면, 무엇이 나아졌는지 명확하게 보입니다.
반례
기준 없이 "이번 게 더 나은 것 같다"고 느낌으로만 판단하면?
팀원에게 설명할 수 없고, 다음 프롬프트에 반영도 안 됩니다.
정리
평가 기준은 프롬프트를 쓰기 전에 먼저 정합니다.
중요 개념 3 · 프롬프트 버전 관리 — "Git이 없어도 되는 3열 표"
설명
개선 내용을 머릿속에만 두면 하루만 지나도 사라집니다.
버전 관리는 개발자 전용이 아닙니다.
Notion이나 Google Sheets, 심지어 메모장으로도 충분합니다.
메모리 페그 → 버전 / 변경점 / 점수, 딱 3열짜리 표만 있으면 됩니다.
예시
| 버전 | 변경점 | 총점(15점 만점) |
|---|---|---|
| v1 | 기본 요청만 작성 | 7 |
| v2 | 출력 길이 3줄로 명시 | 11 |
| v3 | 독자(팀장)와 목적(공유용) 추가 | 14 |
이 표 하나가 회원님의 프롬프트 자산이 됩니다.
반례
매번 새 채팅창에서 처음부터 시작하면?
같은 실수를 반복하고, 시간은 두 배로 씁니다.
정리
로그는 다음 번 나를 위한 설명서입니다. 지금 10분 투자가 다음에 1시간을 아낍니다.
EXERCISE (3–4분)
지금 영상을 일시정지하고 직접 만들어 보겠습니다.
준비물은 Claude 화면과 빈 표 하나입니다.
Step 1. 업무와 평가 기준 정하기 (1분)
본인의 반복 업무 하나를 고르세요.
예: 주간 보고서 요약, 고객 이메일 초안, 회의 안건 정리 등.
그 업무의 평가 기준 3가지를 미리 적습니다.
정확성 / 간결성 / 사용 가능성 그대로 써도 됩니다.
Step 2. v1 프롬프트 작성 및 채점 (1분)
가장 단순하게, 떠오르는 대로 프롬프트를 씁니다.
결과를 받고 채점표로 1~5점 채점합니다.
총점을 로그 표에 기록합니다.
Step 3. v2 · v3 개선 및 기록 (2분)
변수 하나만 골라 수정합니다.
역할 추가, 길이 명시, 독자 설정 중 하나씩입니다.
각 버전 결과를 채점하고, 변경점과 점수를 표에 채웁니다.
v3까지 완성하면 회원님만의 첫 번째 프롬프트 개선 로그가 생깁니다.
CTA (30초)
로그 표를 완성하셨다면, 댓글에 v1 총점과 v3 총점만 남겨 주세요.
얼마나 올랐는지 같이 확인해 봅시다.
다음 차시 #5에서는 이 로그를 바탕으로 업무 유형별 프롬프트 템플릿을 직접 만드는 법을 다룹니다.
오늘 만든 로그가 다음 영상의 재료가 되니까, 꼭 저장해 두세요.
예상 분량: 15분