#4 프롬프트 반복 테스트로 품질 높이기lecture_script
코스: claude-autowork · 에이전트: producer
HOOK (45초)
프롬프트 썼는데 결과가 마음에 안 들어서, 그냥 다시 처음부터 쓴 적 있으시죠?
뭘 어떻게 고쳐야 할지 몰라서, 감으로 단어만 바꿔보다가 포기하는 그 순간.
그게 반복되면 Claude가 문제인지, 내 프롬프트가 문제인지조차 알 수 없게 됩니다.
이번 차시에서는 그 막막함을 끝냅니다.
프롬프트를 '찍어보는 것'이 아니라, '실험하는 것'으로 바꾸는 방법을 드릴게요.
PROMISE (30초)
이 차시가 끝나면, 프롬프트를 3번 수정하면서 무엇을 왜 바꿨는지 기록한 개선 로그를 직접 완성할 수 있습니다.
CORE (8–10분)
중요 개념 1 — 이터레이션 설계 : "요리 레시피 수정법"
설명
이터레이션은 '무작위로 고치기'가 아닙니다.
한 번에 딱 한 가지만 바꾸는 것이 중요한입니다.
역할, 맥락, 출력 형식, 제약 조건 — 이 네 가지 중 하나씩만 손댑니다.
예시
v1에서 역할 지정을 추가했다면, v2에서는 역할은 그대로 두고 출력 형식만 바꿉니다.
그래야 '무엇이 결과를 바꿨는지' 추적이 됩니다.
반례
"좀 더 자세하게, 그리고 톤도 바꾸고, 예시도 넣어줘"처럼 한꺼번에 세 가지를 바꾸면, 결과가 좋아져도 이유를 모릅니다.
다음에 같은 업무를 할 때 재현이 안 됩니다.
정리
메모리 페그 — 요리 레시피를 수정할 때 소금만 먼저 늘려보고 맛을 봅니다.
간장과 소금을 동시에 바꾸면 뭐가 문제인지 알 수 없습니다.
프롬프트 이터레이션도 똑같습니다. "한 번에 하나."
중요 개념 2 — 출력 평가 기준 : "채점표를 먼저 만든다"
설명
출력이 마음에 드는지 안 드는지를 '느낌'으로 판단하면, 개선이 불가능합니다.
출력 전에 평가 기준 3가지를 먼저 정해야 합니다.
기준 예시: ① 정보 정확성, ② 분량 적절성, ③ 실무 적용 가능성.
예시
회의록 요약 프롬프트라면 기준을 이렇게 잡을 수 있습니다.
"결정 사항이 빠짐없이 포함됐는가, 3줄 이내인가, 담당자 이름이 명시됐는가."
각 기준을 1~5점으로 채점하면 v1과 v2를 숫자로 비교할 수 있습니다.
반례
"왠지 더 나아진 것 같은데"라고 주관적으로 판단하면, 다음 사람에게 프롬프트를 넘겨줄 때 설명이 불가능합니다.
팀 공유도, 재사용도 어려워집니다.
정리
메모리 페그 — 학교 시험 채점표를 떠올리세요.
채점 기준이 있어야 점수를 매길 수 있습니다.
프롬프트 평가도 "기준 3개, 점수 5점 만점." 이것만 기억하세요.
중요 개념 3 — 프롬프트 버전 관리 : "코드처럼 남긴다"
설명
버전 관리는 개발자만 하는 게 아닙니다.
프롬프트도 v1, v2, v3으로 날짜와 변경 이유를 함께 기록합니다.
기록 양식은 단순할수록 좋습니다. 변경 내용, 변경 이유, 점수 변화, 이 세 칸이면 충분합니다.
예시
| 버전 | 변경 내용 | 변경 이유 | 점수 변화 |
|---|---|---|---|
| v1 | 기본 요청만 작성 | 초안 | 2/5 |
| v2 | 역할 + 출력 형식 추가 | 구조가 없어서 산만했음 | 4/5 |
| v3 | 분량 제한 + 예시 1개 추가 | 너무 길었음 | 5/5 |
반례
"저번 거보다 나은 것 같아서 수정했어요"라고만 남기면, 두 달 뒤 같은 업무가 생겼을 때 처음부터 다시 실험해야 합니다.
시간이 두 배로 듭니다.
정리
메모리 페그 — 소프트웨어 버전처럼 생각하세요.
iOS 18.1 → 18.2, 변경 이유가 항상 따라옵니다.
프롬프트도 "v번호 + 이유 + 점수", 이 세 칸이 전부입니다.
EXERCISE (3–4분)
지금 영상을 일시정지하고 직접 만들어 보세요.
실습 목표: 프롬프트 개선 실험 로그 (v1~v3 비교표) 완성
Step 1 — 업무 선택 (1분)
평소에 Claude에게 자주 맡기는 업무 하나를 고르세요.
이메일 초안, 회의록 요약, 보고서 목차 — 무엇이든 좋습니다.
종이나 노션에 업무 이름을 적어두세요.
Step 2 — 평가 기준 3개 작성 (1분)
그 업무의 좋은 출력이란 무엇인지 기준 3가지를 먼저 씁니다.
각 기준은 "~한가?"로 끝나는 질문 형태로 만드세요.
예: "중요한 내용이 빠짐없이 포함됐는가?"
Step 3 — v1 프롬프트 작성 후 평가 (1분)
지금 생각나는 대로 프롬프트를 작성하고 Claude에게 실행해 보세요.
출력을 받은 뒤, Step 2의 기준 3개로 1~5점 채점합니다.
로그 표에 v1 행을 채우세요.
Step 4 — v2, v3 수정 및 기록 (1분)
한 번에 한 가지만 바꿔서 v2를 만들고 다시 채점합니다.
같은 방식으로 v3까지 반복합니다.
각 행에 변경 내용과 변경 이유를 반드시 함께 적으세요.
로그 표 3행이 채워졌다면 실습 완료입니다.
CTA (30초)
다음 차시에서는 완성한 로그를 팀원과 공유하고, 프롬프트를 자산으로 관리하는 방법을 다룹니다.
오늘 만든 v1~v3 비교표, 댓글에 올려주세요.
제 경험상, 다른 수강생의 로그를 보는 것만으로도 아이디어가 2배 이상 늘어납니다.
예상 분량: 15분