효과는 평가 방식에 달렸다 — 논문이 인용한 실험들
OpenAI 논문 §2는 실험 연구들을 이렇게 정리합니다. "AI의 실현 효과는 워커, 작업, 그리고 AI 산출물이 어떻게 평가되고 구현되는지에 달려 있다"(Noy & Zhang 2023; Brynjolfsson et al. 2025b; Dell'Acqua et al. 2026 인용). 같은 도구가 어떤 작업에서는 크게 돕고 어떤 작업에서는 오히려 품질을 떨어뜨렸습니다.
그리고 논문 자신의 한계도 명시합니다 — 메시지는 보지만 결과물의 품질과 생산성 효과는 측정하지 못한다.
회사에 이게 뜻하는 것: AI를 넣은 뒤 "좋아졌나"는 느낌으로 답할 수 없고, 답하려면 평가 체계가 있어야 합니다. 거창할 필요는 없습니다. 아래 네 단계면 됩니다.
① "좋은 결과" 정의 — 업무별 5문장
평가의 첫 단계는 잣대입니다. 업무마다 "좋은 결과"를 다섯 문장으로 적습니다. 다섯을 넘으면 평가가 안 되고, 셋 아래면 잣대가 안 됩니다.
| 업무 | "좋은 결과" 5문장 (예) |
|---|---|
| 고객 문의 답변 초안 | 1 질문에 직접 답함 · 2 가격·기한은 정본 그대로 · 3 회사 말투(존댓말, 3문장 이내) · 4 없는 사실 없음 · 5 다음 행동(예약·결제) 안내 포함 |
| 견적서 초안 | 1 항목 누락 없음 · 2 단가 정본 일치 · 3 합계 계산 정확 · 4 조건(기한·부가세) 명시 · 5 과거 유사 견적과 ±20% 이내(아니면 표시) |
| 회의 요약 | 1 안건별 5줄 이내 · 2 결정과 논의 구분 · 3 액션에 담당·기한 · 4 원문 위치 링크 · 5 참석자 이름 정확 |
| 계약 조항 검토 | 1 위험 조항 전부 표시(놓침 0) · 2 오탐 30% 이하 · 3 근거 조문 인용 · 4 판단 문구 없음(표시만) · 5 요약 10줄 이내 |
문장마다 예/아니오로 답할 수 있어야 합니다. "자연스러운가"는 평가가 안 되고, "3문장 이내인가"는 됩니다.
② 골든 표본 20~50건
업무마다 실제 사례 20~50건을 고릅니다. 이게 골든 표본(기준 세트)입니다.
- 실제 입력 — 진짜 문의, 진짜 견적 요청. 마스킹(9편) 후.
- 정답 또는 기준 — 그 입력에 대해 사람이 만든 결과물, 또는 "좋은 결과 5문장" 체크.
- 어려운 것 포함 — 쉬운 것만 넣으면 평가가 항상 100점. 예외·애매한 것·과거에 틀렸던 것을 30%.
20건이면 시작할 수 있고, 50건이면 모델 비교가 됩니다. 100건을 넘기면 사람 평가 비용이 평가 효과를 넘습니다. 표본은 분기마다 5~10건 교체합니다 — 새로 나온 예외를 넣고 오래된 걸 뺍니다.
③ 자동 평가와 사람 평가 — 분담
| 항목 | 자동 (규칙·코드) | 사람 (표본) |
|---|---|---|
| 형식 | 길이·문장 수·필수 항목 유무·금지어·JSON 구조 | — |
| 사실 | 가격·기한·이름이 정본(15편)과 일치하나 | 정본에 없는 사실 주장 여부 |
| 품질 | — | 질문에 실제로 답했나 · 말투 · 적절성 |
| 안전 | 개인정보 노출·금지 표현 | 맥락상 부적절한 답변 |
| 빈도 | 매 건 (100%) | 표본 (10~20%) + 골든 세트 전수(월 1회) |
자동 평가는 매 건 돌아가서 형식·사실 오류를 걸러냅니다 — 발송 전에. 사람 평가는 표본만 봅니다. 3편의 "수정률"이 사람 평가의 가장 단순한 형태입니다: 사람이 고쳤으면 그 건은 불합격.
자동 평가에 AI를 또 쓰는 방식(AI가 AI를 채점)도 있습니다. 형식·규칙에는 코드가 싸고 정확하고, 품질 채점에 AI를 쓰면 그 채점을 또 사람이 표본 검증해야 합니다. 저희는 중소기업에 코드 + 사람 표본을 권합니다.
④ 회귀 테스트 — 바꿀 때마다 같은 표본으로
골든 표본의 진짜 용도는 바꿀 때입니다.
- 모델을 바꿀 때(5편 점검표 8번) — 이전 모델과 새 모델에 같은 50건을 넣고 5문장 합격률 비교. 새 모델이 낮으면 안 바꿉니다.
- 프롬프트를 바꿀 때(21편) — v3와 v4에 같은 50건. 좋아진 항목과 나빠진 항목을 봅니다. 하나 고치면 다른 게 깨지는 일이 흔합니다.
- 회사 기억을 추가할 때(6편) — 문서를 더 연결했더니 답이 길어지거나 옛 문서를 인용하지 않나.
회귀 테스트가 없으면 "바꿨더니 이상해진 것 같다"를 두 달 뒤에 고객 불만으로 알게 됩니다. 있으면 바꾸기 전에 압니다.
세무사무소 시나리오 — 안내문 평가표
1편의 세무사무소가 자료 독촉 안내문 AI를 3개월 돌렸습니다. 평가표입니다.
| "좋은 결과" 5문장 | 자동/사람 | 1개월 | 3개월 |
|---|---|---|---|
| 1 미제출 항목 이름이 정본과 일치 | 자동 | 98% | 100% |
| 2 기한이 세법 캘린더와 일치 | 자동 | 100% | 100% |
| 3 금액·주민번호 없음 | 자동 | 100% | 100% |
| 4 고객별 말투(법인/개인) 구분 | 사람 표본 | 71% | 94% |
| 5 담당자가 안 고치고 발송 | 사람 (수정률) | 62% | 91% |
3개월째 5번이 91% — 수정률 9%. 3편 기준(5% 미만 2주)에 아직 못 미쳐 전수 검토 유지, 4번이 오른 건 2개월째 프롬프트 v2(법인/개인 분기)를 회귀 테스트 후 반영한 결과. 이 표가 월간 리뷰(25편)의 자료입니다. 숫자는 예시입니다.
출처 — 논문이 말한 것 / 마음컴퍼니의 확장
- 논문이 말한 것: AI의 실현 효과는 워커·작업·AI 산출물의 평가·구현 방식에 따라 다름(Noy & Zhang 2023, Brynjolfsson et al. 2025b, Dell'Acqua et al. 2026, Cui et al. 2026, Otis et al. 2026 인용). 논문 자체는 결과물 품질·생산성 효과를 측정하지 않음. (Chatterji et al., OpenAI 2026-08-11, §2·§5, 원문 PDF)
- 마음컴퍼니의 확장: 5문장 정의, 골든 표본, 자동/사람 분담, 회귀 테스트, 세무사무소 평가표. 논문에 없는 저희 방식이며 표의 숫자는 예시입니다.
SEO·GEO·검색 상위노출은 구축에 무료로 포함됩니다. 프로그램 데모는 무료 — 실제로 눌러보고, 마음에 들 때만 계약하세요.