# AI 결과 평가 — 표본·자동 평가·사람 평가·회귀 테스트, '좋아진 것 같다'를 숫자로

> 논문이 인용한 실험 연구들의 결론: AI 효과는 작업·평가·구현 방식에 따라 갈립니다. 평가 없이는 효과가 없는 게 아니라 모르는 겁니다. 업무별 "좋은 결과" 5문장 정의, 골든 표본 20~50건, 자동 평가(형식·규칙)와 사람 평가(품질) 분담, 모델·프롬프트 바꿀 때 회귀 테스트, 세무사무소 안내문 평가표. [AI 조직 운영체제 시리즈 20]

- 발행: 2026-09-08 · 분류: AI 도입
- 정본(HTML): https://maeum.io/blog/ai-output-evaluation/
- 시리즈: 「AI 조직 운영체제」 20편 / 0~25편 · 허브 https://maeum.io/ai-org-os/ · 이전 https://maeum.io/blog/multi-agent-coordination/ · 다음 https://maeum.io/blog/prompt-management-registry/
- 저자: 마음컴퍼니 (MAEUM) — 정가를 공개하는 AI 개발사 · https://maeum.io

"AI 넣고 좋아진 것 같다"는 평가가 아닙니다. OpenAI 2026 논문이 인용한 현장 실험 연구들(Noy & Zhang, Dell'Acqua 등)의 결론은 일관됩니다 — **AI의 실현 효과는 누가·어떤 작업에·결과를 어떻게 평가하고 반영하느냐에 따라 갈립니다.** 평가가 없으면 효과가 없는 게 아니라 **모르는** 겁니다. 평가는 네 단계입니다: **① 업무별 "좋은 결과" 정의 5문장 ② 골든 표본 20~50건 ③ 자동 평가(형식·규칙)와 사람 평가(품질) 분담 ④ 모델·프롬프트를 바꿀 때 같은 표본으로 회귀 테스트.** 이 숫자가 3편의 B→A 전환, 5편의 모델 교체, 21편의 프롬프트 버전 결정의 근거가 됩니다. 마음컴퍼니는 진단에서 표본을 같이 만들고, SaaS 운영형(구축 70만 원부터 + 월 49·99·149만 원) 월간 리포트에 평가 결과를 담습니다.

## 효과는 평가 방식에 달렸다 — 논문이 인용한 실험들

OpenAI 논문 §2는 실험 연구들을 이렇게 정리합니다. "AI의 실현 효과는 **워커, 작업, 그리고 AI 산출물이 어떻게 평가되고 구현되는지**에 달려 있다"(Noy & Zhang 2023; Brynjolfsson et al. 2025b; Dell'Acqua et al. 2026 인용). 같은 도구가 어떤 작업에서는 크게 돕고 어떤 작업에서는 오히려 품질을 떨어뜨렸습니다.
그리고 논문 자신의 한계도 명시합니다 — 메시지는 보지만 **결과물의 품질과 생산성 효과는 측정하지 못한다.**
회사에 이게 뜻하는 것: AI를 넣은 뒤 "좋아졌나"는 느낌으로 답할 수 없고, 답하려면 **평가 체계**가 있어야 합니다. 거창할 필요는 없습니다. 아래 네 단계면 됩니다.

## ① "좋은 결과" 정의 — 업무별 5문장

평가의 첫 단계는 잣대입니다. 업무마다 "좋은 결과"를 다섯 문장으로 적습니다. 다섯을 넘으면 평가가 안 되고, 셋 아래면 잣대가 안 됩니다.
| | 업무| "좋은 결과" 5문장 (예) |

| 고객 문의 답변 초안| 1 질문에 직접 답함 · 2 가격·기한은 정본 그대로 · 3 회사 말투(존댓말, 3문장 이내) · 4 없는 사실 없음 · 5 다음 행동(예약·결제) 안내 포함 |
| 견적서 초안| 1 항목 누락 없음 · 2 단가 정본 일치 · 3 합계 계산 정확 · 4 조건(기한·부가세) 명시 · 5 과거 유사 견적과 ±20% 이내(아니면 표시) |
| 회의 요약| 1 안건별 5줄 이내 · 2 결정과 논의 구분 · 3 액션에 담당·기한 · 4 원문 위치 링크 · 5 참석자 이름 정확 |
| 계약 조항 검토| 1 위험 조항 전부 표시(놓침 0) · 2 오탐 30% 이하 · 3 근거 조문 인용 · 4 판단 문구 없음(표시만) · 5 요약 10줄 이내 |

문장마다 **예/아니오**로 답할 수 있어야 합니다. "자연스러운가"는 평가가 안 되고, "3문장 이내인가"는 됩니다.

## ② 골든 표본 20~50건

업무마다 실제 사례 20~50건을 고릅니다. 이게 골든 표본(기준 세트)입니다.

- **실제 입력** — 진짜 문의, 진짜 견적 요청. 마스킹(9편) 후.
- **정답 또는 기준** — 그 입력에 대해 사람이 만든 결과물, 또는 "좋은 결과 5문장" 체크.
- **어려운 것 포함** — 쉬운 것만 넣으면 평가가 항상 100점. 예외·애매한 것·과거에 틀렸던 것을 30%.
20건이면 시작할 수 있고, 50건이면 모델 비교가 됩니다. 100건을 넘기면 사람 평가 비용이 평가 효과를 넘습니다. 표본은 분기마다 5~10건 교체합니다 — 새로 나온 예외를 넣고 오래된 걸 뺍니다.

## ③ 자동 평가와 사람 평가 — 분담

| | 항목| 자동 (규칙·코드)| 사람 (표본) |

| 형식| 길이·문장 수·필수 항목 유무·금지어·JSON 구조| — |
| 사실| 가격·기한·이름이 정본(15편)과 일치하나| 정본에 없는 사실 주장 여부 |
| 품질| —| 질문에 실제로 답했나 · 말투 · 적절성 |
| 안전| 개인정보 노출·금지 표현| 맥락상 부적절한 답변 |
| 빈도| 매 건 (100%)| 표본 (10~20%) + 골든 세트 전수(월 1회) |

자동 평가는 매 건 돌아가서 형식·사실 오류를 걸러냅니다 — 발송 전에. 사람 평가는 표본만 봅니다. 3편의 "수정률"이 사람 평가의 가장 단순한 형태입니다: 사람이 고쳤으면 그 건은 불합격.
자동 평가에 AI를 또 쓰는 방식(AI가 AI를 채점)도 있습니다. 형식·규칙에는 코드가 싸고 정확하고, 품질 채점에 AI를 쓰면 그 채점을 또 사람이 표본 검증해야 합니다. 저희는 중소기업에 코드 + 사람 표본을 권합니다.

## ④ 회귀 테스트 — 바꿀 때마다 같은 표본으로

골든 표본의 진짜 용도는 **바꿀 때**입니다.

- **모델을 바꿀 때**([5편](https://maeum.io/blog/ai-model-routing-switch/) 점검표 8번) — 이전 모델과 새 모델에 같은 50건을 넣고 5문장 합격률 비교. 새 모델이 낮으면 안 바꿉니다.
- **프롬프트를 바꿀 때**([21편](https://maeum.io/blog/prompt-management-registry/)) — v3와 v4에 같은 50건. 좋아진 항목과 나빠진 항목을 봅니다. 하나 고치면 다른 게 깨지는 일이 흔합니다.
- **회사 기억을 추가할 때**(6편) — 문서를 더 연결했더니 답이 길어지거나 옛 문서를 인용하지 않나.
회귀 테스트가 없으면 "바꿨더니 이상해진 것 같다"를 두 달 뒤에 고객 불만으로 알게 됩니다. 있으면 바꾸기 전에 압니다.

## 세무사무소 시나리오 — 안내문 평가표

1편의 세무사무소가 자료 독촉 안내문 AI를 3개월 돌렸습니다. 평가표입니다.
| | "좋은 결과" 5문장| 자동/사람| 1개월| 3개월 |

| 1 미제출 항목 이름이 정본과 일치| 자동| 98%| 100% |
| 2 기한이 세법 캘린더와 일치| 자동| 100%| 100% |
| 3 금액·주민번호 없음| 자동| 100%| 100% |
| 4 고객별 말투(법인/개인) 구분| 사람 표본| 71%| 94% |
| 5 담당자가 안 고치고 발송| 사람 (수정률)| 62%| 91% |

3개월째 5번이 91% — 수정률 9%. 3편 기준(5% 미만 2주)에 아직 못 미쳐 전수 검토 유지, 4번이 오른 건 2개월째 프롬프트 v2(법인/개인 분기)를 회귀 테스트 후 반영한 결과. 이 표가 월간 리뷰(25편)의 자료입니다. 숫자는 예시입니다.

## 출처 — 논문이 말한 것 / 마음컴퍼니의 확장

- **논문이 말한 것**: AI의 실현 효과는 워커·작업·AI 산출물의 평가·구현 방식에 따라 다름(Noy & Zhang 2023, Brynjolfsson et al. 2025b, Dell'Acqua et al. 2026, Cui et al. 2026, Otis et al. 2026 인용). 논문 자체는 결과물 품질·생산성 효과를 측정하지 않음. (Chatterji et al., OpenAI 2026-08-11, §2·§5, [원문 PDF](https://cdn.openai.com/pdf/how-organizations-use-chatgpt.pdf))
- **마음컴퍼니의 확장**: 5문장 정의, 골든 표본, 자동/사람 분담, 회귀 테스트, 세무사무소 평가표. 논문에 없는 저희 방식이며 표의 숫자는 예시입니다.

## 마음컴퍼니 정가 (부가가치세 별도 · 최종 금액은 진단 후 확정)

- 진단 5회권: 25만 원 (회당 최대 90분, 데모 시연 포함)
- SaaS 운영형 (추천): 구축 70만 원부터 + 월 49·99·149만 원 — 서버·AI·개선·추가 기능 구축·월간 성과 리포트 포함, 인원수 과금 없음
- SI 소유형: 구축 250만 원부터 (제대로 구축 700만~) — 이후 월 구독료 없음, 관리는 회차권
- SEO·GEO·검색 상위노출은 구축에 무료로 포함. 데모는 무료 — 실제로 눌러보고 마음에 들 때만 계약.
- 가격 정본(기계용 JSON): https://maeum.io/facts.json

## 자주 묻는 질문

**Q. 표본 50건을 만들 시간이 없습니다.**
A. 20건으로 시작하십시오. 지난달 실제 문의 20건을 골라 마스킹하면 한 시간입니다. 진단 4회차에서 같이 만듭니다. 50건은 모델을 비교할 때 필요하고, 그건 몇 달 뒤입니다.

**Q. "좋은 결과"를 정의하기 어려운 업무는요?**
A. 그 업무는 아직 AI 자리가 아닙니다. 사람도 뭐가 좋은지 말로 못 하는 일을 AI가 잘하는지 판단할 방법이 없습니다. 5문장이 안 나오면 C구역(사람 먼저, AI 보조)으로 두고, 나중에 정의가 생기면 돌아옵니다.

**Q. AI가 AI를 평가하게 하면 안 되나요?**
A. 품질 채점에 쓸 수는 있지만 그 채점을 또 사람이 표본 검증해야 합니다. 형식·사실은 코드가 더 싸고 정확합니다. 저희는 코드 + 사람 표본을 기본으로 하고, 사람 평가 비용이 커지는 규모(월 수천 건 이상)에서만 AI 채점을 추가합니다.

**Q. 평가 결과가 나쁘면요?**
A. 그게 평가의 목적입니다. 어느 문장에서 떨어지는지 보면 원인이 나옵니다 — 사실 오류면 정본(15편), 말투면 프롬프트(21편), 놓침이면 회사 기억(6편). 원인별로 고치고 회귀 테스트. 나쁜 결과가 안 나오는 평가는 잣대가 너무 느슨한 겁니다.

**Q. 비용은요?**
A. 5문장 정의·표본 20건은 진단 5회권 25만 원 4회차. 자동 평가·회귀 테스트·월간 평가 리포트는 SaaS 운영형 구축 70만 원부터 + 월 49·99·149만 원에 포함(인원수 과금 없음), SI 소유형 250만 원부터. 부가가치세 별도.

## 함께 읽기

- [[시리즈 5] AI 모델은 계속 바뀐다 — 점검표 10](https://maeum.io/blog/ai-model-routing-switch/)
- [[시리즈 21] 프롬프트 관리 — 레지스트리·버전·테스트](https://maeum.io/blog/prompt-management-registry/)
- [[시리즈 8] AI 사용 데이터 읽는 법 — 지표 4개 + 정착률](https://maeum.io/blog/ai-usage-telemetry-dashboard/)

---
마음컴퍼니 (MAEUM) · 무료 데모: https://maeum.io/start/ · 정가: https://maeum.io/price/ · 문의: support@maeum.io