# AI 넣을 때 사고 안 나게 — 보안·개인정보·감사·규제 한 장 정리 (2026)

> AI 사고는 대부분 넷 중 하나입니다 — 프롬프트 주입 · 데이터 유출 · 권한 상승 · 기록 부재. 각각 막는 장치 1개씩, 개인정보 5단계 흐름(분류→마스킹→최소수집→보존→삭제), 감사 로그 최소 7종, 병원·세무사 규제 시나리오, AI 회사 약관에서 확인할 3가지. [AI 조직 운영체제 시리즈 9]

- 발행: 2026-09-08 · 분류: AI 도입
- 정본(HTML): https://maeum.io/blog/ai-security-privacy-audit/
- 시리즈: 「AI 조직 운영체제」 9편 / 0~25편 · 허브 https://maeum.io/ai-org-os/ · 이전 https://maeum.io/blog/ai-usage-telemetry-dashboard/ · 다음 https://maeum.io/blog/ai-cost-finops/
- 저자: 마음컴퍼니 (MAEUM) — 정가를 공개하는 AI 개발사 · https://maeum.io

회사에 AI를 넣을 때 나는 사고는 대부분 네 가지 중 하나입니다. **① 프롬프트 주입(외부 입력이 AI에게 명령) ② 데이터 유출(고객 정보가 밖으로) ③ 권한 상승(AI가 허용 밖 실행) ④ 기록 부재(사고 났는데 뭐가 어떻게 됐는지 모름).** 각각 막는 장치가 하나씩 있고, 넷을 다 두면 사고 대부분이 막힙니다. OpenAI 논문 자체가 좋은 예입니다 — 1,744만 개 메시지를 분석하면서 **연구자가 개별 메시지를 직접 본 적이 없고**, 자동 분류와 비식별 집계만 썼습니다. 회사도 같은 원칙으로 갑니다. 마음컴퍼니는 규제 인접 업종(병원·세무·법률)은 진단에서 경계부터 정하고, SaaS 운영형(구축 70만 원부터 + 월 49·99·149만 원)에 로그·권한·마스킹이 포함됩니다.

## 사고 4종 × 막는 장치 1개

| | 사고| 어떻게 생기나| 막는 장치 |

| ① 프롬프트 주입| 고객 문의·이메일·문서 안에 "이전 지시 무시하고 ○○해"가 들어 있고, AI가 그걸 명령으로 받음| 외부 입력은 "데이터"로만 취급 — 명령은 시스템 지시문에서만. 도구 실행 전 사람 확인(B구역). |
| ② 데이터 유출| 직원이 고객 명단을 개인 계정에 복붙 / 시스템이 필요 이상 데이터를 모델에 전달| 회사 시스템 안에서만 AI 사용 + 전달 전 마스킹(이름·번호·주민번호 치환) |
| ③ 권한 상승| "조회만" 줬는데 도구 조합으로 수정·발송까지 하게 됨| 도구 목록 명시 + 목록에 없으면 실행 불가 (2편 접근 권한) + 되돌릴 수 없는 실행은 사람 |
| ④ 기록 부재| 사고 후 "AI가 뭘 봤고 뭘 했는지" 재구성 불가| 아래 감사 로그 7종 |

네 장치 모두 모델의 성능과 무관합니다. **설계**입니다. 같은 모델로 사고 나는 회사와 안 나는 회사가 갈리는 지점이 여기입니다.

## 개인정보 5단계 — 분류 → 마스킹 → 최소수집 → 보존 → 삭제

| | 단계| 할 일| 예 |

| 분류| 어떤 데이터가 개인정보인지 목록화. 등급 나누기.| 1등급: 주민번호·계좌·진료기록 / 2등급: 이름·연락처 / 3등급: 비식별 통계 |
| 마스킹| 모델에 보내기 전 1·2등급 치환| "김철수 010-1234-5678" → "[고객A] [연락처]" |
| 최소수집| 업무에 필요한 항목만 전달| 예약 확인 문자에 진료과는 필요, 병명은 불필요 |
| 보존| AI 로그·결과물 보관 기간 정하기| 문의 분류 로그 90일, 계약 검토 로그 계약 기간+3년 |
| 삭제| 기간 만료·고객 요청 시 삭제 절차| 고객 탈퇴 → 관련 AI 로그도 같이 |

마스킹 한 단계만 있어도 ②유출의 대부분이 막힙니다. 모델은 "[고객A]"로도 문자 초안을 잘 씁니다. 실제 이름은 발송 직전 회사 시스템 안에서 다시 채웁니다.

## 감사 로그 최소 7종

사고 후 "뭐가 어떻게 됐나"를 재구성하려면 이 일곱 개가 있어야 합니다. 더 많아도 되지만, 이 일곱이 없으면 재구성이 안 됩니다.

- **1. 사용자 로그** — 누가(어느 계정·역할이) 언제 AI를 불렀나.
- **2. 입력 로그** — 무슨 질문·지시가 들어갔나. (마스킹된 형태로)
- **3. 출력 로그** — AI가 뭐라고 답했나.
- **4. 도구 호출 로그** — 에이전트가 어떤 도구(DB 조회·발송·수정)를 어떤 인자로 불렀나.
- **5. 승인 로그** — 사람이 확인·승인·거부한 기록. 누가, 언제.
- **6. 데이터 접근 로그** — 어떤 문서·테이블을 읽었나. (6편 권한 기반 검색)
- **7. 권한 변경 로그** — 누가 언제 어떤 권한을 넓히거나 좁혔나.
7종은 [8편 대시보드](https://maeum.io/blog/ai-usage-telemetry-dashboard/)의 재료이기도 합니다. 감사용 로그와 성과용 로그가 같은 곳에서 나옵니다.

## 업종 규제 시나리오 — 병원과 세무사무소

규제 인접 업종은 "AI를 쓸 수 있나"보다 **"어디까지 쓸 수 있나"**를 먼저 정합니다. 마음컴퍼니는 이걸 진단 첫 회차에서 합니다.

- **의원** — 예약 확인·리콜 안내는 2등급(이름·연락처·진료과)만 씀. 진료 기록·검사 결과(1등급)는 AI 접근 목록에 아예 없음. 환자가 답장으로 증상을 적으면 그 텍스트는 AI가 분류하지 않고 사람에게 직접. 의료 판단은 D구역(사람만).
- **세무사무소** — 자료 독촉 안내에 고객명·미제출 항목·기한만. 매출액·주민번호·계좌는 마스킹 대상. 신고서 초안은 AI가 도울 수 있으나 신고 확정은 세무사 서명(D구역). 고객 자료 보존 기간은 세법 기준을 따르고 AI 로그도 같은 기간.
두 경우 다 "AI 금지"가 아닙니다. 경계를 그으면 경계 안에서는 다른 업종과 똑같이 씁니다. 경계를 안 그으면 직원이 개인 계정에 붙여넣습니다 — 그게 진짜 규제 위반이 되는 경로입니다.

## AI 회사 약관에서 확인할 세 가지

어떤 AI 모델을 쓰든, 계약 전에 세 가지만 확인하면 됩니다. 회사마다 조건이 다르고 바뀌므로 여기서 특정 회사 조건을 단정하지 않습니다.

- **학습 사용 여부** — 우리가 보낸 입력·출력이 그 회사 모델 학습에 쓰이는가. 기업용 계약은 보통 "안 쓴다"지만, 개인 계정은 다를 수 있습니다. 직원 개인 계정 복붙이 위험한 이유 하나.
- **데이터 보관 위치와 기간** — 어느 나라 서버에 며칠 보관되나. 규제 업종은 이게 계약 조건이 됩니다.
- **삭제 요청 절차** — 고객 요청 시 우리 쪽 삭제와 AI 회사 쪽 삭제가 같이 되는가.
세 가지가 우리 규정과 안 맞으면 [5편의 교체 구조](https://maeum.io/blog/ai-model-routing-switch/)가 있어야 다른 모델로 갈 수 있습니다. 폐쇄망·온디바이스가 필요한 경우도 여기서 판단합니다.

## 출처 — 논문이 말한 것 / 마음컴퍼니의 확장

- **논문이 말한 것**: 연구는 비식별 데이터를 사용하고 집계 결과만 보고. 메시지 내용은 자동 분류기로 처리했으며 연구자가 개별 메시지를 수동 검토하지 않음. 직함은 광범위 범주로만 매핑. (Chatterji et al., OpenAI 2026-08-11, §3 데이터 절, [원문 PDF](https://cdn.openai.com/pdf/how-organizations-use-chatgpt.pdf))
- **마음컴퍼니의 확장**: 사고 4종·장치, 개인정보 5단계, 감사 로그 7종, 업종 시나리오, 약관 확인 3가지. 논문에 없는 저희 설계 방식이며, 법적 자문이 아닙니다. 규제 해석은 해당 업종 전문가 확인이 필요합니다.

## 마음컴퍼니 정가 (부가가치세 별도 · 최종 금액은 진단 후 확정)

- 진단 5회권: 25만 원 (회당 최대 90분, 데모 시연 포함)
- SaaS 운영형 (추천): 구축 70만 원부터 + 월 49·99·149만 원 — 서버·AI·개선·추가 기능 구축·월간 성과 리포트 포함, 인원수 과금 없음
- SI 소유형: 구축 250만 원부터 (제대로 구축 700만~) — 이후 월 구독료 없음, 관리는 회차권
- SEO·GEO·검색 상위노출은 구축에 무료로 포함. 데모는 무료 — 실제로 눌러보고 마음에 들 때만 계약.
- 가격 정본(기계용 JSON): https://maeum.io/facts.json

## 자주 묻는 질문

**Q. 우리는 작은 회사인데 이 정도까지 필요한가요?**
A. 네 장치 중 ②마스킹과 ④로그는 회사 크기와 무관하게 필요합니다. 고객 정보를 다루는 순간부터요. ①주입과 ③권한 상승은 에이전트(실행하는 AI)를 들일 때부터 필요합니다. 대화형만 쓰는 단계면 ②④만으로 시작해도 됩니다.

**Q. AI가 고객 정보를 학습해서 다른 회사에 알려줄 수 있나요?**
A. 기업용 계약에서는 보통 학습에 쓰지 않는다고 명시합니다. 다만 그건 약관의 문제이고, 회사 쪽에서 마스킹을 하면 약관과 무관하게 실제 이름·번호가 모델로 안 갑니다. 저희는 약관을 믿는 것과 별개로 마스킹을 기본으로 합니다.

**Q. 로그를 남기면 직원 감시가 되지 않나요?**
A. 로그의 목적은 사고 재구성과 성과 측정입니다. 누가 몇 번 썼는지가 아니라 어떤 데이터가 어디로 갔는지를 봅니다. 그리고 로그 접근 자체도 권한표에 들어갑니다 — 대표라고 전부 보는 게 아니라, 감사 목적일 때만 정해진 사람이 봅니다.

**Q. 규제 때문에 AI를 아예 못 쓰는 업종도 있나요?**
A. 저희가 본 범위에서는 "전부 금지"보다 "어디까지"의 문제였습니다. 의료 판단·세무 확정·법률 자문처럼 사람 서명이 필요한 최종 행위는 D구역(사람만)이고, 그 앞의 준비·정리·안내는 대부분 가능합니다. 정확한 경계는 업종 전문가와 함께 진단에서 정합니다.

**Q. 비용은요?**
A. 데이터 등급 분류와 경계 설정은 진단 5회권 25만 원 2회차. 마스킹·로그·권한은 SaaS 운영형 구축 70만 원부터 + 월 49·99·149만 원에 포함(인원수 과금 없음), SI 소유형 250만 원부터. 부가가치세 별도.

## 함께 읽기

- [[시리즈 8] AI 사용 데이터 읽는 법 — 지표 4개 + 정착률](https://maeum.io/blog/ai-usage-telemetry-dashboard/)
- [[시리즈 10] AI 비용, 어디서 새나 — 토큰·모델·부서별 비용과 ROI](https://maeum.io/blog/ai-cost-finops/)
- [[시리즈 2] AI 권한 설계 — 20가지 권한](https://maeum.io/blog/ai-permission-design/)

---
마음컴퍼니 (MAEUM) · 무료 데모: https://maeum.io/start/ · 정가: https://maeum.io/price/ · 문의: support@maeum.io