사고 4종 × 막는 장치 1개
| 사고 | 어떻게 생기나 | 막는 장치 |
|---|---|---|
| ① 프롬프트 주입 | 고객 문의·이메일·문서 안에 "이전 지시 무시하고 ○○해"가 들어 있고, AI가 그걸 명령으로 받음 | 외부 입력은 "데이터"로만 취급 — 명령은 시스템 지시문에서만. 도구 실행 전 사람 확인(B구역). |
| ② 데이터 유출 | 직원이 고객 명단을 개인 계정에 복붙 / 시스템이 필요 이상 데이터를 모델에 전달 | 회사 시스템 안에서만 AI 사용 + 전달 전 마스킹(이름·번호·주민번호 치환) |
| ③ 권한 상승 | "조회만" 줬는데 도구 조합으로 수정·발송까지 하게 됨 | 도구 목록 명시 + 목록에 없으면 실행 불가 (2편 접근 권한) + 되돌릴 수 없는 실행은 사람 |
| ④ 기록 부재 | 사고 후 "AI가 뭘 봤고 뭘 했는지" 재구성 불가 | 아래 감사 로그 7종 |
네 장치 모두 모델의 성능과 무관합니다. 설계입니다. 같은 모델로 사고 나는 회사와 안 나는 회사가 갈리는 지점이 여기입니다.
개인정보 5단계 — 분류 → 마스킹 → 최소수집 → 보존 → 삭제
| 단계 | 할 일 | 예 |
|---|---|---|
| 분류 | 어떤 데이터가 개인정보인지 목록화. 등급 나누기. | 1등급: 주민번호·계좌·진료기록 / 2등급: 이름·연락처 / 3등급: 비식별 통계 |
| 마스킹 | 모델에 보내기 전 1·2등급 치환 | "김철수 010-1234-5678" → "[고객A] [연락처]" |
| 최소수집 | 업무에 필요한 항목만 전달 | 예약 확인 문자에 진료과는 필요, 병명은 불필요 |
| 보존 | AI 로그·결과물 보관 기간 정하기 | 문의 분류 로그 90일, 계약 검토 로그 계약 기간+3년 |
| 삭제 | 기간 만료·고객 요청 시 삭제 절차 | 고객 탈퇴 → 관련 AI 로그도 같이 |
마스킹 한 단계만 있어도 ②유출의 대부분이 막힙니다. 모델은 "[고객A]"로도 문자 초안을 잘 씁니다. 실제 이름은 발송 직전 회사 시스템 안에서 다시 채웁니다.
감사 로그 최소 7종
사고 후 "뭐가 어떻게 됐나"를 재구성하려면 이 일곱 개가 있어야 합니다. 더 많아도 되지만, 이 일곱이 없으면 재구성이 안 됩니다.
- 1. 사용자 로그 — 누가(어느 계정·역할이) 언제 AI를 불렀나.
- 2. 입력 로그 — 무슨 질문·지시가 들어갔나. (마스킹된 형태로)
- 3. 출력 로그 — AI가 뭐라고 답했나.
- 4. 도구 호출 로그 — 에이전트가 어떤 도구(DB 조회·발송·수정)를 어떤 인자로 불렀나.
- 5. 승인 로그 — 사람이 확인·승인·거부한 기록. 누가, 언제.
- 6. 데이터 접근 로그 — 어떤 문서·테이블을 읽었나. (6편 권한 기반 검색)
- 7. 권한 변경 로그 — 누가 언제 어떤 권한을 넓히거나 좁혔나.
7종은 8편 대시보드의 재료이기도 합니다. 감사용 로그와 성과용 로그가 같은 곳에서 나옵니다.
업종 규제 시나리오 — 병원과 세무사무소
규제 인접 업종은 "AI를 쓸 수 있나"보다 "어디까지 쓸 수 있나"를 먼저 정합니다. 마음컴퍼니는 이걸 진단 첫 회차에서 합니다.
- 의원 — 예약 확인·리콜 안내는 2등급(이름·연락처·진료과)만 씀. 진료 기록·검사 결과(1등급)는 AI 접근 목록에 아예 없음. 환자가 답장으로 증상을 적으면 그 텍스트는 AI가 분류하지 않고 사람에게 직접. 의료 판단은 D구역(사람만).
- 세무사무소 — 자료 독촉 안내에 고객명·미제출 항목·기한만. 매출액·주민번호·계좌는 마스킹 대상. 신고서 초안은 AI가 도울 수 있으나 신고 확정은 세무사 서명(D구역). 고객 자료 보존 기간은 세법 기준을 따르고 AI 로그도 같은 기간.
두 경우 다 "AI 금지"가 아닙니다. 경계를 그으면 경계 안에서는 다른 업종과 똑같이 씁니다. 경계를 안 그으면 직원이 개인 계정에 붙여넣습니다 — 그게 진짜 규제 위반이 되는 경로입니다.
AI 회사 약관에서 확인할 세 가지
어떤 AI 모델을 쓰든, 계약 전에 세 가지만 확인하면 됩니다. 회사마다 조건이 다르고 바뀌므로 여기서 특정 회사 조건을 단정하지 않습니다.
- 학습 사용 여부 — 우리가 보낸 입력·출력이 그 회사 모델 학습에 쓰이는가. 기업용 계약은 보통 "안 쓴다"지만, 개인 계정은 다를 수 있습니다. 직원 개인 계정 복붙이 위험한 이유 하나.
- 데이터 보관 위치와 기간 — 어느 나라 서버에 며칠 보관되나. 규제 업종은 이게 계약 조건이 됩니다.
- 삭제 요청 절차 — 고객 요청 시 우리 쪽 삭제와 AI 회사 쪽 삭제가 같이 되는가.
세 가지가 우리 규정과 안 맞으면 5편의 교체 구조가 있어야 다른 모델로 갈 수 있습니다. 폐쇄망·온디바이스가 필요한 경우도 여기서 판단합니다.
출처 — 논문이 말한 것 / 마음컴퍼니의 확장
- 논문이 말한 것: 연구는 비식별 데이터를 사용하고 집계 결과만 보고. 메시지 내용은 자동 분류기로 처리했으며 연구자가 개별 메시지를 수동 검토하지 않음. 직함은 광범위 범주로만 매핑. (Chatterji et al., OpenAI 2026-08-11, §3 데이터 절, 원문 PDF)
- 마음컴퍼니의 확장: 사고 4종·장치, 개인정보 5단계, 감사 로그 7종, 업종 시나리오, 약관 확인 3가지. 논문에 없는 저희 설계 방식이며, 법적 자문이 아닙니다. 규제 해석은 해당 업종 전문가 확인이 필요합니다.
SEO·GEO·검색 상위노출은 구축에 무료로 포함됩니다. 프로그램 데모는 무료 — 실제로 눌러보고, 마음에 들 때만 계약하세요.