# 회사의 기억을 AI에 연결하기 — 컨텍스트·조직 메모리·사내 검색·RAG 실전

> AI가 엉뚱한 답을 하는 이유의 절반은 모델이 아니라 회사 정보가 AI 손에 없어서입니다. 회의록·SOP·과거 결정·고객 기록 등 "회사 기억" 20종 체크리스트, 연결 방식 3가지(복붙·사내 검색·RAG) 비교, 권한 기반 검색과 출처 표시. 컨설턴트 제안서 시나리오. [AI 조직 운영체제 시리즈 6]

- 발행: 2026-09-08 · 분류: AI 도입
- 정본(HTML): https://maeum.io/blog/organizational-memory-rag/
- 시리즈: 「AI 조직 운영체제」 6편 / 0~25편 · 허브 https://maeum.io/ai-org-os/ · 이전 https://maeum.io/blog/ai-model-routing-switch/ · 다음 https://maeum.io/blog/ai-agent-checklist-before-deploy/
- 저자: 마음컴퍼니 (MAEUM) — 정가를 공개하는 AI 개발사 · https://maeum.io

AI가 회사 일에 엉뚱한 답을 내는 이유의 절반은 **모델이 아니라 회사 정보가 AI 손에 없어서**입니다. OpenAI 2026 논문에서 기업 사용자가 넓게 쓰는 용도 중 상위가 **주제 개요·사실 확인·정보 종합**인데, 이 용도는 회사 문서가 연결돼야 값이 나옵니다. 연결 방식은 셋 — **복붙(개인 계정) · 사내 검색 · RAG(권한 기반 검색+답변)**. 마음컴퍼니는 먼저 "회사 기억 목록" 20종을 같이 적고, 권한 기반으로 연결하며, 답마다 출처를 붙입니다. 진단 5회권 25만 원 2회차의 작업이고, SaaS 운영형(구축 70만 원부터 + 월 49·99·149만 원)에 문서 연결이 포함됩니다.

## 정보 종합이 가장 넓게 쓰인다 — 그런데 회사 정보는 어디에

OpenAI 논문이 60개 업무 유형으로 분류한 결과, 활성 사용자가 넓게 쓰는 용도 상위에 **주제 개요, 사실·수치 확인, 시장 조사, 정보 종합**이 있습니다. 임원일수록 이 비중이 높습니다.
문제는 이 용도가 **회사 밖 정보**에는 잘 되지만 **회사 안 정보**에는 안 된다는 겁니다. "작년 이 고객에게 얼마에 제안했지", "이 경우 우리 규정이 뭐지", "지난번 같은 문제 어떻게 처리했지" — AI는 모릅니다. 회사 기억이 AI 손에 없으니까요.
그래서 직원들은 문서를 복사해서 개인 계정 채팅창에 붙입니다. 논문의 발견 3(신입이 가장 깊게 씀)이 실제로 일어나는 방식이 이겁니다. 그리고 그 과정에서 고객 정보가 개인 계정으로 흘러갑니다. 연결 방식을 회사가 정하지 않으면, 직원이 정합니다.

## 회사 기억 목록 20종 — 어디에 뭐가 있나부터

연결하기 전에 목록부터 적습니다. 대부분의 회사가 스무 종 중 절반은 "어딘가에 있긴 한데" 상태입니다.
| | 묶음| 기억| 보통 있는 곳 |

| 기록 (6)| 회의록 · 이메일 · 채팅 · 보고서 · 프로젝트 기록 · 일정| 노션·구글독스·카톡·메일함 |
| 규칙 (4)| SOP(업무 절차) · 규정 · 가격표 · FAQ| 파일 서버, 담당자 머릿속 |
| 판단 (4)| 과거 결정 · 결정 근거 · 성공 사례 · 실패 사례| 대부분 없음 (있어도 흩어짐) |
| 관계 (3)| 고객 기록 · 거래처 기록 · 계약·견적 이력| 엑셀·CRM·메일 |
| 제품·시장 (3)| 제품 기록 · 시장·경쟁 기록 · 연구·조사 기록| PPT, 개인 폴더 |

"판단" 묶음이 비어 있는 회사가 가장 많고, 채웠을 때 효과가 가장 큽니다. "왜 그렇게 정했나"가 남아 있으면 같은 논의를 반복하지 않습니다. 이 묶음은 [12편](https://maeum.io/blog/ai-org-redesign/)에서 다시 다룹니다.

## 연결 방식 세 가지 — 뭐가 다른가

| | 기준| 복붙 (개인 계정)| 사내 검색| RAG (권한 기반 검색 + 답변) |

| 동작| 직원이 문서를 복사해 채팅창에 붙임| 키워드로 문서를 찾음, 읽는 건 사람| 질문 → 권한 안의 문서만 찾음 → 그 문서 근거로 답 + 출처 |
| 권한| 없음 — 붙이는 사람이 볼 수 있는 건 전부 나감| 있음| 있음 — 물어본 사람이 못 보는 문서는 답에 안 섞임 |
| 출처| 없음| 문서 자체| 답마다 어느 문서 몇 번째 문단인지 |
| 최신성| 붙인 그 순간| 색인 주기| 문서 갱신 시 자동 반영 + 오래된 문서 표시 |
| 결과물이 남는 곳| 개인 계정| —| 회사 시스템 (질문·답·출처 기록) |
| 맞는 회사| 직원 1~2명, 민감 정보 없음| 문서는 많은데 AI는 아직| 고객·계약·규정 정보를 AI가 다뤄야 하는 회사 |

복붙을 금지하라는 게 아닙니다. 회사가 RAG를 안 만들면 복붙이 기본값이 된다는 겁니다. 셋 중 하나를 **회사가 골라야** 합니다.

## 권한 기반 검색 — 2편의 권한표가 여기서 작동합니다

RAG의 핵심은 "찾는다"가 아니라 **"누가 물었느냐에 따라 다른 문서를 찾는다"**입니다.

- 인사팀 직원이 "김○○ 연봉"을 물으면 인사 폴더에서 답이 나오고, 영업팀 직원이 같은 질문을 하면 "권한 없음"이 나옵니다.
- 대표가 "이번 달 미수금"을 물으면 정산 데이터에서 답이 나오고, 인턴은 자기 담당 고객분만 나옵니다.
- 같은 질문에 같은 모델이 답해도, **결과가 다릅니다.** 문서 접근 권한이 다르니까요.
이걸 하려면 [2편의 권한표](https://maeum.io/blog/ai-permission-design/) 중 "데이터 접근" 줄이 문서 단위로 정리돼 있어야 합니다. 폴더별로 누가 보나 — 이미 대부분의 회사에 있는 규칙입니다. 그 규칙을 AI에게도 똑같이 적용하는 겁니다.

## 컨설턴트 시나리오 — 제안서 초안에 과거 제안서를 꺼내오기

컨설팅 회사가 새 제안서를 씁니다. 회사 기억을 연결하면 이렇게 됩니다.

- **질문**: "제조업 고객, 재고 관리 개선 제안서 초안. 비슷한 과거 사례 참고해서."
- **검색**: 이 직원이 볼 수 있는 폴더 안에서 "제조·재고" 태그 제안서 3건, 그 프로젝트 결과 보고서 2건, 관련 가격 규정 1건.
- **답**: 초안 + 각 문단 옆에 "2025-03 A사 제안서 §3 참조", "가격 규정 v4 2항 참조".
- **사람**: 초안을 읽고 고객 맞춤으로 고침. 출처가 있으니 "이 숫자 어디서 나왔지"를 안 물어도 됨.
- **남는 것**: 이 제안서와 결과가 다시 회사 기억에 들어감. 다음 제안서의 재료.
다른 팀의 비공개 제안서는 검색 결과에 아예 안 나옵니다. 권한 안에서만 찾으니까요. [고객 응대 챗봇](https://maeum.io/blog/customer-chatbot-cost/)도 같은 구조입니다 — "우리 회사 데이터로"가 곧 이 연결입니다.

## 신선도와 출처 — 답을 믿을 수 있게 만드는 두 가지

- **출처 표시** — 답마다 어느 문서의 어느 부분인지 붙입니다. 사람이 검토할 때 원문으로 바로 갑니다. 출처 없는 답은 확인 비용이 더 듭니다.
- **오래된 문서 표시** — 가격표 v3가 v4로 바뀌었는데 v3를 근거로 답하면 사고입니다. 문서에 날짜와 버전이 있고, 답에 "이 근거는 8개월 전 문서"가 표시돼야 합니다.
둘 다 모델의 능력이 아니라 **연결 방식의 설계**입니다. 같은 모델로도 출처 없이 답하게 만들 수 있고, 출처를 붙이게 만들 수 있습니다. 마음컴퍼니는 붙입니다.

## 출처 — 논문이 말한 것 / 마음컴퍼니의 확장

- **논문이 말한 것**: 기업 사용에서 주제 개요·사실 확인·정보 종합·시장 조사가 넓게(많은 사용자가) 쓰이며 임원 비중이 높음. 문서·기술 문서 작성이 가장 넓고 깊게 쓰임. (Chatterji et al., OpenAI 2026-08-11, [원문 PDF](https://cdn.openai.com/pdf/how-organizations-use-chatgpt.pdf))
- **마음컴퍼니의 확장**: 회사 기억 20종, 연결 방식 3비교, 권한 기반 검색, 출처·신선도 규칙, 컨설턴트 시나리오. 논문에 없는 저희 설계 방식입니다.

## 마음컴퍼니 정가 (부가가치세 별도 · 최종 금액은 진단 후 확정)

- 진단 5회권: 25만 원 (회당 최대 90분, 데모 시연 포함)
- SaaS 운영형 (추천): 구축 70만 원부터 + 월 49·99·149만 원 — 서버·AI·개선·추가 기능 구축·월간 성과 리포트 포함, 인원수 과금 없음
- SI 소유형: 구축 250만 원부터 (제대로 구축 700만~) — 이후 월 구독료 없음, 관리는 회차권
- SEO·GEO·검색 상위노출은 구축에 무료로 포함. 데모는 무료 — 실제로 눌러보고 마음에 들 때만 계약.
- 가격 정본(기계용 JSON): https://maeum.io/facts.json

## 자주 묻는 질문

**Q. 문서가 정리가 안 돼 있습니다. 그래도 되나요?**
A. 대부분 그렇습니다. 20종 목록에서 "있는 것"만 먼저 연결합니다. 가격표·FAQ·SOP 세 가지만 있어도 고객 응대 초안 품질이 달라집니다. 정리는 연결하면서 됩니다 — AI가 "이 두 문서가 서로 다르게 말한다"고 알려주는 것부터요.

**Q. 파인튜닝(모델 학습)이 더 좋지 않나요?**
A. 회사 문서처럼 계속 바뀌는 정보는 RAG(검색 연결)가 맞습니다. 문서가 바뀌면 바로 반영되고, 출처가 남고, 권한이 적용됩니다. 파인튜닝은 말투·형식을 고정할 때 쓰고, 사실 정보에는 잘 안 씁니다.

**Q. AI 회사에 우리 문서를 다 올려야 하나요?**
A. 아닙니다. 문서는 회사 시스템에 있고, 질문할 때 필요한 부분만 그 순간 모델에 전달됩니다. 어느 범위까지 전달되는지, 전달된 내용이 학습에 쓰이지 않는지는 9편(보안·개인정보)에서 정합니다. 폐쇄망이 필요하면 온디바이스 옵션도 있습니다.

**Q. 직원이 개인 계정에 복붙하는 걸 막을 수 있나요?**
A. 막는 것보다 더 편한 길을 주는 게 빠릅니다. 회사 시스템에서 물으면 출처까지 붙어 나오고 개인 계정보다 답이 정확하면, 자연히 옮겨 옵니다. 규정은 그다음입니다.

**Q. 비용은요?**
A. 회사 기억 목록 작성과 연결 범위 결정은 진단 5회권 25만 원 2회차. 시스템은 SaaS 운영형 구축 70만 원부터 + 월 49·99·149만 원(문서 연결·갱신 포함, 인원수 과금 없음), SI 소유형 250만 원부터. 부가가치세 별도.

## 함께 읽기

- [[시리즈 5] AI 모델은 계속 바뀐다 — 교체 가능한 구조](https://maeum.io/blog/ai-model-routing-switch/)
- [[시리즈 7] AI 에이전트를 회사에 들이기 전 체크리스트 20](https://maeum.io/blog/ai-agent-checklist-before-deploy/)
- [고객 응대 AI 챗봇 구축 비용 — 우리 회사 데이터로 학습](https://maeum.io/blog/customer-chatbot-cost/)

---
마음컴퍼니 (MAEUM) · 무료 데모: https://maeum.io/start/ · 정가: https://maeum.io/price/ · 문의: support@maeum.io