MAEUM BLOG · AI 도입

회사의 기억을 AI에 연결하기 — 컨텍스트·조직 메모리·사내 검색·RAG 실전

2026-09-08 · 마음컴퍼니 — 정가를 공개하는 AI 개발사
AI가 회사 일에 엉뚱한 답을 내는 이유의 절반은 모델이 아니라 회사 정보가 AI 손에 없어서입니다. OpenAI 2026 논문에서 기업 사용자가 넓게 쓰는 용도 중 상위가 주제 개요·사실 확인·정보 종합인데, 이 용도는 회사 문서가 연결돼야 값이 나옵니다. 연결 방식은 셋 — 복붙(개인 계정) · 사내 검색 · RAG(권한 기반 검색+답변). 마음컴퍼니는 먼저 "회사 기억 목록" 20종을 같이 적고, 권한 기반으로 연결하며, 답마다 출처를 붙입니다. 진단 5회권 25만 원 2회차의 작업이고, SaaS 운영형(구축 70만 원부터 + 월 49·99·149만 원)에 문서 연결이 포함됩니다.

정보 종합이 가장 넓게 쓰인다 — 그런데 회사 정보는 어디에

OpenAI 논문이 60개 업무 유형으로 분류한 결과, 활성 사용자가 넓게 쓰는 용도 상위에 주제 개요, 사실·수치 확인, 시장 조사, 정보 종합이 있습니다. 임원일수록 이 비중이 높습니다.

문제는 이 용도가 회사 밖 정보에는 잘 되지만 회사 안 정보에는 안 된다는 겁니다. "작년 이 고객에게 얼마에 제안했지", "이 경우 우리 규정이 뭐지", "지난번 같은 문제 어떻게 처리했지" — AI는 모릅니다. 회사 기억이 AI 손에 없으니까요.

그래서 직원들은 문서를 복사해서 개인 계정 채팅창에 붙입니다. 논문의 발견 3(신입이 가장 깊게 씀)이 실제로 일어나는 방식이 이겁니다. 그리고 그 과정에서 고객 정보가 개인 계정으로 흘러갑니다. 연결 방식을 회사가 정하지 않으면, 직원이 정합니다.

회사 기억 목록 20종 — 어디에 뭐가 있나부터

연결하기 전에 목록부터 적습니다. 대부분의 회사가 스무 종 중 절반은 "어딘가에 있긴 한데" 상태입니다.

묶음기억보통 있는 곳
기록 (6)회의록 · 이메일 · 채팅 · 보고서 · 프로젝트 기록 · 일정노션·구글독스·카톡·메일함
규칙 (4)SOP(업무 절차) · 규정 · 가격표 · FAQ파일 서버, 담당자 머릿속
판단 (4)과거 결정 · 결정 근거 · 성공 사례 · 실패 사례대부분 없음 (있어도 흩어짐)
관계 (3)고객 기록 · 거래처 기록 · 계약·견적 이력엑셀·CRM·메일
제품·시장 (3)제품 기록 · 시장·경쟁 기록 · 연구·조사 기록PPT, 개인 폴더

"판단" 묶음이 비어 있는 회사가 가장 많고, 채웠을 때 효과가 가장 큽니다. "왜 그렇게 정했나"가 남아 있으면 같은 논의를 반복하지 않습니다. 이 묶음은 12편에서 다시 다룹니다.

연결 방식 세 가지 — 뭐가 다른가

기준복붙 (개인 계정)사내 검색RAG (권한 기반 검색 + 답변)
동작직원이 문서를 복사해 채팅창에 붙임키워드로 문서를 찾음, 읽는 건 사람질문 → 권한 안의 문서만 찾음 → 그 문서 근거로 답 + 출처
권한없음 — 붙이는 사람이 볼 수 있는 건 전부 나감있음있음 — 물어본 사람이 못 보는 문서는 답에 안 섞임
출처없음문서 자체답마다 어느 문서 몇 번째 문단인지
최신성붙인 그 순간색인 주기문서 갱신 시 자동 반영 + 오래된 문서 표시
결과물이 남는 곳개인 계정회사 시스템 (질문·답·출처 기록)
맞는 회사직원 1~2명, 민감 정보 없음문서는 많은데 AI는 아직고객·계약·규정 정보를 AI가 다뤄야 하는 회사

복붙을 금지하라는 게 아닙니다. 회사가 RAG를 안 만들면 복붙이 기본값이 된다는 겁니다. 셋 중 하나를 회사가 골라야 합니다.

권한 기반 검색 — 2편의 권한표가 여기서 작동합니다

RAG의 핵심은 "찾는다"가 아니라 "누가 물었느냐에 따라 다른 문서를 찾는다"입니다.

이걸 하려면 2편의 권한표 중 "데이터 접근" 줄이 문서 단위로 정리돼 있어야 합니다. 폴더별로 누가 보나 — 이미 대부분의 회사에 있는 규칙입니다. 그 규칙을 AI에게도 똑같이 적용하는 겁니다.

컨설턴트 시나리오 — 제안서 초안에 과거 제안서를 꺼내오기

컨설팅 회사가 새 제안서를 씁니다. 회사 기억을 연결하면 이렇게 됩니다.

다른 팀의 비공개 제안서는 검색 결과에 아예 안 나옵니다. 권한 안에서만 찾으니까요. 고객 응대 챗봇도 같은 구조입니다 — "우리 회사 데이터로"가 곧 이 연결입니다.

신선도와 출처 — 답을 믿을 수 있게 만드는 두 가지

둘 다 모델의 능력이 아니라 연결 방식의 설계입니다. 같은 모델로도 출처 없이 답하게 만들 수 있고, 출처를 붙이게 만들 수 있습니다. 마음컴퍼니는 붙입니다.

출처 — 논문이 말한 것 / 마음컴퍼니의 확장

마음컴퍼니 정가 — 부가가치세 별도 · 최종 금액은 진단 후 확정
진단 5회권25만 원 · 회당 최대 90분 · 데모 시연 포함
SaaS · 운영형 (추천)구축 70만 원부터 + 월 49·99·149만 원 — 서버·AI·개선·추가 기능 구축·월간 성과 리포트 포함, 인원수 과금 없음
SI · 소유형구축 250만 원부터 (제대로 구축 700만~) — 이후 월 구독료 없음, 관리는 회차권

SEO·GEO·검색 상위노출은 구축에 무료로 포함됩니다. 프로그램 데모는 무료 — 실제로 눌러보고, 마음에 들 때만 계약하세요.

자주 묻는 질문

문서가 정리가 안 돼 있습니다. 그래도 되나요?
대부분 그렇습니다. 20종 목록에서 "있는 것"만 먼저 연결합니다. 가격표·FAQ·SOP 세 가지만 있어도 고객 응대 초안 품질이 달라집니다. 정리는 연결하면서 됩니다 — AI가 "이 두 문서가 서로 다르게 말한다"고 알려주는 것부터요.
파인튜닝(모델 학습)이 더 좋지 않나요?
회사 문서처럼 계속 바뀌는 정보는 RAG(검색 연결)가 맞습니다. 문서가 바뀌면 바로 반영되고, 출처가 남고, 권한이 적용됩니다. 파인튜닝은 말투·형식을 고정할 때 쓰고, 사실 정보에는 잘 안 씁니다.
AI 회사에 우리 문서를 다 올려야 하나요?
아닙니다. 문서는 회사 시스템에 있고, 질문할 때 필요한 부분만 그 순간 모델에 전달됩니다. 어느 범위까지 전달되는지, 전달된 내용이 학습에 쓰이지 않는지는 9편(보안·개인정보)에서 정합니다. 폐쇄망이 필요하면 온디바이스 옵션도 있습니다.
직원이 개인 계정에 복붙하는 걸 막을 수 있나요?
막는 것보다 더 편한 길을 주는 게 빠릅니다. 회사 시스템에서 물으면 출처까지 붙어 나오고 개인 계정보다 답이 정확하면, 자연히 옮겨 옵니다. 규정은 그다음입니다.
비용은요?
회사 기억 목록 작성과 연결 범위 결정은 진단 5회권 25만 원 2회차. 시스템은 SaaS 운영형 구축 70만 원부터 + 월 49·99·149만 원(문서 연결·갱신 포함, 인원수 과금 없음), SI 소유형 250만 원부터. 부가가치세 별도.

필요한 프로그램, 실제로 만들어보고 판단하세요

현재 하고 있는 일과 필요한 기능을 알려주시면 먼저 실제로 작동하는 데모를 보여드립니다. 데모는 무료입니다.