← PORTFOLIO · AI & ANALYTICS

온프레미스 도메인 특화 LLM 구축

회사 자료는 밖으로 내보내지 않고,
우리 업무를 아는 AI를 사내에

외부 AI 서비스는 성능은 좋지만 자료를 밖으로 보내야 합니다. 사내 서버에 직접 구축한 로컬 LLM에 자사 자료를 연결하면, 데이터가 내부에 머무른 채로 우리 문서와 규정, 우리 코드베이스를 이해하는 AI를 쓸 수 있습니다. 용도가 다르면 모델과 검색 구성도 다르게 잡습니다.

  • 온프레미스 구축
  • RAG 검색 증강
  • 용도별 서비스 분리
  • 출처 제시
  • 권한 · 감사 로그
질의 — 근거를 함께 제시합니다 답변마다 근거 문서를 제시해, 사용자가 원문을 바로 확인할 수 있습니다.
서비스 라인업 — 용도별 분리 운영 같은 기반 위에서 용도별로 모델·검색·권한을 다르게 구성합니다.
처리 흐름 — 질문이 답이 되기까지 외부 API 호출이 없으므로 질문 내용과 문서 원문이 회사 밖으로 나가지 않습니다.

※ 화면은 실제 구동 화면을 재구성한 예시이며, 표시된 내용은 샘플입니다.

01 — HOW IT WORKS

자료를 넣으면, 그 자료로 답하는 AI가 됩니다

모델을 처음부터 학습시키지 않습니다. 회사 자료를 검색해 근거로 삼는 방식이라 자료가 바뀌면 답도 바로 바뀝니다.

  1. STEP 01

    자료 수집

    문서·매뉴얼·규정·코드 등 대상 자료를 모읍니다. 공유 폴더나 사내 시스템에서 자동으로 가져오도록 연결할 수 있습니다.

  2. STEP 02

    색인 구축

    문서를 의미 단위로 나눠 검색 색인을 만듭니다. 표·그림 설명·문서 구조를 살려 잘라야 답변 품질이 올라갑니다.

  3. STEP 03

    검색 증강

    질문이 들어오면 관련 자료를 먼저 찾고, 그 내용을 근거로 삼아 모델에 전달합니다. 근거가 없으면 없다고 답하게 합니다.

  4. STEP 04

    용도별 구성

    업무 안내·전문 문서·보안 검토·코딩 지원은 요구 성능과 응답 방식이 다릅니다. 용도마다 모델 크기와 검색 범위를 따로 잡습니다.

  5. STEP 05

    검증 · 조정

    실제 질문 목록으로 답변 품질을 측정하고, 검색 방식과 지시문을 조정합니다. 필요하면 자사 데이터로 추가 미세조정합니다.

  6. STEP 06

    운영

    부서별 접근 권한을 나누고 질의 이력을 남깁니다. 자료가 갱신되면 색인이 자동으로 따라갑니다.

02 — FEATURES

한 기반 위에, 필요한 서비스를 얹습니다

업무 챗봇

  • 사내 규정·절차·양식 안내
  • 부서별로 답변 범위 제한
  • 근거 문서 링크 함께 제시
  • 모르는 것은 모른다고 답하도록 구성

전문 문서 질의

  • 기술 자료·매뉴얼·표준 문서 검색
  • 여러 문서에 걸친 교차 질의
  • 요약·비교·초안 작성 지원
  • 전문 용어에 맞춘 검색어 확장

보안 검토 지원

  • 외부로 나가는 문서의 민감 정보 점검
  • 사내 보안 기준 대비 확인
  • 검토 결과와 근거 조항 제시
  • 처리 전 과정이 내부에서만 수행

코딩 지원

  • 사내 코드베이스를 근거로 한 코드 제안
  • 내부 라이브러리·규약에 맞춘 작성
  • 코드 설명·리뷰 보조
  • 소스가 외부로 전송되지 않음

구축 · 운영

  • 사내 서버에 직접 설치
  • 모델 교체·업그레이드 대응
  • 부서·직급별 접근 권한 분리
  • 질의 이력 기록 및 감사 지원

연동

  • 기존 사내 시스템과 API 연동
  • 공유 폴더·문서 시스템 자동 수집
  • 사내 메신저·포털에 창구 연결
  • 자료 갱신 시 색인 자동 반영

03 — SCREENS

쓰는 화면과 관리하는 화면이 나뉩니다

코딩 지원

사내 코드베이스를 근거로 제안합니다. 어떤 파일을 참고했는지 함께 표시되어, 제안을 그대로 믿지 않고 확인할 수 있습니다.

질문  내부 인증 모듈 붙이는 방법
검색  사내 저장소 3개 참조
근거  auth/session.py
근거  docs/인증_가이드.md
제안  기존 세션 검증 함수 재사용
        신규 구현 불필요
외부 전송없음

관리자 화면

어떤 자료가 색인돼 있고 누가 무엇을 물었는지 관리합니다. 부서별 접근 범위도 여기서 지정합니다.

자료 색인 현황
사내 규정최신
기술 문서최신
코드 저장소갱신중
회의 자료대기
서비스별 사용량
업무 챗봇가장 많음
전문 문서보통
코딩 지원증가 추세

04 — ARCHITECTURE

외부로 나가는 경로를 만들지 않습니다

검색·추론·저장이 모두 사내에서 끝나도록 구성합니다. 인터넷이 끊겨도 서비스는 동작합니다.

  • 모델 실행로컬 LLM · 사내 GPU 서버
  • 검색벡터 검색 + 키워드 혼합
  • 문서 처리구조 인식 분할 · 표/그림 처리
  • 백엔드Python · FastAPI
  • 저장내부 벡터 저장소 · 관계형 DB
  • 인증계정 인증 · 부서별 권한 · 유휴 만료
  • 연동REST API · 공유 폴더 수집
  • 운영Linux · systemd · Nginx

답을 만드는 것보다, 근거를 붙이는 것이 중요합니다

업무에 쓰는 AI는 그럴듯한 문장보다 확인 가능한 근거가 필요합니다. 모든 답변에 참조한 문서와 위치를 붙이고, 근거를 찾지 못하면 지어내지 않고 그렇게 답하도록 구성합니다.

구축 규모는 필요에 맞춥니다. 부서 단위 소규모부터 전사 서비스까지, 보유 장비와 동시 사용자 수를 보고 모델 크기와 서버 구성을 정합니다.

05 — USE CASES

자료를 밖으로 보낼 수 없는 조직에

기술 문서가 많은 조직

흩어진 매뉴얼과 설계 자료를 한 창구에서 질의하고 근거와 함께 확인합니다.

보안이 엄격한 환경

망 분리나 외부 반출 제한이 있는 환경에서도 AI 도구를 사용할 수 있습니다.

개발 조직

사내 코드와 규약을 아는 코딩 보조를 두되, 소스는 외부로 내보내지 않습니다.

반복 문의가 많은 부서

같은 질문에 반복 응대하던 업무를 챗봇으로 넘기고 담당자는 예외만 처리합니다.

06 — CONTACT

어떤 자료로, 어떤 용도로
쓰실지 알려주세요

보유 장비와 자료 형태를 보고 구축 범위와 구성부터 함께 검토해 드립니다.

verix@verixsolution.com