LLM 로컬 구축 일기 #1 — 금감원 이슈로 로컬에서 시작합니다

오늘의 고민

요즘 머릿속에 하나의 프로젝트가 계속 맴돈다.

LLM을 구축해서 회사에 적용시키는 것.

ChatGPT, Claude 같은 대형 모델들이 업무 생산성을 미친 듯이 올려주는 걸 매일 체감하고 있다. 그래서 자연스럽게 “이걸 우리 회사 업무에도 녹여볼 수 없을까?” 라는 생각이 들었다.

구축부터 배포까지, 전체 파이프라인을 직접 경험해보고 싶었다.

---

그런데 문제가 생겼다

우리 회사는 금융권이다.

금융권에서 LLM을 도입하려면 금융감독원(금감원) 규제를 피해갈 수가 없다. 고객 데이터를 외부 API로 보내는 것 자체가 리스크이고, 사내 데이터를 학습시키는 것도 민감한 영역이다.

정리하면 이런 벽들이 있다.

• 개인정보 및 고객 데이터 유출 리스크 — 외부 클라우드 LLM에 데이터를 태우는 순간, 금감원 감사 대상이 될 수 있다.
• AI 모델의 설명 가능성(Explainability) — 금융권은 의사결정 근거를 설명할 수 있어야 한다. LLM의 블랙박스 특성이 걸린다.
• 클라우드 외부 위탁 규제 — 제3자에게 데이터 처리를 위탁할 경우 사전 보고·승인 절차가 필요하다.

결론적으로, 회사에 바로 적용하는 건 현실적으로 쉽지 않다.

---

그래서 내린 결론 — 로컬에서 직접 돌린다

회사에 바로 올리지 못한다면, 일단 나 혼자 로컬 환경에서 LLM을 구축하고 운영해보자.

계획은 이렇다.

1. 오픈소스 LLM 선정 — Llama, Mistral 등 로컬에서 돌릴 수 있는 모델 탐색
2. 로컬 환경 세팅 — GPU 서버 or 내 PC에서 추론 환경 구성
3. RAG 파이프라인 구축 — 문서 기반 질의응답 시스템 만들기
4. Fine-tuning 실험 — 도메인 특화 학습 시도
5. 배포 시뮬레이션 — Docker 기반으로 서비스 형태 구성

규제 때문에 못 하는 게 아니라, 규제 안에서 할 수 있는 방법을 찾아보는 거다.

로컬이라면 데이터가 외부로 나가지 않으니 금감원 이슈도 최소화할 수 있고, 나중에 사내 온프레미스 도입 제안을 할 때 실제 경험을 근거로 얘기할 수 있다.

---

앞으로의 일기

이 시리즈는 내가 LLM을 로컬에서 구축하면서 겪는 과정을 일기 형식으로 기록할 예정이다.

삽질도, 실패도, 작은 성공도 전부 남길 생각이다.

다음 글에서는 어떤 모델을 선택할지, 내 환경에서 돌릴 수 있는 스펙은 어떤지부터 정리해보겠다.

규제가 벽이라면, 벽 안에서 먼저 연습하자.