AI Data Platform

AI Ready Data SaaS + 온프레미스 LLM 보안 게이트웨이

note

재직 중인 회사의 자료 유출 방지를 위해, 회사명·제품명·도메인·노드명 등 식별 정보를 제거하고 공개 가능한 아키텍처 수준에서만 정리합니다.

소개

두 개의 엔드 제품을 하나의 백엔드 모노레포로 운영하는 마이크로서비스 플랫폼입니다.

Product A — AI Ready Data SaaS (AWS, 멀티테넌트): 여러 고객이 한 클라우드를 공유. 인증·데이터·과금을 AWS 매니지드 서비스에 위임하고 백엔드는 컨테이너로 운영.
Product B — LLM 보안 게이트 어플라이언스 (K3s, 단일테넌트): 고객사 데이터센터에 통째로 설치. 입력·문서의 개인정보를 비식별 처리한 뒤 LLM에 전달해 데이터 유출 없이 LLM을 활용. 저장소·인증·모델 추론까지 클러스터 안에서 자급하며 오프라인 환경과 양립.

공통 Frontend / Auth + 백엔드 서비스를 동일 이미지로 AWS·K3s 양 플랫폼에 배포합니다.

Backend: Python 3.12, FastAPI, SQLAlchemy 2.0 (async), gRPC, Temporal, NATS JetStream
Frontend: TypeScript, React 19, Next.js 15, Vite 7, Turborepo, pnpm
Infra (AWS): ECS Fargate, CloudFront, Cognito, RDS Aurora PostgreSQL, S3, SES, EventBridge, Batch, WAF, CodePipeline
Infra (On-prem): K3s, Traefik, Keycloak, OPA, Qdrant, RustFS, PgBouncer, vLLM, LiteLLM
Observability: Prometheus, Grafana, Alertmanager, Rancher, DCGM, GlitchTip, Metabase

서비스는 4개 계층으로 구분됩니다.

Product Service (제품 진입점): 프론트엔드 SPA가 직접 호출. 하위 서비스를 gRPC로 오케스트레이션해 제품 UX 응답을 합성. 순수 BFF가 아닌 제품 도메인 로직까지 수행.
Platform / Core (크로스 도메인 공통): account · organization · billing · community · observability
Domain (단일 책임): datasets · agent · llmgateway · rag
Workers (비동기): Temporal / NATS 컨슈머 — 이메일·알림·에이전트 실행·이벤트 포워딩·비식별 워크플로

두 엔드 서비스(SaaS / 온프레)가 같은 백엔드 컨테이너를 공유하는 구조.

전체 화면으로 열기 >>

두 제품을 빌드·배포·관측·운영하고 사내 LLM/문서/분석을 호스팅하는 K3s 메타 레이어 (제품 자체가 아님).

전체 화면으로 열기 >>