AI Data Platform
AI Ready Data SaaS + 온프레미스 LLM 보안 게이트웨이
note
재직 중인 회사의 자료 유출 방지를 위해, 회사명·제품명·도메인·노드명 등 식별 정보를 제거하고 공개 가능한 아키텍처 수준에서만 정리합니다.
소개
두 개의 엔드 제품을 하나의 백엔드 모노레포로 운영하는 마이크로서비스 플랫폼입니다.
- Product A — AI Ready Data SaaS (AWS, 멀티테넌트): 여러 고객이 한 클라우드를 공유. 인증·데이터·과금을 AWS 매니지드 서비스에 위임하고 백엔드는 컨테이너로 운영.
- Product B — LLM 보안 게이트 어플라이언스 (K3s, 단일테넌트): 고객사 데이터센터에 통째로 설치. 입력·문서의 개인정보를 비식별 처리한 뒤 LLM에 전달해 데이터 유출 없이 LLM을 활용. 저장소·인증·모델 추론까지 클러스터 안에서 자급하며 오프라인 환경과 양립.
공통 Frontend / Auth + 백엔드 서비스를 동일 이미지로 AWS·K3s 양 플랫폼에 배포합니다.
기술 스택
- Backend: Python 3.12, FastAPI, SQLAlchemy 2.0 (async), gRPC, Temporal, NATS JetStream
- Frontend: TypeScript, React 19, Next.js 15, Vite 7, Turborepo, pnpm
- Infra (AWS): ECS Fargate, CloudFront, Cognito, RDS Aurora PostgreSQL, S3, SES, EventBridge, Batch, WAF, CodePipeline
- Infra (On-prem): K3s, Traefik, Keycloak, OPA, Qdrant, RustFS, PgBouncer, vLLM, LiteLLM
- Observability: Prometheus, Grafana, Alertmanager, Rancher, DCGM, GlitchTip, Metabase
아키텍처
서비스는 4개 계층(Product Service · Platform/Core · Domain · Workers)으로 구분되며, 두 엔드 제품이 같은 백엔드 컨테이너를 AWS·K3s 양 플랫폼에 공유 배포됩니다. 계층 구성과 다이어그램은 아래에서 정리합니다.