인간을 돕기 위한 AI (> ML > LLM) 도구를 만들기 위한 DevOps 중에는, MLOps, LLM Wrapper 등이 있다.

  • (요리재료) SQLite / S3
  • (요리) Back-end + Front-end
  • (요리포장) Docker 는 개발된 App을 컨테이너화하여 관리하고 배포하는 데 사용되는 기술.
  • (요리배달) Flutter (모바일 앱) or CloudFront + S3 (웹)
  • CI/CD (Continuous Integration/Continuous Deployment) Pipeline

AWS 구조 요약

plain text
Region (e.g., ap-northeast-2)
 └─ Availability Zone (AZ1, AZ2...)
     └─ EC2 Instance
         ├─ OS (Amazon Linux)
         ├─ Attached EBS Storage
         └─ App (e.g., SageMaker + FastAPI)

 └─ Services
     ├─ Compute (EC2, Lambda, SageMaker)
     ├─ Storage (S3, EBS, DynamoDB)
     ├─ ML (SageMaker, Bedrock)
     └─ Auth (Cognito)

 └─ Networking
     ├─ VPC / Subnet
     ├─ Route 53 / Load Balancer
     └─ IAM / CloudWatch / Billing

GCP 구조 요약

Firebase (프론트 사용자 인증 DB 관리 중심) + Vertex AI (백엔드 LLM 및 MLOps 중심)

예시 흐름

  1. 사용자가 Firebase Hosting으로 배포된 App에 접속
  2. Firebase Auth로 로그인 처리
  3. 사용자가 질문을 입력 → Firebase Cloud Function 호출
  4. Cloud Function이 Vertex AI의 LLM Endpoint로 질문 전달
  5. Vertex AI가 GPU 기반 추론 후 답변 반환
  6. Firebase App에서 결과 출력

Firebase: Mobile App Platform

구성 요소 관련 GCP 서비스 역할
Firebase Hosting Cloud CDN + Cloud Storage 정적 웹사이트나 SPA 앱을 전세계 배포
Firebase Auth Identity Platform 사용자 인증 (OAuth, Google 로그인 등)
Firebase Cloud Functions Cloud Functions Serverless 백엔드. 이벤트 기반 실행 (DB 변경, HTTP 요청 등)
Firebase Realtime DB / Firestore Firebase 전용 DB 실시간 NoSQL 데이터 저장. 인스턴스 기반이 아님
Firebase ML Kit Vertex AI와 연결 모바일 앱에서 ML 기능 사용 시 Vertex AI와 연동됨 (예: OCR, 텍스트 분류 등)

Vertex AI: ML/LLM Platform

구성 요소 관련 GCP 서비스 설명
Vertex AI Workbench Notebooks + Compute Engine Jupyter 기반의 개발환경 (GPU/TPU 선택 가능)
Vertex AI Training AI Platform Training (Compute Engine, TPU) 학습용 클러스터. A100/H100 등 GPU도 선택 가능
Vertex AI Prediction Cloud Run + GPU / CPU 모델 배포 후 API endpoint로 추론 요청 처리
Vertex AI Matching Engine ANN 기반 Vector Search embedding 기반 유사도 검색에 특화된 서비스
Vertex AI Studio API UI Gemini 등 LLM 모델 실행을 위한 인터페이스 제공 (LLM-as-a-Service)

공통적으로 사용하는 GCP 하위 서비스 (Infra Layer)

서비스명 설명
Cloud Storage 학습 데이터, 모델 파일, 사용자 업로드 파일 저장
VPC Network Firebase Functions ↔ Vertex AI 사이 내부 통신
IAM (Identity Access Management) 사용자 및 서비스 권한 제어 (예: Firebase App이 Vertex AI Prediction에 접근 허용)
Billing Firebase, Vertex AI는 기본 무료, API 호출/모델 크기/VM 유형에 따라 종량제 과금
Monitoring Stackdriver Logging, Error Reporting 등 디버깅 및 성능 모니터링 도구

plain text
+-----------------------------+
|      Application Layer      |
|  - Firebase Web/App         |
|  - Vertex AI Prediction API |
+-----------------------------+
|      Serverless Layer       |
|  - Cloud Functions (Firebase)   |
|  - Cloud Run (Vertex AI 서빙)  |
+-----------------------------+
|      Compute Layer          |
|  - Compute Engine (Notebook, Training) |
|  - TPU/GPU VM (H100, A100 등)        |
+-----------------------------+
|      Infra & Data Layer     |
|  - Cloud Storage            |
|  - Firestore / BigQuery     |
|  - VPC / IAM / Billing      |
+-----------------------------+