연산 실행 계층 구조 - LLM, 딥러닝, 병렬

쓸만한 Basic LLM (2025-07 기준)

• Google 빼고는 모두 PyTorch 이며, PyTorch Framework에서 AWS 빼고는 모두 대부분 CUDA를 사용.

Python 주요 Upper-level Library

병렬 연산 SDK

OpenCL (e.g. PyOpenCL for Python) 처럼,

• AMD·Intel GPU 또는 FPGA 기반 클러스터 등 CUDA를 사용할 수 없는 환경에서,
• 최종 LLM 성능 최적화나 배포보다는,
• 하드웨어 기능 검증 PoC (Proof of Concept)을 위해 사용되는 SDK는 현실적으로, Base LLM 개발에 거의 도움이 안되거나, 도움이 되더라도 매우 오래 걸림.

NVIDIA 생태계의 특징

NVIDIA의 '독점기술'인 CUDA는 GPU를 위한 하드웨어 제어 프로그래밍을 위해 CPU의 계층 구조를 그대로 모방하여 GPU에 특화된 형태로 제공하는 SDK.

GPU 사용 병렬연산 계층 구조

기술 계층 1단 (최하단): Hardware

기술 계층 2단 : Compiler

• 다양한 Machine Learning Framework (TensorFlow, PyTorch, JAX 등)의 모델을 다양한 하드웨어 백엔드(CPU, GPU, TPU, NPU 등)에서 효율적으로 실행하기 위한 Compiler Framework. NVCC를 내부적으로 활용할 수 있지만, 더 넓은 범위와 목적을 가집니다.
• ONNX (Open Neural Network Exchange): 서로 다른 딥러닝 프레임워크(PyTorch, TensorFlow, scikit-learn 등) 간에 모델을 교환하기 위한 Open Standard Format이며, 컴파일러가 아님. ONNX Format은 모델의 구조(레이어, 연산, 가중치 등)를 정의하는 일종의 설계도 또는 명세서이고, ONNX Runtime은 ONNX Format을 읽고 해석하여, GPU, CPU, Edge 장치 등 다양한 하드웨어에서 모델이 효율적으로 작동하도록 하는 엔진.
• LLVM (Low Level Virtual Machine): 다양한 언어와 하드웨어를 위한 Compiler Infra Project.

기술 계층 3단 : SDK (Software Development Kit)

기술 계층 4단: Library (Lower-level)

• 특정 연산(행렬, 컨볼루션, FFT 등)을 하드웨어에 최적화하여 제공하는 라이브러리

기술 계층 5 (최상단): Framework

• SDK와 Lower-level Library를 통합해 모델 정의·학습·추론 전체 워크플로우를 관리
• LLM(Large Language Model)은 딥러닝 모델의 한 종류. PyTorch, JAX, TensorFlow는 원래 딥러닝 모델을 개발하고 학습하기 위해 만들어진 딥러닝 전용 프레임워크. 자연스럽게 이들 프레임워크가 LLM 연구 및 개발에 핵심적인 역할을 하게 됨.