개념·용어
-
LLM Fine-tuning vs RAG대규모 언어 모델(LLM)의 미세조정(Fine-tuning)과 검색 증강 생성(RAG) 방식은 각각의 장단점이 있다. 미세조정은 특정 데이터에 대한 높은 정확도와 일관된 문체를 제공하지만, 높은 연산 자원과 긴 학습 시간을 요구한다. 반면, RAG는 외부 데이터베이스에서 정보를 실시간으로 검색하여 빠른 구현과 최신 정보 반영이 용이하며 낮은 연산 자원으로 운영 가능하다. 프로젝트의 요구 사항에 따라 적절한 방식을 선택해야 하며, 두 방식을 혼합하여 사용하는 하이브리드 모델도 효과적이다.
-
LLM 차이점을 만드는 핵심요소최신 대규모 언어 모델(LLM)의 성능은 입력 데이터의 품질, Transformer 아키텍처의 유형, 학습 방식, 추론 최적화 기법에 따라 달라진다. LLM은 문장 생성, 번역, 요약 등 다양한 자연어 처리 태스크를 수행하며, 입력 데이터의 토큰화 방식, Fine-tuning 전략, 강화 학습 적용 여부가 중요한 요소로 작용한다. 각 모델은 이러한 요소들의 조합에 따라 고유한 강점과 사용 시나리오를 가지게 된다.
-
LLM Fine-tuning (LoRA 방식) 실습대규모 언어 모델(LLM)을 LoRA 방식으로 미세 조정하는 방법을 안내하며, 사전 학습 모델과 토크나이저 불러오기, 학습 데이터셋 준비, 모델 경량화, Trainer 설정 및 Fine-tuning 실행, 모델 저장, Ollama 실행용 모델 변환, 로컬 실행 예시를 포함합니다. 이를 통해 다양한 오픈소스 LLM을 효율적으로 배포할 수 있습니다.
-
Web App Full Stack 개발 기초프론트엔드는 사용자 인터페이스(UI)를 구축하며, HTML, CSS, JavaScript가 주요 언어로 사용된다. 백엔드는 데이터 처리와 서버 로직을 담당하며, Node.js, Python, Java, PHP, C# 등의 언어가 사용된다. API를 통해 프론트엔드와 백엔드 간의 데이터 통신이 이루어지며, RESTful API와 GraphQL이 주요 기술이다. 각 언어별로 다양한 프레임워크가 존재하여 개발 생산성을 높인다.
-
LLM에 RAG 기술 더하기대규모 언어 모델(LLM)과 RAG(검색 기반 생성) 기술의 결합은 응답 품질을 높이고 활용 범위를 확장합니다. RAG의 핵심 처리 흐름은 문서 불러오기, 청크 분할, 임베딩, 벡터 저장소, 검색, LLM을 통한 응답 생성으로 구성됩니다. LlamaIndex와 LangChain은 각각의 목적에 따라 선택할 수 있는 두 가지 주요 오픈소스 프레임워크로, 초보자는 LlamaIndex로 시작하여 기본 구조를 익힌 후 LangChain으로 복잡한 워크플로우를 확장하는 것이 추천됩니다.
-
prompt: AI Prompt Engineering? 좋은 질문AI 시대에 경쟁력을 갖추기 위해서는 좋은 질문을 하는 능력이 중요하며, 이는 프롬프트 엔지니어링과 밀접한 관련이 있다. 효과적인 질문은 명확성, 구체성, 현실성, 창의성을 포함해야 하며, 예시를 통해 안 좋은 질문과 좋은 질문의 차이를 설명한다. 예를 들어, 원주율의 중요성을 탐구하는 질문은 깊은 사고를 유도하고 실생활의 활용 사례를 제시해야 한다.
- HW: 반도체 원리, 분류, 파운드리시장
반도체는 디지털 전자기기의 핵심 요소로, 전기적 특성에 따라 도체와 부도체 사이의 특성을 지닌다. 반도체는 메모리 반도체와 비메모리 반도체로 분류되며, 각각 데이터 저장 및 처리 기능을 수행한다. 메모리 반도체에는 NAND Flash, NOR Flash, DRAM, SRAM이 포함되고, 비메모리 반도체에는 CPU, GPU, TPU가 있다. 반도체 패키징은 칩을 보호하고 외부와 연결하며, 이종 집적 기술이 주목받고 있다. AI 처리에 특화된 반도체가 인기를 끌고 있으며, 삼성전자와 SK하이닉스가 메모리 반도체 시장을 주도하고 있다.
- 예시 코딩 - 평균효용 극대화 이론
평균 효용 극대화 이론은 불확실한 결과값에서 정량적 효용의 기대값을 계산하고, 위험 회피 성향에 따라 확실한 결과값을 산출하는 이론이다. CRRA 효용함수를 사용하여 기대효용과 위험 프리미엄을 계산하는 방법을 구현하는 파이썬 코드 예시가 포함되어 있다.
- 예시 차트 - QQ Plot
QQ Plot은 서로 다른 변수 x와 y의 분위수로 그린 그래프이며, 두 분포의 모양이 같은지와 통계적 x 분포가 이론적 정규분포와 유사한지를 판단하는 데 사용됩니다. x축은 이론적 정규분포의 백분위수 값, y축은 경험적 히스토그램의 백분위수 값을 나타냅니다.
- 예시 코딩 - Linear Model with Panel Data
패널 데이터 분석을 위한 선형 모델을 다루며, 기업의 투자 금액에 대한 비교를 포함합니다. 랜덤 효과 모델과 고정 효과 모델을 사용하여 현금 흐름과 토빈의 q가 투자에 미치는 영향을 분석합니다. 하우스만 검정을 통해 모델 선택을 결정하고, 클러스터 표준 오차를 사용하여 잔차의 의존성을 처리하는 방법도 설명합니다.
- 예시 차트 - 금융학에서의 ‘표준편차-평균 좌표체계’
확률변수는 확률 분포로 설명되며, 평균과 분산이 주요 특성을 나타낸다. 중심극한정리는 표본평균의 분포가 정규분포를 따른다고 설명하며, 표준편차-평균 좌표체계는 정규분포를 따르는 경우 유용하다. 금융론의 평균-분산 이론은 이 좌표체계를 활용하여 과거 데이터 분석을 통해 표본평균의 분포를 모델링한다.
-
Notion의 단점은 LaTex의 장점노션의 단점으로는 복잡한 하이퍼링크를 사용해야 하는 참고문헌 정리와 각주 작성이 있으며, 이를 해결하기 위해 테이블과 인라인 수식을 활용하여 마크다운으로 내보낼 수 있는 방법이 제시된다. 다양한 수식 예시도 포함되어 있다.