실습·구현
-
LLM에 RAG 기술 더하기대규모 언어 모델(LLM)과 RAG(검색 기반 생성) 기술의 결합은 응답 품질을 높이고 활용 범위를 확장합니다. RAG의 핵심 처리 흐름은 문서 불러오기, 청크 분할, 임베딩, 벡터 저장소, 검색, LLM을 통한 응답 생성으로 구성됩니다. LlamaIndex와 LangChain은 각각의 목적에 따라 선택할 수 있는 두 가지 주요 오픈소스 프레임워크로, 초보자는 LlamaIndex로 시작하여 기본 구조를 익힌 후 LangChain으로 복잡한 워크플로우를 확장하는 것이 추천됩니다.
-
data structure: Notion vs ObsidianNotion은 데이터베이스를 CSV 형식으로 내보내고, Markdown 파일로 내용을 저장하며, 다양한 형식의 파일을 가져올 수 있다. Obsidian은 플랫 파일 시스템을 사용하여 모든 파일을 Markdown 형식으로 저장하고, 여러 커뮤니티 플러그인을 통해 대량 데이터 관리를 지원한다. 효율적인 데이터 수집 및 정리를 위해 CSV 형식의 지시사항을 LLM에 입력하고, Obsidian에서 템플릿을 사용해 md 파일로 저장할 수 있다.
-
prompt: AI Prompt Engineering? 좋은 질문AI 시대에 경쟁력을 갖추기 위해서는 좋은 질문을 하는 능력이 중요하며, 이는 프롬프트 엔지니어링과 밀접한 관련이 있다. 효과적인 질문은 명확성, 구체성, 현실성, 창의성을 포함해야 하며, 예시를 통해 안 좋은 질문과 좋은 질문의 차이를 설명한다. 예를 들어, 원주율의 중요성을 탐구하는 질문은 깊은 사고를 유도하고 실생활의 활용 사례를 제시해야 한다.
-
HW: 반도체 원리, 분류, 파운드리시장반도체는 디지털 전자기기의 핵심 요소로, 전기적 특성에 따라 도체와 부도체 사이의 특성을 지닌다. 반도체는 메모리 반도체와 비메모리 반도체로 분류되며, 각각 데이터 저장 및 처리 기능을 수행한다. 메모리 반도체에는 NAND Flash, NOR Flash, DRAM, SRAM이 포함되고, 비메모리 반도체에는 CPU, GPU, TPU가 있다. 반도체 패키징은 칩을 보호하고 외부와 연결하며, 이종 집적 기술이 주목받고 있다. AI 처리에 특화된 반도체가 인기를 끌고 있으며, 삼성전자와 SK하이닉스가 메모리 반도체 시장을 주도하고 있다.
- 예시 코딩 - 평균효용 극대화 이론
평균 효용 극대화 이론은 불확실한 결과값에서 정량적 효용의 기대값을 계산하고, 위험 회피 성향에 따라 확실한 결과값을 산출하는 이론이다. CRRA 효용함수를 사용하여 기대효용과 위험 프리미엄을 계산하는 방법을 구현하는 파이썬 코드 예시가 포함되어 있다.
- 예시 차트 - QQ Plot
QQ Plot은 서로 다른 변수 x와 y의 분위수로 그린 그래프이며, 두 분포의 모양이 같은지와 통계적 x 분포가 이론적 정규분포와 유사한지를 판단하는 데 사용됩니다. x축은 이론적 정규분포의 백분위수 값, y축은 경험적 히스토그램의 백분위수 값을 나타냅니다.
- 예시 코딩 - Linear Model with Panel Data
패널 데이터 분석을 위한 선형 모델을 다루며, 기업의 투자 금액에 대한 비교를 포함합니다. 랜덤 효과 모델과 고정 효과 모델을 사용하여 현금 흐름과 토빈의 q가 투자에 미치는 영향을 분석합니다. 하우스만 검정을 통해 모델 선택을 결정하고, 클러스터 표준 오차를 사용하여 잔차의 의존성을 처리하는 방법도 설명합니다.
- 예시 차트 - 금융학에서의 ‘표준편차-평균 좌표체계’
확률변수는 확률 분포로 설명되며, 평균과 분산이 주요 특성을 나타낸다. 중심극한정리는 표본평균의 분포가 정규분포를 따른다고 설명하며, 표준편차-평균 좌표체계는 정규분포를 따르는 경우 유용하다. 금융론의 평균-분산 이론은 이 좌표체계를 활용하여 과거 데이터 분석을 통해 표본평균의 분포를 모델링한다.
- 예시 차트 - Sparklines Plot, Streamlit
Excel의 Sparklines 사용법을 시작으로, Google Sheets와 Seaborn, Pandas, Streamlit을 활용한 데이터 시각화 방법을 설명하며, 각 도구의 활용 예시와 링크를 제공한다. Streamlit 앱을 GitHub Codespaces에서 코딩하고 실행하는 방법도 포함되어 있다.
- video 제작 과정 예시
대규모 언어 모델과 멀티모달 AI의 발전으로 개인 창작자도 영상 제작의 전 과정을 자동화된 워크플로우로 구현할 수 있게 되었습니다. 영상 제작의 가치 사슬은 스토리 디자인, 시각적 정체성, 스토리보드 작성, 애니메이션 및 편집, 출력 및 배포의 단계로 구성됩니다. 브랜드 인식을 위한 스타일 매개변수로는 예술 스타일, 배경 설정, 캐릭터 유형, 카메라 구성, 패션 스타일 등이 있습니다.
-
IDE: Local 실습 (Python 실행 환경)Python 데이터를 분석하거나 자동화하기 위한 로컬 환경 설정 방법: VS Code 설치, Python Core 버전 설치, 프로젝트별 가상환경 생성, requirements.txt를 통한 패키지 설치, VS Code와의 연동 방법을 설명합니다. Jupyter Notebook과 Python Script의 차이점도 포함되어 있습니다.
-
MS Excel 사용기: 미국통화승수변화15년 만에 MS Excel을 사용해보니 여전히 불필요한 기능이 많지만, 차트 작성 시 Vertical line과 annotation 기능은 Google Sheets보다 우수하다고 느꼈다. M0와 M2, M1과 M2의 관계를 설명하며, M2의 속도 비율이 2020년부터 급락한 점을 언급했다.