Latest Articles
-
LLM Fine-tuning (LoRA 방식) 실습대규모 언어 모델(LLM)을 LoRA 방식으로 미세 조정하는 방법을 안내하며, 사전 학습 모델과 토크나이저 불러오기, 학습 데이터셋 준비, 모델 경량화, Trainer 설정 및 Fine-tuning 실행, 모델 저장, Ollama 실행용 모델 변환, 로컬 실행 예시를 포함합니다. 이를 통해 다양한 오픈소스 LLM을 효율적으로 배포할 수 있습니다.
-
Web App Full Stack 개발 기초프론트엔드는 사용자 인터페이스(UI)를 구축하며, HTML, CSS, JavaScript가 주요 언어로 사용된다. 백엔드는 데이터 처리와 서버 로직을 담당하며, Node.js, Python, Java, PHP, C# 등의 언어가 사용된다. API를 통해 프론트엔드와 백엔드 간의 데이터 통신이 이루어지며, RESTful API와 GraphQL이 주요 기술이다. 각 언어별로 다양한 프레임워크가 존재하여 개발 생산성을 높인다.
-
LLM에 RAG 기술 더하기대규모 언어 모델(LLM)과 RAG(검색 기반 생성) 기술의 결합은 응답 품질을 높이고 활용 범위를 확장합니다. RAG의 핵심 처리 흐름은 문서 불러오기, 청크 분할, 임베딩, 벡터 저장소, 검색, LLM을 통한 응답 생성으로 구성됩니다. LlamaIndex와 LangChain은 각각의 목적에 따라 선택할 수 있는 두 가지 주요 오픈소스 프레임워크로, 초보자는 LlamaIndex로 시작하여 기본 구조를 익힌 후 LangChain으로 복잡한 워크플로우를 확장하는 것이 추천됩니다.
-
data structure: Notion vs ObsidianNotion은 데이터베이스를 CSV 형식으로 내보내고, Markdown 파일로 내용을 저장하며, 다양한 형식의 파일을 가져올 수 있다. Obsidian은 플랫 파일 시스템을 사용하여 모든 파일을 Markdown 형식으로 저장하고, 여러 커뮤니티 플러그인을 통해 대량 데이터 관리를 지원한다. 효율적인 데이터 수집 및 정리를 위해 CSV 형식의 지시사항을 LLM에 입력하고, Obsidian에서 템플릿을 사용해 md 파일로 저장할 수 있다.
-
prompt: AI Prompt Engineering? 좋은 질문AI 시대에 경쟁력을 갖추기 위해서는 좋은 질문을 하는 능력이 중요하며, 이는 프롬프트 엔지니어링과 밀접한 관련이 있다. 효과적인 질문은 명확성, 구체성, 현실성, 창의성을 포함해야 하며, 예시를 통해 안 좋은 질문과 좋은 질문의 차이를 설명한다. 예를 들어, 원주율의 중요성을 탐구하는 질문은 깊은 사고를 유도하고 실생활의 활용 사례를 제시해야 한다.
-
정량·정성 데이터 시각화 도구 추천정량적 데이터 시각화 도구로는 Sheet/Excel, Flourish/Tableau, Plotly, ECharts가 있으며, 각각의 라이선스, 작성 방식, 학습 난이도, 추천 사용자, 시각화 유형, 상호작용 정도가 다릅니다. 정성적 데이터 시각화 도구로는 Napkin.ai, LLM Canvas/Mindmap, Mermaid가 있으며, 이들 또한 작성 방식, 학습 난이도, 추천 사용자, 주요 용도, 출력 포맷에서 차이를 보입니다.
- HW: 반도체 원리, 분류, 파운드리시장
반도체는 디지털 전자기기의 핵심 요소로, 전기적 특성에 따라 도체와 부도체 사이의 특성을 지닌다. 반도체는 메모리 반도체와 비메모리 반도체로 분류되며, 각각 데이터 저장 및 처리 기능을 수행한다. 메모리 반도체에는 NAND Flash, NOR Flash, DRAM, SRAM이 포함되고, 비메모리 반도체에는 CPU, GPU, TPU가 있다. 반도체 패키징은 칩을 보호하고 외부와 연결하며, 이종 집적 기술이 주목받고 있다. AI 처리에 특화된 반도체가 인기를 끌고 있으며, 삼성전자와 SK하이닉스가 메모리 반도체 시장을 주도하고 있다.
- 예시 코딩 - 평균효용 극대화 이론
평균 효용 극대화 이론은 불확실한 결과값에서 정량적 효용의 기대값을 계산하고, 위험 회피 성향에 따라 확실한 결과값을 산출하는 이론이다. CRRA 효용함수를 사용하여 기대효용과 위험 프리미엄을 계산하는 방법을 구현하는 파이썬 코드 예시가 포함되어 있다.
- 예시 차트 - QQ Plot
QQ Plot은 서로 다른 변수 x와 y의 분위수로 그린 그래프이며, 두 분포의 모양이 같은지와 통계적 x 분포가 이론적 정규분포와 유사한지를 판단하는 데 사용됩니다. x축은 이론적 정규분포의 백분위수 값, y축은 경험적 히스토그램의 백분위수 값을 나타냅니다.
- 예시 코딩 - Linear Model with Panel Data
패널 데이터 분석을 위한 선형 모델을 다루며, 기업의 투자 금액에 대한 비교를 포함합니다. 랜덤 효과 모델과 고정 효과 모델을 사용하여 현금 흐름과 토빈의 q가 투자에 미치는 영향을 분석합니다. 하우스만 검정을 통해 모델 선택을 결정하고, 클러스터 표준 오차를 사용하여 잔차의 의존성을 처리하는 방법도 설명합니다.
- 예시 차트 - 금융학에서의 ‘표준편차-평균 좌표체계’
확률변수는 확률 분포로 설명되며, 평균과 분산이 주요 특성을 나타낸다. 중심극한정리는 표본평균의 분포가 정규분포를 따른다고 설명하며, 표준편차-평균 좌표체계는 정규분포를 따르는 경우 유용하다. 금융론의 평균-분산 이론은 이 좌표체계를 활용하여 과거 데이터 분석을 통해 표본평균의 분포를 모델링한다.
- 예시 차트 - Sparklines Plot, Streamlit
Excel의 Sparklines 사용법을 시작으로, Google Sheets와 Seaborn, Pandas, Streamlit을 활용한 데이터 시각화 방법을 설명하며, 각 도구의 활용 예시와 링크를 제공한다. Streamlit 앱을 GitHub Codespaces에서 코딩하고 실행하는 방법도 포함되어 있다.
-
IDE: Local 실습 (Python 실행 환경)Python 데이터를 분석하거나 자동화하기 위한 로컬 환경 설정 방법: VS Code 설치, Python Core 버전 설치, 프로젝트별 가상환경 생성, requirements.txt를 통한 패키지 설치, VS Code와의 연동 방법을 설명합니다. Jupyter Notebook과 Python Script의 차이점도 포함되어 있습니다.
-
IDE: Cloud IDE 비교 (Python 실행 환경)Google Colab, MS GitHub Codespaces, Amazon SageMaker Studio Lab, 및 ChatGPT Canvas의 Python 실행 환경 비교: 각 서비스의 성격, 사용자 대상, 기본 환경, 연산 자원, RAM/스토리지, 라이브러리 설치 가능성, Git 연동, 강점 및 제한 사항을 정리하여 추천 용도를 제시합니다.
-
Notion의 단점은 LaTex의 장점노션의 단점으로는 복잡한 하이퍼링크를 사용해야 하는 참고문헌 정리와 각주 작성이 있으며, 이를 해결하기 위해 테이블과 인라인 수식을 활용하여 마크다운으로 내보낼 수 있는 방법이 제시된다. 다양한 수식 예시도 포함되어 있다.