반응형 전체 글85 35년치 뉴스 분류기 개발기 (2): A100의 I/O 병목과 54%의 배신 (시계열 드리프트) 1편에서는 프로젝트의 목표를 수립하고,훈련을 방해하던 치명적인 CUDA Assert Error(max_length=512)와 AttributeError(시각화 오타) 등의초기 버그를 모두 해결했습니다. 그리고 본격적으로 학습을 진행했는데A100에서 본격적으로 실행하자마자 '뭘 해도 1시간 46분'이라는 두 번째 벽에 부딪혔습니다. 이번엔 A100 GPU의 한계 성능을 끌어내는 최적화 과정과,그렇게 훈련된 모델의 충격적인 '과거 데이터' 성능 분석을 기록합니다.1. 🚀 [로그 1] A100 최적화: "뭘 해도 1시간 46분"A100(80GB VRAM)이라는 머신을 할당받았음에도, 훈련 속도가 기대만큼 나오지 않았습니다.[훈련 1차] (1시간 46분 소요)증상: A100 GPU임에도 VRAM을 15GB/8.. 2025. 11. 8. 35년치 뉴스 데이터 분류기 개발기 (1): 30개 라벨을 6개로, 그리고 첫 번째 CUDA Assert 삽질기 5년치(1990-2025)에 달하는 방대한 뉴스 데이터를 분류하는 AI 모델을 개발하는전 과정을 기록하는 기술 보고서의 첫 번째 편입니다.1. 🚀 프로젝트의 시작: 30개의 라벨과 2개의 질문모든 프로젝트는 '왜?'라는 질문에서 시작합니다. 우리가 가진 combined_articles.parquet 데이터는 수십만 건에 달하지만, 그대로 사용하기엔 두 가지 큰 문제가 있었습니다.라벨 문제 (Complication 1): sector1 라벨이 30개가 넘었습니다. '경제', '부동산', '머니랩'이 섞여있고, '피플', '세상과 함께' 등 기준이 모호한 라벨도 많았습니다.시계열 문제 (Complication 2): 데이터가 1990년부터 2025년까지 분포해, 시대별로 사용하는 용어, 문체, 토픽이 완전.. 2025. 11. 8. Chain-of-Tools: LLM이 처음 보는 도구도 척척 활용하는 기술 (Chain-of-Tools: Utilizing Massive Unseen Tools in the CoT Reasoning of Frozen Language Models) 한눈에 보는 Chain-of-ToolsChain-of-Tools(CoTools)는 대규모 언어 모델(LLM)이 학습하지 않은 도구까지 자유롭게 활용할 수 있게 하는 혁신적인 방법입니다. 기존의 도구 학습 방식과 달리, 언어 모델을 동결(frozen)한 상태로 유지하면서도 수천 개의 다양한 도구를 효과적으로 선택하고 활용할 수 있는 기술입니다. 마치 처음 보는 앱이나 웹사이트를 직관적으로 사용할 수 있는 것처럼, Chain-of-Tools는 LLM이 처음 접하는 도구도 그 설명만 보고 적절하게 활용할 수 있게 해줍니다. 더 나아가 이 기술은 LLM의 본래 추론 능력을 해치지 않으면서도 외부 도구의 힘을 빌릴 수 있게 하는 균형을 실현했습니다.왜 Chain-of-Tools가 중요한가?최근 다양한 외부 도구와.. 2025. 3. 26. DNN 회귀 모델 스크레치 구현 및 역전파 완전 정리로 빠르게 복습하기 1. 개요본 글에서는 Python으로 딥러닝 기반 회귀 모델을 스크래치로 구현하고, 역전파 과정에서 발생하는 수식을 체계적으로 정리한다. 특히, 체인룰(Chain Rule)에 따라 손실 함수, 출력층 및 은닉층에서의 기울기 계산이 어떤 논리로 이루어지는지 명확히 설명한다. 가중치와 편향의 미분이 어떻게 전개되는지, 행렬 미분에서 전치 연산이 필요한 이유를 포함해 완벽하게 이해하는 것을 목표로 한다.2. 회귀 모델 구조 및 데이터 생성기본적인 회귀 문제는 다음과 같은 3차 다항식을 따르는 데이터셋을 생성하는 것으로 시작한다.import numpy as npimport matplotlib.pyplot as plt# 데이터 생성np.random.seed(42)X = np.random.rand(100, 1) *.. 2025. 3. 24. ETF 괴리율이 다음날 시가, 종가에 미치는 영향 분석 ETF 투자를 하다 보면 괴리율이라는 개념을 자주 접하게 됩니다. 괴리율은 ETF의 시장 가격이 실제 순자산가치(NAV)와 얼마나 차이가 나는지를 나타내는 지표입니다. 괴리율이 크면 ETF의 시장 가격이 과대 혹은 과소평가되고 있을 가능성이 있기 때문에, 괴리율이 높은 상황에서의 수익률을 분석하면 매매 전략에 도움이 될 수 있습니다. 이번 포스트에서는 KODEX 200 ETF의 괴리율을 계산하고, 괴리율이 다음날의 수익률(시가 및 종가)에 미치는 영향을 분석해 보겠습니다.🎯 분석 목표KODEX 200 ETF의 시가와 NAV를 이용해 괴리율을 계산합니다.괴리율이 다음날 시가 및 종가에 미치는 영향을 수익률을 통해 분석합니다.괴리율과 수익률 간의 상관관계 및 회귀 분석을 통해 의미 있는 패턴을 도출합니다... 2025. 3. 22. ETF 가격 예측을 위한 이미지 기반 딥러닝 리뷰 및 구현 (Interpretable image-based deep learning for price trend prediction in ETF markets 논문 요약) Interpretable Image-Based Deep Learning for Price Trend Prediction in ETF Markets위의 논문은 금융 시계열 데이터를 이미지로 변환하고 이를 CNN(합성곱 신경망)에서 처리하는 방식을 통해 주식 가격 추세를 예측합니다.이미지로 변환한 데이터에는 캔들스틱 차트와 Gramian Angular Field (GAF)가 포함됩니다.논문에서 제안된 모델은 기존의 CNN 구조에 Channel & Spatial Attention (CS-ACNN)을 도입해 성능을 극대화합니다.저는 논문의 구조를 바탕으로 PyTorch로 직접 모델을 구현하고, 실제 KOSPI 데이터를 바탕으로 훈련하고 시뮬레이션까지 수행해 보았습니다.✅ 문제 정의 및 연구 동기기존의 주식 가격.. 2025. 3. 22. LPPLS 기반 시계열 예측 모델 연구 및 구현 (Deep LPPLS 논문 요약 + 딥러닝으로 국면 전환 예측) 시계열 데이터에서 임계점(critical point)을 예측하기 위한 새로운 딥러닝 기반 접근법을 소개하려 합니다. 주제는 바로 "Deep LPPLS: Forecasting of Temporal Critical Points in Natural, Engineering and Financial Systems" 논문에서 제안한 모델입니다. 특히 주식 시장에서 거품(bubble)이 발생하거나 급등락이 나타나는 시점을 미리 포착하고 예측하는 데 유용합니다. 이 논문에서는 기존의 Levenberg-Marquardt (LM) 기법의 한계를 극복하기 위해 Mono-LPPLS-NN (M-LNN) 과 Poly-LPPLS-NN (P-LNN) 이라는 두 가지 신경망 기반 모델을 제안합니다. 또한, 이 논문을 바탕으로 실제 K.. 2025. 3. 22. [QUANT] 주가 예측 논문: Accurate Multivariate Stock Movement Prediction via Data-Axis 1. 논문 개요"Accurate Multivariate Stock Movement Prediction via Data-Axis Transformer with Multi-Level Contexts" (DTML)는 주식 가격의 상승/하락을 예측하는 모델로, Transformer를 활용해 주식 간 동적/비대칭 상관관계를 학습합니다. 기존 모델이 개별 주식만 보거나 고정된 섹터 정보를 썼다면, DTML은 end-to-end 방식으로 상관관계를 자동 추출합니다.목표: 다변량 주식 데이터를 활용해 정확한 움직임 예측.데이터셋: US(ACL18, KDD17, NDX100), China(CSI300), Japan(NI225), UK(FTSE100).성과: SOTA 달성(최대 ACC 57.44%, MCC 19.10%),.. 2025. 3. 20. [DL] Transformer 코드로 공부하기 Transformer를 코드로 이해해보기 위해 작성한 포스팅이다.파이토치에 이미 nn.Transformer로 구현되어있지만사용하지 않고 직접 Pytorch Layer들로 구현하고자 한다.학습 데이터한국어 챗봇 훈련용 대화 데이터셋으로자주 사용되는 ChatbotData.csv를학습용 데이터로 사용하고자 한다.import urllib.requestimport pandas as pdurllib.request.urlretrieve("https://raw.githubusercontent.com/songys/Chatbot_data/master/ChatbotData.csv", filename="ChatBotData.csv")data_df = pd.read_csv('ChatBotData.csv')data_df.head.. 2025. 3. 15. 정보량, 엔트로피, KL 다이버전스, 크로스 엔트로피의 연결 관계 1. 정보량(Information)과 확률의 관계정보량이란?정보이론에서 정보(Information)란, 예측하기 어려운 사건이 발생할 때 얻을 수 있는 것을 의미합니다.정보량 공식우리는 어떤 사건이 발생했을 때, 그 사건이 얼마나 "놀라운지"에 따라 정보량을 측정할 수 있습니다.🎲 예제: 주사위 던지기공정한 주사위를 던졌을 때, 특정 숫자가 나올 확률은 1/6.조작된 주사위라면 특정 숫자가 나올 확률이 90%일 수도 있음.✅ 확률이 낮은 사건이 발생하면 더 많은 정보를 줍니다.✅ 확률이 높은 사건은 이미 예측 가능하므로 정보가 적습니다.이를 수식으로 표현하면:정보량(I) = -log(p)확률 p가 클수록 I 값은 작아짐 → 정보량이 적음확률 p가 작을수록 I 값은 커짐 → 정보량이 많음사건확률 (p)정.. 2025. 2. 20. 이전 1 2 3 4 ··· 9 다음 반응형
