반응형 전체 글83 Chain-of-Tools: LLM이 처음 보는 도구도 척척 활용하는 기술 (Chain-of-Tools: Utilizing Massive Unseen Tools in the CoT Reasoning of Frozen Language Models) 한눈에 보는 Chain-of-ToolsChain-of-Tools(CoTools)는 대규모 언어 모델(LLM)이 학습하지 않은 도구까지 자유롭게 활용할 수 있게 하는 혁신적인 방법입니다. 기존의 도구 학습 방식과 달리, 언어 모델을 동결(frozen)한 상태로 유지하면서도 수천 개의 다양한 도구를 효과적으로 선택하고 활용할 수 있는 기술입니다. 마치 처음 보는 앱이나 웹사이트를 직관적으로 사용할 수 있는 것처럼, Chain-of-Tools는 LLM이 처음 접하는 도구도 그 설명만 보고 적절하게 활용할 수 있게 해줍니다. 더 나아가 이 기술은 LLM의 본래 추론 능력을 해치지 않으면서도 외부 도구의 힘을 빌릴 수 있게 하는 균형을 실현했습니다.왜 Chain-of-Tools가 중요한가?최근 다양한 외부 도구와.. 2025. 3. 26. DNN 회귀 모델 스크레치 구현 및 역전파 완전 정리로 빠르게 복습하기 1. 개요본 글에서는 Python으로 딥러닝 기반 회귀 모델을 스크래치로 구현하고, 역전파 과정에서 발생하는 수식을 체계적으로 정리한다. 특히, 체인룰(Chain Rule)에 따라 손실 함수, 출력층 및 은닉층에서의 기울기 계산이 어떤 논리로 이루어지는지 명확히 설명한다. 가중치와 편향의 미분이 어떻게 전개되는지, 행렬 미분에서 전치 연산이 필요한 이유를 포함해 완벽하게 이해하는 것을 목표로 한다.2. 회귀 모델 구조 및 데이터 생성기본적인 회귀 문제는 다음과 같은 3차 다항식을 따르는 데이터셋을 생성하는 것으로 시작한다.import numpy as npimport matplotlib.pyplot as plt# 데이터 생성np.random.seed(42)X = np.random.rand(100, 1) *.. 2025. 3. 24. ETF 괴리율이 다음날 시가, 종가에 미치는 영향 분석 ETF 투자를 하다 보면 괴리율이라는 개념을 자주 접하게 됩니다. 괴리율은 ETF의 시장 가격이 실제 순자산가치(NAV)와 얼마나 차이가 나는지를 나타내는 지표입니다. 괴리율이 크면 ETF의 시장 가격이 과대 혹은 과소평가되고 있을 가능성이 있기 때문에, 괴리율이 높은 상황에서의 수익률을 분석하면 매매 전략에 도움이 될 수 있습니다. 이번 포스트에서는 KODEX 200 ETF의 괴리율을 계산하고, 괴리율이 다음날의 수익률(시가 및 종가)에 미치는 영향을 분석해 보겠습니다.🎯 분석 목표KODEX 200 ETF의 시가와 NAV를 이용해 괴리율을 계산합니다.괴리율이 다음날 시가 및 종가에 미치는 영향을 수익률을 통해 분석합니다.괴리율과 수익률 간의 상관관계 및 회귀 분석을 통해 의미 있는 패턴을 도출합니다... 2025. 3. 22. ETF 가격 예측을 위한 이미지 기반 딥러닝 리뷰 및 구현 (Interpretable image-based deep learning for price trend prediction in ETF markets 논문 요약) Interpretable Image-Based Deep Learning for Price Trend Prediction in ETF Markets위의 논문은 금융 시계열 데이터를 이미지로 변환하고 이를 CNN(합성곱 신경망)에서 처리하는 방식을 통해 주식 가격 추세를 예측합니다.이미지로 변환한 데이터에는 캔들스틱 차트와 Gramian Angular Field (GAF)가 포함됩니다.논문에서 제안된 모델은 기존의 CNN 구조에 Channel & Spatial Attention (CS-ACNN)을 도입해 성능을 극대화합니다.저는 논문의 구조를 바탕으로 PyTorch로 직접 모델을 구현하고, 실제 KOSPI 데이터를 바탕으로 훈련하고 시뮬레이션까지 수행해 보았습니다.✅ 문제 정의 및 연구 동기기존의 주식 가격.. 2025. 3. 22. LPPLS 기반 시계열 예측 모델 연구 및 구현 (Deep LPPLS 논문 요약 + 딥러닝으로 국면 전환 예측) 시계열 데이터에서 임계점(critical point)을 예측하기 위한 새로운 딥러닝 기반 접근법을 소개하려 합니다. 주제는 바로 "Deep LPPLS: Forecasting of Temporal Critical Points in Natural, Engineering and Financial Systems" 논문에서 제안한 모델입니다. 특히 주식 시장에서 거품(bubble)이 발생하거나 급등락이 나타나는 시점을 미리 포착하고 예측하는 데 유용합니다. 이 논문에서는 기존의 Levenberg-Marquardt (LM) 기법의 한계를 극복하기 위해 Mono-LPPLS-NN (M-LNN) 과 Poly-LPPLS-NN (P-LNN) 이라는 두 가지 신경망 기반 모델을 제안합니다. 또한, 이 논문을 바탕으로 실제 K.. 2025. 3. 22. [QUANT] 주가 예측 논문: Accurate Multivariate Stock Movement Prediction via Data-Axis 1. 논문 개요"Accurate Multivariate Stock Movement Prediction via Data-Axis Transformer with Multi-Level Contexts" (DTML)는 주식 가격의 상승/하락을 예측하는 모델로, Transformer를 활용해 주식 간 동적/비대칭 상관관계를 학습합니다. 기존 모델이 개별 주식만 보거나 고정된 섹터 정보를 썼다면, DTML은 end-to-end 방식으로 상관관계를 자동 추출합니다.목표: 다변량 주식 데이터를 활용해 정확한 움직임 예측.데이터셋: US(ACL18, KDD17, NDX100), China(CSI300), Japan(NI225), UK(FTSE100).성과: SOTA 달성(최대 ACC 57.44%, MCC 19.10%),.. 2025. 3. 20. [DL] Transformer 코드로 공부하기 Transformer를 코드로 이해해보기 위해 작성한 포스팅이다.파이토치에 이미 nn.Transformer로 구현되어있지만사용하지 않고 직접 Pytorch Layer들로 구현하고자 한다.학습 데이터한국어 챗봇 훈련용 대화 데이터셋으로자주 사용되는 ChatbotData.csv를학습용 데이터로 사용하고자 한다.import urllib.requestimport pandas as pdurllib.request.urlretrieve("https://raw.githubusercontent.com/songys/Chatbot_data/master/ChatbotData.csv", filename="ChatBotData.csv")data_df = pd.read_csv('ChatBotData.csv')data_df.head.. 2025. 3. 15. 정보량, 엔트로피, KL 다이버전스, 크로스 엔트로피의 연결 관계 1. 정보량(Information)과 확률의 관계정보량이란?정보이론에서 정보(Information)란, 예측하기 어려운 사건이 발생할 때 얻을 수 있는 것을 의미합니다.정보량 공식우리는 어떤 사건이 발생했을 때, 그 사건이 얼마나 "놀라운지"에 따라 정보량을 측정할 수 있습니다.🎲 예제: 주사위 던지기공정한 주사위를 던졌을 때, 특정 숫자가 나올 확률은 1/6.조작된 주사위라면 특정 숫자가 나올 확률이 90%일 수도 있음.✅ 확률이 낮은 사건이 발생하면 더 많은 정보를 줍니다.✅ 확률이 높은 사건은 이미 예측 가능하므로 정보가 적습니다.이를 수식으로 표현하면:정보량(I) = -log(p)확률 p가 클수록 I 값은 작아짐 → 정보량이 적음확률 p가 작을수록 I 값은 커짐 → 정보량이 많음사건확률 (p)정.. 2025. 2. 20. 왜 정보량(Information Content)은 로그(log)를 씌울까? 정보이론에서 정보량(Information Content)은 다음과 같이 정의됩니다.I(x) = - log(pᵢ) 즉, 어떤 사건의 확률 pᵢ에 로그를 씌운 후, 부호를 바꾼 값이 정보량이 됩니다.그렇다면, 왜 로그를 사용할까요?이를 직관적 이유 + 수학적 이유로 나누어 설명하겠습니다.🔹 1. 직관적 이유: 곱셈을 덧셈으로 변환정보량의 핵심 원칙: 독립적인 사건이 발생할 때, 정보량은 "더할 수 있어야" 합니다.🎲 예제 1: 동전을 두 번 던지는 경우한 번 던질 때 앞면이 나올 확률 → P(H) = 1/2두 번 던져서 모두 앞면이 나올 확률 → P(HH) = 1/2 × 1/2 = 1/4이때, 정보량 I(HH)는 다음과 같이 계산해야 합니다.I(HH) = I(H) + I(H) 즉, 확률이 곱해질 때, 정.. 2025. 2. 20. AI가 추천해주는 과일 백화점 (사과) [쿠팡! | 곰곰 세척 사과] 가격 : 21,520원 (1kg 표준 가격 : 10,760원) 상품평 : 140,419 당도 : 12 brix https://link.coupang.com/a/bbABsz 곰곰 세척 사과 COUPANG www.coupang.com 리뷰 요약 긍정 리뷰 - 낱개 포장으로 소분하기 편해서 편리하다. - 세척이 되어 있어 따로 물로 헹구지 않아도 되고 간편하다. - 사과 품질이 좋고 크기도 커서 포만감이 빨리 온다. - 단맛과 사과 특유의 신맛이 잘 어우러져 맛도 좋다. - 냉장고에 툭툭 넣어두고 필요할 때 꺼내 먹을 수 있어 아침에 바쁜 직장인들에게 좋다. - 품질, 만족도, 가성비 모두 5점으로 높은 평가를 받았다. 부정 리뷰 - 가격이 일반적인 사과보다 높다. - 세척이 되.. 2023. 10. 6. 이전 1 2 3 4 ··· 9 다음 반응형
