반응형 AI5 Chain-of-Tools: LLM이 처음 보는 도구도 척척 활용하는 기술 (Chain-of-Tools: Utilizing Massive Unseen Tools in the CoT Reasoning of Frozen Language Models) 한눈에 보는 Chain-of-ToolsChain-of-Tools(CoTools)는 대규모 언어 모델(LLM)이 학습하지 않은 도구까지 자유롭게 활용할 수 있게 하는 혁신적인 방법입니다. 기존의 도구 학습 방식과 달리, 언어 모델을 동결(frozen)한 상태로 유지하면서도 수천 개의 다양한 도구를 효과적으로 선택하고 활용할 수 있는 기술입니다. 마치 처음 보는 앱이나 웹사이트를 직관적으로 사용할 수 있는 것처럼, Chain-of-Tools는 LLM이 처음 접하는 도구도 그 설명만 보고 적절하게 활용할 수 있게 해줍니다. 더 나아가 이 기술은 LLM의 본래 추론 능력을 해치지 않으면서도 외부 도구의 힘을 빌릴 수 있게 하는 균형을 실현했습니다.왜 Chain-of-Tools가 중요한가?최근 다양한 외부 도구와.. 2025. 3. 26. DNN 회귀 모델 스크레치 구현 및 역전파 완전 정리로 빠르게 복습하기 1. 개요본 글에서는 Python으로 딥러닝 기반 회귀 모델을 스크래치로 구현하고, 역전파 과정에서 발생하는 수식을 체계적으로 정리한다. 특히, 체인룰(Chain Rule)에 따라 손실 함수, 출력층 및 은닉층에서의 기울기 계산이 어떤 논리로 이루어지는지 명확히 설명한다. 가중치와 편향의 미분이 어떻게 전개되는지, 행렬 미분에서 전치 연산이 필요한 이유를 포함해 완벽하게 이해하는 것을 목표로 한다.2. 회귀 모델 구조 및 데이터 생성기본적인 회귀 문제는 다음과 같은 3차 다항식을 따르는 데이터셋을 생성하는 것으로 시작한다.import numpy as npimport matplotlib.pyplot as plt# 데이터 생성np.random.seed(42)X = np.random.rand(100, 1) *.. 2025. 3. 24. [DL] Transformer 코드로 공부하기 Transformer를 코드로 이해해보기 위해 작성한 포스팅이다.파이토치에 이미 nn.Transformer로 구현되어있지만사용하지 않고 직접 Pytorch Layer들로 구현하고자 한다.학습 데이터한국어 챗봇 훈련용 대화 데이터셋으로자주 사용되는 ChatbotData.csv를학습용 데이터로 사용하고자 한다.import urllib.requestimport pandas as pdurllib.request.urlretrieve("https://raw.githubusercontent.com/songys/Chatbot_data/master/ChatbotData.csv", filename="ChatBotData.csv")data_df = pd.read_csv('ChatBotData.csv')data_df.head.. 2025. 3. 15. 정보량, 엔트로피, KL 다이버전스, 크로스 엔트로피의 연결 관계 1. 정보량(Information)과 확률의 관계정보량이란?정보이론에서 정보(Information)란, 예측하기 어려운 사건이 발생할 때 얻을 수 있는 것을 의미합니다.정보량 공식우리는 어떤 사건이 발생했을 때, 그 사건이 얼마나 "놀라운지"에 따라 정보량을 측정할 수 있습니다.🎲 예제: 주사위 던지기공정한 주사위를 던졌을 때, 특정 숫자가 나올 확률은 1/6.조작된 주사위라면 특정 숫자가 나올 확률이 90%일 수도 있음.✅ 확률이 낮은 사건이 발생하면 더 많은 정보를 줍니다.✅ 확률이 높은 사건은 이미 예측 가능하므로 정보가 적습니다.이를 수식으로 표현하면:정보량(I) = -log(p)확률 p가 클수록 I 값은 작아짐 → 정보량이 적음확률 p가 작을수록 I 값은 커짐 → 정보량이 많음사건확률 (p)정.. 2025. 2. 20. 왜 정보량(Information Content)은 로그(log)를 씌울까? 정보이론에서 정보량(Information Content)은 다음과 같이 정의됩니다.I(x) = - log(pᵢ) 즉, 어떤 사건의 확률 pᵢ에 로그를 씌운 후, 부호를 바꾼 값이 정보량이 됩니다.그렇다면, 왜 로그를 사용할까요?이를 직관적 이유 + 수학적 이유로 나누어 설명하겠습니다.🔹 1. 직관적 이유: 곱셈을 덧셈으로 변환정보량의 핵심 원칙: 독립적인 사건이 발생할 때, 정보량은 "더할 수 있어야" 합니다.🎲 예제 1: 동전을 두 번 던지는 경우한 번 던질 때 앞면이 나올 확률 → P(H) = 1/2두 번 던져서 모두 앞면이 나올 확률 → P(HH) = 1/2 × 1/2 = 1/4이때, 정보량 I(HH)는 다음과 같이 계산해야 합니다.I(HH) = I(H) + I(H) 즉, 확률이 곱해질 때, 정.. 2025. 2. 20. 이전 1 다음 반응형
