티스토리

Today, I will

검색하기

블로그 홈

Today, I will

flyduckdev.tistory.com/m

Lv.Forest 님의 블로그입니다.

구독자: 3

방명록 방문하기

주요 글 목록

RAG 기반 Chat PDF 챗봇 만들기 | LangChain, Cohere, OpenAI API로 나만의 문서 질문 시스템 만들기 안녕하세요! 오늘은 업로드한 PDF 파일 내용을 바탕으로 실시간으로 질문에 답변해주는 AI 챗봇을 직접 만들어봅니다! LangChain + Cohere Rerank + OpenAI Embedding의 조합으로 RAG 기반의 스마트한 검색 시스템을 구현해보도록 합니다. 이 글에서 다룰 내용RAG란 무엇인가?PDF 기반 질문-응답 시스템의 구조LangChain으로 벡터 검색 + LLM 연결하기전체 코드 분석과 주석실전 활용 팁 & 트러블슈팅RAG란?RAG는 Retrieval-Augmented Generation의 줄임말로,"검색 기반 생성"을 의미합니다.보통 LLM은 사전학습된 정보만을 기반으로 답변하지만,RAG는 외부 문서를 검색하여 관련 정보를 추출하고,그걸 바탕으로 답변을 생성합니다.📦 RAG의 구.. 공감수 2 댓글수 1 2025. 5. 1.
[Rag, OpenAI] 웹로더 기반 크롤링 챗봇 구축하기 (LangChain + OpenAI + Streamlit) 웹링크와 GPT와 LangChain을 활용해 RAG 기반 대화형 챗봇을 만들어보았습니다.웹링크를 통해 간단해 웹 단면을 크롤링하고 그에 대한 정보에 대해 물어볼 수 있어 유용합니다.맛집정보 웹사이트인 http://www.menupan.com/를 활용해보도록 합니다. 📁 1. 주피터 노트북 준비!pip install beautifulsoup4 from langchain.prompts import PromptTemplatefrom langchain_openai import ChatOpenAIfrom langchain_community.document_loaders import WebBaseLoaderfrom langchain_openai import OpenAIEmbeddingsfrom langchain.. 공감수 3 댓글수 1 2025. 4. 30.
[Rag, OpenAI] RAG 기반 피터래빗이야기 챗봇 구축하기 (LangChain + OpenAI + Streamlit) 피터래빗이야기 PDF 파일을 기반으로, GPT와 LangChain을 활용해 RAG 기반 대화형 챗봇을 만들어보았습니다. 📁 1. PDF 파일 준비먼저 프로젝트 루트 디렉토리 아래에 `pdf` 폴더를 만들고, 여기에 오만과 편견 PDF 파일을 넣어줍니다:project/ └── pdf/ └── 파일명.pdf🧠 2. GPT 처리 모듈: `gpt_proc.py`# gpt_proc.pyfrom langchain.prompts import PromptTemplatefrom langchain_openai import ChatOpenAIfrom langchain_community.document_loaders import PyPDFLoaderfrom langchain_openai import OpenAIEm.. 공감수 0 댓글수 0 2025. 4. 30.
[Rag, OpenAI] RAG 기반 오만과 편견 챗봇 구축하기 (LangChain + OpenAI + Streamlit) Jane Austen의 Pride and Prejudice PDF 파일을 기반으로, GPT와 LangChain을 활용해 RAG 기반 대화형 챗봇을 만들어보았습니다.📁 1. PDF 파일 준비project/ └── pdf/ └── Pride_and_Prejudice.pdf 먼저 프로젝트 루트 디렉토리 아래에 `pdf` 폴더를 만들고, 여기에 오만과 편견 PDF 파일을 넣어줍니다:🧠 2. GPT 처리 모듈: `gpt_proc.py`# gpt_proc.pyfrom langchain.prompts import PromptTemplatefrom langchain_openai import ChatOpenAI, OpenAIEmbeddingsfrom langchain.document_loaders im.. 공감수 0 댓글수 0 2025. 4. 30.
Naive RAG, 라마인덱스 간단 구성 1. from llama_index.core.settings import Settings Settings는 RAG 시스템을 돌리기 위한 기본 도구상자 세트(글 쪼개기, AI모델 연결하기, 글자수 조절하기, 에러관리까지 다 설정할 수 있어!) from llama_index.core.settings import Settings 아래와 같이 글로벌한 설정이 가능하다.Settings.# RAG 파이프라인 글로벌 설정Settings.embed_model = OpenAIEmbedding( model="text-embedding-3-small")Settings.llm=OpenAI(model='gpt-3.5-turbo',temperature=0)Settings 안에 있는 속성들의 역할 정리항목 역할chunk_si.. 공감수 0 댓글수 0 2025. 4. 28.
[Linux] 자주 쓰이는 리눅스 명령어 모음 🧠 리눅스 자주 쓰는 명령어 모음NixOS, Ubuntu, WSL 어디서든 쓸 수 있는 실전 명령어 모음리눅스 명령어들은 리눅스 시스템 사용 시 매우 유용하며, Ubuntu, NixOS를 포함한 대부분의 리눅스 배포판에서 사용할 수 있습니다.따라서, 리눅스 터미널에 익숙해지면 다양한 운영체제에서의 작업이 훨씬 빠르고 유연해집니다.아래는 제가 실제로 자주 사용하는 명령어들을 용도별로 정리한 리스트입니다. 다만, Mac의 경우는 기본으로 없거나동작 방식이 다르거나, Homebrew 등으로 설치가 필요한 명령어가 있습니다.macOS에서 기본적으로 없는 명령어 / 설치가 필요한 명령어htop❌ 없음 (설치 필요)brew install htop 필요wget❌ 없음 (설치 필요)기본 없음. brew install.. 공감수 0 댓글수 0 2025. 4. 18.
[Linux, nixOS] NixOS에서 한글(Hangul) 입력 설정하기 NixOS에서 한글 입력을 위해 필요한 설정 과정입니다:1. 필요한 패키지 설치 및 설정cd /etc/nixos/sudo nano /etc/nixos/configuration.nix# /etc/nixos/configuration.nix 파일 수정, 수정한 부분은 아래와 같습니다. # Configure keymap in X11 services.xserver.xkb = { layout = "kr"; variant = "kr104"; }; i18n.inputMethod = { enabled = null; # IBus 입력기 프레임워크 활성화\ type = "ibus"; enable = true; ibus.engines = with pkgs.ibus-engines; [ .. 공감수 0 댓글수 0 2025. 4. 18.
[streamlit] 스트림릿 기초 ui부터 텍스트 및 이미지 서버 저장, Pandas를 통한 디비 시각화까지 다양한 실습 예제 안녕하세요. 오늘은 스트림릿 기초 문법들을 살펴보도록 하겠습니다.# pypi# streamlit run 15Test.py import streamlit as stwith st.form('form'): chk1 = st.checkbox('낚시') chk2 = st.checkbox('골프') chk3 = st.checkbox('영화') submit = st.form_submit_button('확인') if submit: if chk1: st.write('낚시선택') if chk2: st.write('골프선택') if chk3: st.write('영화선택')form의 경우,form이 아닌.. 공감수 1 댓글수 0 2025. 4. 16.
[Ubutu, Cursor] Ubuntu에서 Cursor (AI 코드 어시스턴트) 설치하기 🧠 Ubuntu에서 Cursor (AI 코드 어시스턴트) 설치하기 가이드GPT 기반 AI 코딩 IDE, Cursor를 우분투에서 AppImage로 설치한 실제 과정을 기록합니다.설치, 실행, 아이콘 등록, 오류 해결까지 필요한 명령어만 정리했습니다!✅ 사전 준비: 시스템 확인uname -m # → 결과가 x86_64 이어야 설치 가능ping -c 4 cursor.sh # → 인터넷 연결 확인용 x86_64는 AMD64 계열 CPU를 의미하며, Cursor는 ARM 미지원입니다.✅ 1. libfuse2 설치 (AppImage 실행에 필요)sudo apt-get updatesudo apt-get install libfuse2AppImage 실행을 위해 꼭 필요한 라이브러리입니다. ✅ 2. Cur.. 공감수 0 댓글수 0 2025. 4. 16.
[우분투설치] 블랙스크린 우분투 설치 시도 후 검은창만 보일 때! 안녕하세요. 오늘은 우분투 설치과정에서의 블랙스크린 해결방법을 공유합니다.검은창에서 "Install Ubuntu"까지는 나왔는데,엔터 치고 나면 화면 꺼지거나 멈춘 듯 묵묵부답이라면—딱 그 상황, 저도 100번 겪었습니다. ✅ 현상- USB 부팅 → GRUB 메뉴에서 Install Ubuntu 선택- 블랙스크린에서 로딩이 안 되거나 커서만 깜빡 or 멈춤- 팬은 돌고 있는 상태✅ 해결법 1. GRUB 화면에서 Install Ubuntu → E 키 누르기 (편집)메뉴 위에서 Install Ubuntu 선택한 상태에서 E 누르면 부트 옵션 편집 화면 진입 2. 아래 줄 찾기:linux /casper/vmlinuz ... quiet splash --- 3. quiet splash 지우고 다음을 추가nomode.. 공감수 0 댓글수 0 2025. 4. 14.
[ossca] 생성형 AI 기반 정적 웹 프로젝트 - 2025 오픈소스 컨트리뷰션 아카데미 체험형 멘티 선정 2025 오픈소스 컨트리뷰션 아카데미 체험형 멘티 선정 후기"생성형 AI 기반 GitHub 정적 페이지 프로젝트" 팀으로 확정!OSSCA란?안녕하세요. 오늘은 2025 오픈소스 컨트리뷰션 아카데미(OSSCA) 합격 후기와 함께제가 참여하게 된 프로젝트 소개를 공유해 보려 합니다.OSSCA는 정보통신산업진흥원이 주관하고,공개SW 포털 / Open UP이 운영하는 국가 주관 실무형 멘토링 프로그램입니다.Git 기반 협업과 오픈소스 생태계 기여 문화를실제 프로젝트를 통해 경험할 수 있도록 설계되었습니다. 🗓️ 2025 체험형 1차 개요🔗 공식 안내 링크 (체험형-1차)모집 기간: 2025년 3월 6일 ~ 4월 1일운영: 정보통신산업진흥원 / 공개SW 포털 / Open UP운영 방식: 멘토링 + 실전 프로젝.. 공감수 2 댓글수 0 2025. 4. 13.
[PC 자가수리] 메모리 인식 불량, 지우개 신공으로 블랙스크린 복구 ※ 참고: 본 포스팅은 [IT동아 기사](https://it.donga.com/22520/)에서 소개된 내용을 기반으로, 제 개인의 실제 경험과 적용 사례를 더해 정리한 글입니다. 안녕하세요. 오늘은 데스크탑에서 갑작스럽게 블랙스크린이 뜨거나, 장착한 메모리가 전부 인식되지 않을 때, 제가 직접 실천해서 효과를 본 고전기술, 일명 ‘지우개 신공’을 소개해보려 합니다. *컴퓨터 기사님을 당장 부르기 어려운 상황이거나, 자가 점검/자가 수리에 도전해보고 싶으신 분들께 추천드립니다. 단, 램 분해나 장착 경험이 없으신 분은 꼭 관련 유튜브 영상을 충분히 참고하신 후 시도하시길 권장드립니다* 🧩 문제 상황: 램 64GB 장착했는데 32GB만 인식? 조립한 제 PC 사양은 다음과 같았습.. 공감수 5 댓글수 2 2025. 4. 12.
[OpenAI API] LLM 스트리밍 API (stream=True) Chat GPT 등의 text 생성형 AI 서비스를 사용하다보면, 사용자는 전체 text resonse가 완성된 이후 응답을 받는 대신에 실시간으로 생성되는 답변의 조각들을 받아볼 수 있다. open ai api에서는 이런 스트리밍 기법을 사용할 수 있도록 스트리밍 api를 제공해주고 있다. 가령 아래와 같은 예시 코드를 LLM 스트리밍 API를 통해 실시간 출력으로 바꾸어보도록 한다. 🔹 기존 코드 (stream=False, 응답을 한 번에 받음)import openaiimport osres = openai.chat.completions.create( model=os.getenv("OPENAI_DEFAULT_MODEL"), messages=[{"role": "user", "content.. 공감수 0 댓글수 0 2025. 3. 17.
[OpenAI API] Completion mode vs Chat mode 차이점과 Chat mode 키워드 정리 Completion mode, 지시와 명령을 하나의 prompt로 전달# Completion mode, 지시와 명령을 하나의 prompt로 전달import osimport openaiopenai.api_key = os.getenv("OPENAI_API_KEY")# 텍스트 생성 요청을 보냅니다.response = openai.completions.create( model=“gpt-3.5-turbo-instruct", prompt="다음을 일본어로 번역하세요: 안녕하세요? 오늘 날씨가 참 좋군요!", max_tokens=256, # 생성된 텍스트의 최대 길이를 설정합니다.)# 생성된 텍스트를 출력합니다.print(response.choices[0].text) Chat modeChat mode# 표준적인 Ch.. 공감수 0 댓글수 0 2025. 3. 17.
히스토그램 https://www.cambridgeincolour.com/tutorials/histograms1.htm Understanding Digital Camera Histograms: Tones and ContrastCAMERA HISTOGRAMS: TONES & CONTRAST Understanding image histograms is probably the single most important concept to become familiar with when working with pictures from a digital camera. A histogram can tell you whether or not your image has been properlywww.cambridgeincolour.co.. 공감수 0 댓글수 0 2024. 12. 17.
허깅페이스 한국어 데이터셋 한국어 자연어 처리(NLP)와 관련된 다양한 작업을 수행하기 위해서는 적합한 모델을 선택하는 것이 중요하다. 한국어 감성 분석, 질문-답변, 텍스트 생성, 기계 번역 등의 NLP 태스크를 수행하기 위해서는 충분한 데이터셋이 필요하다. 아래에 소개된 모델들은 한국어 데이터셋으로 학습된 모델들이다.이 모델들이 사용한 데이터셋의 상세한 정보는 각 모델의 공식 문서나 출처에서 확인할 수 있다. 1. sangrimlee/bert-base-multilingual-cased-nsmc한국어 감성 분석을 위해 "sangrimlee/bert-base-multilingual-cased-nsmc" 모델을 사용할 수 있다.https://huggingface.co/sangrimlee/bert-base-multilingual-c.. 공감수 4 댓글수 1 2024. 11. 12.
[인공지능 셋업] M1 및 M2와 같은 Apple Silicon에서 PyTorch MPS 가속 M1 Mac용 PyTorch 설치 가이드를 작성해본다.M1 및 M2와 같은 Apple Silicon에서 PyTorch를 MPS 가속(Metal Performance Shaders)을 사용하고자 하였다.Apple Silicon(M1, M2) Mac에서 PyTorch 설치 및 설정하기2022년 7월 이후 PyTorch는 Apple Silicon(M1, M2) Mac에서 Metal Performance Shaders(MPS)를 통한 GPU 가속을 지원한다. 이를 통해 딥러닝 모델을 Apple GPU에서 더욱 빠르게 학습할 수 있다. 아래는 MPS 지원을 위한 PyTorch 설치 과정이다.사전 준비macOS 버전이 Monterey 12.3 이상이어야 MPS 가속을 사용할 수 있다.설치 명령어# 잘못 설치했을 경.. 공감수 1 댓글수 0 2024. 10. 31.
[인공지능] 텐서플로로 선형 회귀 모델 학습하기: 경사 하강법을 이용한 최적화 이 글에서는 TensorFlow를 이용해 간단한 선형 회귀 모델을 구현하고 학습시키는 과정을 설명한다.TensorFlow v1.x의 기초적인 활용법과 경사 하강법의 개념을 익히는 예제를 다룬다. 경사 하강법을 사용하여 RMSE 값을 최소화하면서 최적의 기울기와 절편을 찾는 방법을 취한다.TensorFlow v1.x를 사용하여 구현하는 예제로, TensorFlow v2.x 환경에서는 compat.v1 모듈을 통해 v1.x 코드를 사용할 수 있다.전체 코드#import tensorflow as tfimport tensorflow.compat.v1 as tftf.compat.v1.disable_v2_behavior()# x, y의 데이터 값data = [[2, 81], [4, 93], [6, 91], [8, .. 공감수 1 댓글수 0 2024. 10. 30.
[인공지능] 경사하강법 이번 글에서는 경사 하강법을 이용해 선형 회귀 모델을 학습하는 방법과 코드 예제를 작성해보도록 한다. 경사 하강법은 모델의 오차를 줄이기 위해 파라미터(기울기와 절편)를 반복적으로 업데이트하는 최적화 알고리즘이다. 경사 하강법을 사용해 주어진 데이터에 가장 잘 맞는 직선을 찾아가는 예제를 살펴본다.1. 데이터 준비먼저 공부 시간과 점수 간의 관계를 나타내는 간단한 데이터를 준비한다. import numpy as npimport matplotlib.pyplot as plt# 공부시간 X와 성적 Y의 리스트data = [[2, 81], [4, 93], [6, 91], [8, 97]]x = [i[0] for i in data]y = [i[1] for i in data]# 그래프로 나타내보기plt.figure.. 공감수 1 댓글수 0 2024. 10. 30.
AI가 자화상을 그린다면 동기AI의 발전을 확인하며 인간을 모방하여 판단하고 분석하는 능력, 로봇과 결합시 인간의 신체 능력을 모방하거나(로봇 팔 드로잉, 로봇 쿠킹), 컴퓨터 비전과 융합하여 인간의 시각 기능을 모방할 수 있다는 점에서 나날이 AI의 무궁무진한 가능성에 주의를 기울이게 된다. 하지만 AI가 스스로 인식을 통해 예술성을 발현하는 경지까지 갈 수 있을지에 대한 궁금증이 생겼다. 특히 예술은 자신을 표현하는 수단으로 자아를 드러내는 작업이다. 인간 예술사에서 ‘자화상’은 자신을 인식하고 표현하는 중요한 매체로 여겨졌다. 이에 따라, AI가 스스로를 어떻게 인식하고 표현할지 알아보기 위해 AI에게 자화상을 그려보게 하였다. AI가 과연 어떠한 방식으로 자신을 표현할지 이를 통해 AI가 예술성과 자기 인식을 가지고 있는.. 공감수 9 댓글수 8 2024. 10. 27.
[인공지능, 딥러닝] 데이터 클러스터링과 차원 축소 데이터 클러스터링과 차원 축소는 복잡한 데이터를 더 쉽게 이해하고 분석하기 위해 사용하는 중요한 데이터 분석 기법이다. 이 두 가지 기법을 효과적으로 활용하면 데이터 속에 숨겨진 가치를 발견하고 더 나은 의사결정을 할 수 있다.마치 복잡한 레고 블록들을 종류별로 분류하고, 그 크기를 줄여서 한눈에 보기 쉽게 만드는 것과 비슷하다.데이터 클러스터링이란?정의: 비슷한 특징을 가진 데이터들을 묶어서 그룹(클러스터)을 만드는 작업예시:고객 데이터를 분석하여 구매 패턴이 비슷한 고객들을 그룹으로 나누어 각 그룹에 맞는 마케팅 전략을 수립한다.문서들을 내용이 비슷한 것끼리 묶어서 주제를 파악할 수 있다.목적:데이터 속에 숨겨진 구조를 찾아냄데이터를 요약하고 시각화하여 이해를 돕기이상치를 탐지하기차원 축소란?정의: .. 공감수 3 댓글수 1 2024. 10. 22.
transforms.Normalize의 역할과 중요성 `transforms.Normalize`의 역할과 중요성딥러닝 모델을 학습할 때, 입력 데이터의 전처리는 매우 중요한 단계 중 하나이다. 특히 이미지 데이터를 다룰 때, `Normalize`라는 과정은 데이터의 분포를 조정하여 학습 성능을 크게 향상시킬 수 있다. `torchvision.transforms.Normalize`는 이런 전처리 과정에서 중요한 역할을 한다.`transforms.Normalize`란?`transforms.Normalize`는 이미지 데이터의 각 채널에 대해 평균과 표준편차를 사용해 정규화를 수행하는 함수이다. 이 함수는 입력 이미지의 픽셀 값들을 평균을 기준으로 0에 가까운 값으로 만들고, 표준편차를 사용해 분포를 일정하게 조정해준다. 이렇게 하면 모델이 학습할 때 데이터의 분.. 공감수 2 댓글수 1 2024. 10. 15.
LSE, Least Squares Estimation(최소 제곱 추정) LSE는 Least Squares Estimation(최소 제곱 추정)의 약자이다. LSE는 주어진 데이터에 가장 잘 맞는 선형 모델을 찾는 방법 중 하나로, 데이터 포인트와 모델의 예측 값 사이의 차이(오차)를 최소화하는 방식으로 동작한다. 여기서 최소화하는 것은 오차의 제곱합이다. 1. SSE (Sum of Squared Errors , 오차 제곱합 )SSE는 각 데이터 포인트에서 실제 값과 예측 값 사이의 차이를 제곱한 뒤 모두 더한 값이다. SSE를 최소화하는 것이 LSE의 목표이다. 2. 미분을 통해 최적화w와 b를 구하기 위해, 오차를 최소화하려면 SSE를 미분하고 이를 0으로 만드는 값을 찾아야 한다. 이는 미분이 그래프에서 최소값을 찾는 방법이기 때문이다. 그래서 아래 식에서 보여주듯이, .. 공감수 0 댓글수 0 2024. 10. 15.
정규 분포의 확률 밀도 함수(PDF, Probability Density Function) 정규 분포의 확률 밀도 함수(PDF, Probability Density Function)는 통계학에서 아주 중요한 개념이다. 정규 분포는 주로 우리가 일상에서 관찰하는 많은 자연현상과 데이터가 '평균 주변에 많이 몰려 있고, 극단적으로 큰 값이나 작은 값은 적다'는 패턴을 따를 때 유용하다. 예를 들어, 사람들의 키, 시험 점수, 제품의 생산 품질 등이 이런 정규 분포를 따를 수 있다.1. 정규 분포란?정규 분포는 통계에서 데이터가 평균을 중심으로 대칭적으로 분포하는 형태를 말한다. 이를 시각적으로 보면 종 모양의 그래프를 떠올리면 된다. 가장 흔히 발생하는 값들이 가운데 집중되어 있고, 평균에서 멀어질수록 발생 빈도가 줄어드는 형태다.정규 분포는 두 가지 중요한 특성인 평균과 표준편차로 정의된다:평균.. 공감수 0 댓글수 0 2024. 10. 15.
PyTorch와 torchvision으로 MNIST 데이터셋 다루기 오늘은 PyTorch를 사용하여 MNIST 데이터셋을 기반으로 완전 연결 신경망(fully-connected neural network)을 학습하는 방법에 대해 알아본다. MNIST 데이터셋은 손으로 쓴 숫자 이미지로 구성되어 있어 머신러닝 및 딥러닝 학습에 자주 사용되는 데이터셋이다. 우선 PyTorch와 torchvision을 사용하여 MNIST 데이터셋을 로드하고 다양한 방식으로 데이터를 시각화하고 배치 처리하도록 한다. 1. 필요한 라이브러리 설치 및 임포트하기먼저, torchvision 라이브러리를 설치해야 한다. 이를 위해 아래의 명령어를 사용한다. !pip install torchvision 그 후, 필요한 라이브러리를 임포트한다. import torchimport torchvisionMNI.. 공감수 3 댓글수 2 2024. 10. 10.
sklearn의 load_digits 데이터 분석과 classification 학습 이번 포스트에서는 sklearn 라이브러리에서 제공하는 load_digits 데이터를 사용하여 기본적인 데이터 분석과 분류 모델을 학습하는 과정을 살펴본다. load_digits 데이터는 손으로 쓴 숫자 이미지를 8x8 크기의 행렬로 표현한 것으로, 각 숫자는 0에서 9까지의 값을 갖는다. 이를 통해 숫자를 분류하는 머신러닝 모델을 만들어본다.from sklearn import treefrom sklearn import datasetsimport pandas as pdimport seaborn as snsimport numpy as npfrom matplotlib import pyplot as plt%matplotlib inline1. 데이터 로드 및 구조 확인data = datasets.load_dig.. 공감수 0 댓글수 0 2024. 10. 6.
M1 맥에서 import torch 하기 M1에서는 특정 명령어로 PyTorch를 설치pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu!pip3 install numpy matplotlibimport torchimport numpy as np 1. M1 칩의 아키텍처 특성:ARM 기반: M1 칩은 x86 기반의 Intel 칩과는 다른 ARM 아키텍처를 사용GPU 호환성: M1 칩에 내장된 GPU는 NVIDIA의 CUDA를 직접 지원하지 않는다. 따라서 일반적인 GPU 가속을 위한 PyTorch 바이너리를 사용할 수 없다.2. PyTorch 설치 파일의 종류:CPU 버전: --index-url https://download.pytorch.. 공감수 3 댓글수 4 2024. 10. 4.
역전파(backpropagation) 딥러닝에서 역전파는 모델을 학습시키는 데 아주 중요한 역할을 한다.마치 학생이 시험을 보고 틀린 문제를 분석하여 다음 시험을 더 잘 보기 위해 공부하는 것처럼, 신경망도 역전파를 통해 자신의 오류를 수정하고 성능을 향상한다. 신경망의 학습 과정신경망의 학습 과정: 신경망은 입력 데이터를 받아 특정 값을 예측하는 모델이다. 이 과정에서 가중치라는 것이 있는데, 이 가중치 값에 따라 예측 결과가 달라진다.오차 발생: 신경망이 예측한 값과 실제 값 사이에는 오차가 발생오차 역전파: 이 오차를 줄이기 위해 신경망은 오차를 역으로 전파하며 각 가중치를 조금씩 수정한다. 즉, 오차에 가장 큰 영향을 미친 가중치를 더 많이 수정하는 방식으로 학습한다.역전파의 과정순전파: 입력 데이터가 신경망을 거쳐 출력 값이 생성되.. 공감수 2 댓글수 1 2024. 10. 4.
캐글에서 데이터를 가져오기 위 캡처 데이터를 캐글로부터 가져오는 과정을 기록한다. 내 프로필 > 세팅 > API > create New Token을 누르면 json(유저키)을 받을 수 있다. 우분투에서 작업하기 때문에 home으로 그대로 복사해서 넣어준다.홈에서 캐글 인스톨ubuntu@you:~$ mkdir ~/.kaggleubuntu@you:~$ cp kaggle.json ~/.kaggle/kaggle.jsonubuntu@you:~$ chmod 600 ~/.kaggle/kaggle.json위 명령어 뜻은 다음과 같다.mkdir ~/.kaggle~/.kaggle 디렉토리를 생성. ~는 홈 디렉토리를 나타내므로, 사용자 홈 디렉토리 내에 .kaggle이라는 폴더를 만든다. .kaggle은 숨김 폴더로, 주로 Kaggle API 관련.. 공감수 2 댓글수 1 2024. 9. 30.
fetch_california_housing 데이터로 선형 회귀 분석, R² 스코어 from sklearn import linear_model, datasetsimport pandas as pdimport seaborn as snsimport numpy as npfrom matplotlib import pyplot as plt%matplotlib inline# 데이터 불러오기 (California Housing)data = datasets.fetch_california_housing()print(data.keys())print(data.feature_names)print(data.target_names)df = pd.DataFrame(data=data.data, columns=data.feature_names)df['target'] = data.targetdf.head()# 데이터 통계.. 공감수 7 댓글수 5 2024. 9. 27.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.