Today, I will

안녕하세요! 오늘은 업로드한 PDF 파일 내용을 바탕으로 실시간으로 질문에 답변해주는 AI 챗봇을 직접 만들어봅니다! LangChain + Cohere Rerank + OpenAI Embedding의 조합으로 RAG 기반의 스마트한 검색 시스템을 구현해보도록 합니다. 이 글에서 다룰 내용RAG란 무엇인가?PDF 기반 질문-응답 시스템의 구조LangChain으로 벡터 검색 + LLM 연결하기전체 코드 분석과 주석실전 활용 팁 & 트러블슈팅RAG란?RAG는 Retrieval-Augmented Generation의 줄임말로,"검색 기반 생성"을 의미합니다.보통 LLM은 사전학습된 정보만을 기반으로 답변하지만,RAG는 외부 문서를 검색하여 관련 정보를 추출하고,그걸 바탕으로 답변을 생성합니다.📦 RAG의 구..

웹링크와 GPT와 LangChain을 활용해 RAG 기반 대화형 챗봇을 만들어보았습니다.웹링크를 통해 간단해 웹 단면을 크롤링하고 그에 대한 정보에 대해 물어볼 수 있어 유용합니다.맛집정보 웹사이트인 http://www.menupan.com/를 활용해보도록 합니다. 📁 1. 주피터 노트북 준비!pip install beautifulsoup4 from langchain.prompts import PromptTemplatefrom langchain_openai import ChatOpenAIfrom langchain_community.document_loaders import WebBaseLoaderfrom langchain_openai import OpenAIEmbeddingsfrom langchain..

피터래빗이야기 PDF 파일을 기반으로, GPT와 LangChain을 활용해 RAG 기반 대화형 챗봇을 만들어보았습니다. 📁 1. PDF 파일 준비먼저 프로젝트 루트 디렉토리 아래에 `pdf` 폴더를 만들고, 여기에 오만과 편견 PDF 파일을 넣어줍니다:project/ └── pdf/ └── 파일명.pdf🧠 2. GPT 처리 모듈: `gpt_proc.py`# gpt_proc.pyfrom langchain.prompts import PromptTemplatefrom langchain_openai import ChatOpenAIfrom langchain_community.document_loaders import PyPDFLoaderfrom langchain_openai import OpenAIEm..

Jane Austen의 Pride and Prejudice PDF 파일을 기반으로, GPT와 LangChain을 활용해 RAG 기반 대화형 챗봇을 만들어보았습니다.📁 1. PDF 파일 준비project/ └── pdf/ └── Pride_and_Prejudice.pdf 먼저 프로젝트 루트 디렉토리 아래에 `pdf` 폴더를 만들고, 여기에 오만과 편견 PDF 파일을 넣어줍니다:🧠 2. GPT 처리 모듈: `gpt_proc.py`# gpt_proc.pyfrom langchain.prompts import PromptTemplatefrom langchain_openai import ChatOpenAI, OpenAIEmbeddingsfrom langchain.document_loaders im..

1. from llama_index.core.settings import Settings Settings는 RAG 시스템을 돌리기 위한 기본 도구상자 세트(글 쪼개기, AI모델 연결하기, 글자수 조절하기, 에러관리까지 다 설정할 수 있어!) from llama_index.core.settings import Settings 아래와 같이 글로벌한 설정이 가능하다.Settings.# RAG 파이프라인 글로벌 설정Settings.embed_model = OpenAIEmbedding( model="text-embedding-3-small")Settings.llm=OpenAI(model='gpt-3.5-turbo',temperature=0)Settings 안에 있는 속성들의 역할 정리항목 역할chunk_si..

🧠 리눅스 자주 쓰는 명령어 모음NixOS, Ubuntu, WSL 어디서든 쓸 수 있는 실전 명령어 모음리눅스 명령어들은 리눅스 시스템 사용 시 매우 유용하며, Ubuntu, NixOS를 포함한 대부분의 리눅스 배포판에서 사용할 수 있습니다.따라서, 리눅스 터미널에 익숙해지면 다양한 운영체제에서의 작업이 훨씬 빠르고 유연해집니다.아래는 제가 실제로 자주 사용하는 명령어들을 용도별로 정리한 리스트입니다. 다만, Mac의 경우는 기본으로 없거나동작 방식이 다르거나, Homebrew 등으로 설치가 필요한 명령어가 있습니다.macOS에서 기본적으로 없는 명령어 / 설치가 필요한 명령어htop❌ 없음 (설치 필요)brew install htop 필요wget❌ 없음 (설치 필요)기본 없음. brew install..

NixOS에서 한글 입력을 위해 필요한 설정 과정입니다:1. 필요한 패키지 설치 및 설정cd /etc/nixos/sudo nano /etc/nixos/configuration.nix# /etc/nixos/configuration.nix 파일 수정, 수정한 부분은 아래와 같습니다. # Configure keymap in X11 services.xserver.xkb = { layout = "kr"; variant = "kr104"; }; i18n.inputMethod = { enabled = null; # IBus 입력기 프레임워크 활성화\ type = "ibus"; enable = true; ibus.engines = with pkgs.ibus-engines; [ ..

안녕하세요. 오늘은 스트림릿 기초 문법들을 살펴보도록 하겠습니다.# pypi# streamlit run 15Test.py import streamlit as stwith st.form('form'): chk1 = st.checkbox('낚시') chk2 = st.checkbox('골프') chk3 = st.checkbox('영화') submit = st.form_submit_button('확인') if submit: if chk1: st.write('낚시선택') if chk2: st.write('골프선택') if chk3: st.write('영화선택')form의 경우,form이 아닌..

※ 참고: 본 포스팅은 [IT동아 기사](https://it.donga.com/22520/)에서 소개된 내용을 기반으로,   제 개인의 실제 경험과 적용 사례를 더해 정리한 글입니다.   안녕하세요.   오늘은 데스크탑에서 갑작스럽게 블랙스크린이 뜨거나,   장착한 메모리가 전부 인식되지 않을 때,   제가 직접 실천해서 효과를 본 고전기술, 일명 ‘지우개 신공’을 소개해보려 합니다.   *컴퓨터 기사님을 당장 부르기 어려운 상황이거나, 자가 점검/자가 수리에 도전해보고 싶으신 분들께 추천드립니다.   단, 램 분해나 장착 경험이 없으신 분은 꼭 관련 유튜브 영상을 충분히 참고하신 후 시도하시길 권장드립니다* 🧩 문제 상황: 램 64GB 장착했는데 32GB만 인식? 조립한 제 PC 사양은 다음과 같았습..

Chat GPT 등의 text 생성형 AI 서비스를 사용하다보면, 사용자는 전체 text resonse가 완성된 이후 응답을 받는 대신에 실시간으로 생성되는 답변의 조각들을 받아볼 수 있다. open ai api에서는 이런 스트리밍 기법을 사용할 수 있도록 스트리밍 api를 제공해주고 있다.  가령 아래와 같은 예시 코드를 LLM 스트리밍 API를 통해 실시간 출력으로 바꾸어보도록 한다.  🔹 기존 코드 (stream=False, 응답을 한 번에 받음)import openaiimport osres = openai.chat.completions.create( model=os.getenv("OPENAI_DEFAULT_MODEL"), messages=[{"role": "user", "content..