langchain

OpenAI API의 429 Too Many Requests 이슈 분석과 해결 방안

1. 현상OpenAI API를 사용하면서 가장 흔하게 마주치는 오류 중 하나는 429 Too Many Requests 오류입니다. 이 오류는 다음과 같은 형태로 나타납니다:openai.RateLimitError: Error code: 429 - {'error': {'message': 'You exceeded your current quota, please check your plan and billing details. For more information on this error, read the docs: https://platform.openai.com/docs/guides/error-codes/api-errors.', 'type': 'insufficient_quota', 'param': None,..

2025. 5. 13. 11:04

langchain

Langchain을 사용하여 이미지에서 텍스트 추출하기

Langchain과 GPT-4 Vision을 사용하여 이미지에서 텍스트를 추출하는 방법에 대해 알아보자.준비사항먼저 필요한 라이브러리를 설치한다.pip install python-dotenv langchain-openai환경 설정OpenAI API 키를 환경변수로 설정하기 위해 .env 파일을 사용한다.from dotenv import load_dotenvload_dotenv()이미지 인코딩 함수 구현이미지를 base64로 인코딩하는 유틸리티 함수를 만든다.import base64import osdef encode_image_from_file(file_path): with open(file_path, "rb") as image_file: image_content = image_file...

2025. 4. 22. 18:10

langchain

reranker 사용 시 GPU가 필요할까?

RAG 품질개선 시 필수적인 요소인 reranker를 적용할 때 GPU가 반드시 필요할까?RAG의 품질개선 기법 중 중요한 요소인 reranker를 적용하고 테스트를 해보았다. reranker는 BAAI/bge-reranker-v2-m3를 사용했다.reranker가 cross-encoder 방식이어서 속도가 엄청 느리다고 하는데, 로컬개발환경에서는 생각보다는 빠르게 실행되어서 사용할만 했다. 하지만 개발서버에서 테스트를 해보니 너무 느렸다. 원인을 확인해보니 GPU 존재여부였다. 로컬환경은 Mac studio m1 max 였고 32코어 GPU가 있는 환경이고 서버환경은 GPU가 없었다. 속도차이가 너무 났다.그래서 관련 자료를 찾아보니 누군가 블로그에 테스트한 결과를 잘 정리한 자료가 있어서 요약해 보았..

2024. 11. 7. 08:45

langchain

[langchain] Tool(도구) 이란?

Tools란 무엇인가?Tools(도구)란 무엇일까? 처음 들으면 생소하게 느껴질 수 있다. Tools를 이용하면 외부 API를 호출하고 응답결과를 받을 수 있다는데, 그럼 외부 API를 호출하게 해주는걸까? 예를 들면, 현재 날씨 정보는 LLM이 모르니 Tools를 이용하면 날씨 API를 LLM이 호출해서 결과를 우리에게 알려주는 것일까? 내부적으로 어떻게 실행되는 것인지 차근차근 알아보자.프로그램을 만들 때 일반적으로 함수의 매개변수를 넘기고 함수 실행 후 결과를 받는다. 곱셈을 하는 함수를 예로 들면 아래와 같다.def multiply(x: int, y: int) -> int : return x * yprint(multiply(2, 3)) # 6이런 방식은 프로그램 로직에서 x와 y를 정확히 int..

2024. 10. 7. 08:56

langchain

[langchain] PDF용 질문/응답 시스템 구축

Langchain 공식문서의 내용을 정리한 것입니다. 내용 및 예제는 일부 변경하였지만 가능한 구조는 유지했습니다.Build a PDF ingestion and Question/Answering system - https://python.langchain.com/docs/tutorials/pdf_qa/PDF 파일은 종종 다른 출처에서는 얻을 수 없는 중요한 비구조화 데이터를 포함하고 있다. PDF 파일은 길이가 상당히 길 수 있으며, 일반적으로 일반 텍스트 파일과 달리 언어 모델의 프롬프트에 직접 입력할 수 없다.이 튜토리얼에서는 PDF 파일에 대한 질문에 답할 수 있는 시스템을 만들 것이다. 더 구체적으로, 문서 로더를 사용하여 LLM에서 사용할 수 있는 형식으로 텍스트를 로드한 다음, 출처 자료에서..

2024. 10. 5. 11:32

langchain

[langchain] 로컬 RAG 애플리케이션 만들기

Langchain 공식문서의 내용을 정리한 것입니다. 내용 및 예제는 일부 변경하였지만 가능한 구조는 유지했습니다.Build a Local RAG Application - https://python.langchain.com/docs/tutorials/local_rag/llama.cpp, Ollama, llamafile과 같은 프로젝트의 인기는 LLM을 로컬에서 실행하는 것의 중요성을 강조한다.LangChain은 로컬에서 실행할 수 있는 많은 오픈 소스 LLM 제공업체와 통합되어 있다.이 가이드는 Ollama를 통해 LLaMA 3.1을 로컬(예: 노트북)에서 실행하는 방법을 보여준다. 로컬 임베딩과 로컬 LLM을 사용한다. 그러나 원하신다면 LlamaCPP와 같은 다른 로컬 제공업체를 설정하고 교체할 수..

2024. 10. 5. 11:31

langchain

[langchain] 쿼리 분석 시스템 만들기

Langchain 공식문서의 내용을 정리한 것입니다. 내용 및 예제는 일부 변경하였지만 가능한 구조는 유지했습니다.Build a Query Analysis System - https://python.langchain.com/docs/tutorials/query_analysis/이 페이지에서는 기본적인 엔드 투 엔드 예제를 통해 쿼리 분석을 사용하는 방법을 보여준다. 여기에서는 간단한 검색 엔진을 만드는 과정과, 원시 사용자 질문을 해당 검색에 전달할 때 발생하는 실패 모드를 보여준 후, 쿼리 분석이 그 문제를 해결하는 데 어떻게 도움이 되는지를 예시로 설명한다. 쿼리 분석 기법은 매우 다양하며, 이 엔드 투 엔드 예제에서는 모든 기법을 다루지 않을 것이다.이 예제의 목적은 LangChain YouTub..

2024. 10. 5. 11:31

langchain

[langchain] SQL 데이터 기반의 질답 시스템 만들기

Langchain 공식문서의 내용을 정리한 것입니다. 내용 및 예제는 일부 변경하였지만 가능한 구조는 유지했습니다.Build a Question/Answering system over SQL data - https://python.langchain.com/docs/tutorials/sql_qa/구조화된 데이터를 쿼리할 수 있도록 LLM 시스템을 활성화하는 것은 비정형 텍스트 데이터를 처리하는 것과 질적으로 다를 수 있다. 비정형 텍스트 데이터의 경우 벡터 데이터베이스에서 검색할 수 있는 텍스트를 생성하는 것이 일반적이지만, 구조화된 데이터에서는 LLM이 SQL과 같은 DSL(도메인 특화 언어)로 쿼리를 작성하고 실행하는 방식이 자주 사용된다. 이 가이드에서는 데이터베이스 내 테이블 데이터를 대상으로 Q..

2024. 10. 5. 11:30

langchain

[langchain] 대화형(Conversational) RAG 애플리케이션 만들기

Langchain 공식문서의 내용을 정리한 것입니다. 내용 및 예제는 일부 변경하였지만 가능한 구조는 유지했습니다.Conversational RAG - https://python.langchain.com/docs/tutorials/qa_chat_history/많은 Q&A 애플리케이션에서 사용자가 대화를 주고받을 수 있도록 하기를 원한다. 이는 애플리케이션이 이전 질문과 답변을 기억하는 "메모리"와 이를 현재의 추론에 반영하는 로직이 필요하다는 의미이다.이 가이드에서는 이전 메시지를 반영하는 로직을 추가하는 데 중점을 둔다. 대화 기록 관리에 대한 자세한 내용은 여기에서 다룬다.우리는 두 가지 접근 방식을 다룰 것이다.체인(Chains): 항상 검색 단계를 실행하는 방식.에이전트(Agents): LLM이..

2024. 10. 5. 11:30

langchain

[langchain] 검색 증강 생성(RAG) 애플리케이션 만들기

Langchain 공식문서의 내용을 정리한 것입니다. 내용 및 예제는 일부 변경하였지만 가능한 구조는 유지했습니다.Build a Retrieval Augmented Generation (RAG) App - https://python.langchain.com/docs/tutorials/rag/LLM(대형 언어 모델)에 의해 가능해진 가장 강력한 응용 프로그램 중 하나는 정교한 질문-응답(Q&A) 챗봇이다. 이 챗봇은 특정 출처 정보를 바탕으로 질문에 답하는 애플리케이션이다. 이러한 애플리케이션은 RAG(Retrieval Augmented Generation)라는 기술을 사용한다.이 튜토리얼에서는 텍스트 데이터 소스를 기반으로 한 간단한 Q&A 애플리케이션을 만드는 방법을 보여준다. 진행하면서 일반적인 Q..

2024. 10. 5. 11:29

langchain

[langchain] llama3.1 설치 및 langchain에서 사용방법

Llama 3.1을 로컬에서 설치하여 실행하는 방법과 langchain에서 사용하는 방법에 대해 알아보자. 이 가이드는 Mac Studio M1 Max에서의 설치를 기준으로 하며, 다른 운영체제에서도 동일한 과정으로 설치할 수 있다.llama3.1 설치파일 다운로드https://ollama.com/에 접속하여 운영체제에 맞는 파일 Download 한다.여기서는 Mac Studio M1 Max라서 macOS를 선택하였다.설치파일 실행설치파일 클릭을 하면 Ollama 설치를 시작한다.설치 진행설치 창에서 install을 눌러 설치를 진행한다.모델 실행 준비llama 3.1을 실행하려면 모델파일이 필요하다. 모델파일을 다운로드 받는 방법은 명령어로 받는 방법과 직접 다운받는 방법이 있다.1) 명령어로 다운로드..

2024. 10. 2. 09:57

langchain

[langchain] Upstage의 goundedness check 기능

Upstage Groundedness Check(RGC)는 모델이 생성한 응답이 주어진 컨텍스트와 얼마나 잘 일치하는지를 평가하는 기능이다. 이 기능은 정보의 정확성과 신뢰성을 높이는 데 중요한 역할을 한다. 특히 AI 챗봇이나 질의응답 시스템에서 정보의 기반을 확인하는 데 유용하다.Upstage는 인공지능(AI) 기술, 특히 대규모 언어 모델(LLM)과 문서 AI 분야에 특화된 국내 스타트업이다.1. Groundedness Check란?Upstage 문서 내용https://developers.upstage.ai/docs/apis/groundedness-check대형 언어 모델(LLMs)은 복잡하고 정보가 풍부한 텍스트를 생성할 수 있지만, 사실적으로 부정확한(즉, 비기반된) 응답을 생성할 수 있는 오류..

2024. 10. 2. 07:52

langchain

[langchain] Langchain에서 create_retrieval_chain 사용하기

create_retrieval_chain은 Langchain에서 문서를 검색하고 그 결과를 처리하는 데 매우 유용한 체인이다. 여기에서는 이 함수의 핵심 요소와 사용 방법을 알아보자.1. create_retrieval_chain의 목적이 함수는 두 가지 주요 작업을 처리한다.Retriever를 사용해 문서를 검색.Combine chain을 통해 검색된 문서를 결합하여 최종 결과를 생성.이 과정을 통해 사용자 질문에 대한 답변을 검색 기반으로 생성할 수 있다.2. 코드 내용def create_retrieval_chain( retriever: Union[BaseRetriever, Runnable[dict, RetrieverOutput]], combine_docs_chain: Runnable[Dic..

2024. 10. 1. 19:28

langchain

[langchain] RunnablePassthrough은 무엇인가?

RunnablePassthrough가 무엇이고 어떻게 사용하는지, 그리고 RunnablePassthrough.assign에 대한 사용법을 기본적인 RAG 구성하는 방법을 통해 알아보자.1. 기본적인 RAG 구성방법RAG를 구성할 때 일반적으로 vector store를 검색하고 그 결과를 llm으로 던져서 결과를 가져온다. 그래서 일반적인 사용방법은 아래와 같다.from dotenv import load_dotenvfrom langchain_chroma import Chromafrom langchain_core.output_parsers import StrOutputParserfrom langchain_core.prompts import ChatPromptTemplatefrom langchain_opena..

2024. 9. 22. 18:52

langchain

[langchain] RAG에서 source 없이 리턴하는 방법과 source와 함께 리턴하는 방법

Q&A 애플리케이션에서는 답변을 생성할 때 사용된 출처를 사용자에게 보여주는 것이 중요할 때가 많다. 이를 가장 간단하게 구현하는 방법은 각 생성 과정에서 검색된 문서를 체인이 반환하는 것이다.아래 내용은 langchain documentation의 내용을 정리한 글이다.준비embedding과 패키지 설치, 환경설정하는 부분은 제외하고 langchain 예제만을 포함한다.source 없이 리턴하는 방법from dotenv import load_dotenvfrom langchain_chroma import Chromafrom langchain_core.output_parsers import StrOutputParserfrom langchain_core.prompts import ChatPromptTempl..

2024. 9. 20. 20:03