langchain

[langgraph] 프롬프트 생성기 (Prompt Generation from User Requirements)

langgraph의 공식문서를 번역해 놓은 자료입니다. 필요한 경우 부연 설명을 추가하였습니다. 문제가 되면 삭제하겠습니다.https://langchain-ai.github.io/langgraph/tutorials/customer-support/customer-support/이 예제에서는 사용자가 프롬프트를 생성하도록 도와주는 챗봇을 만들 것이다. 챗봇은 먼저 사용자로부터 요구 사항을 수집한 후, 프롬프트를 생성하고(사용자의 입력에 따라 이를 다듬는다). 이 과정은 두 개의 별도 상태로 나누어지며, LLM이 이들 간의 전환 시기를 결정한다.시스템의 그래픽 표현은 아래에서 확인할 수 있다.정보 수집먼저, 사용자 요구 사항을 수집할 그래프의 부분을 정의한다. 이는 특정 시스템 메시지를 사용하는 LLM 호출이..

2024. 11. 17. 17:38

langchain

[번역][langgraph tutorial] Self-RAG

langgraph의 공식문서를 번역해 놓은 자료입니다. 예제 일부는 변경하였고, 필요한 경우 부연 설명을 추가하였습니다. 문제가 되면 삭제하겠습니다.https://langchain-ai.github.io/langgraph/tutorials/rag/langgraph_self_rag/Self-RAG는 검색된 문서와 생성된 결과(generation)에 대해서 self-reflection/self-grading(스스로 평가)를 포함하는 RAG 전략이다.LangGraph를 사용하여 구현하면 아래와 같은 형태이다.Retriever1개의 웹문서를 인덱싱하자.from langchain.text_splitter import RecursiveCharacterTextSplitterfrom langchain_community..

2024. 11. 15. 11:03

langchain

[번역][langgraph tutorial] Corrective RAG (CRAG)

langgraph의 공식문서를 번역해 놓은 자료입니다. 예제 일부는 변경하였고, 필요한 경우 부연 설명을 추가하였습니다. 문제가 되면 삭제하겠습니다.https://langchain-ai.github.io/langgraph/tutorials/rag/langgraph_crag/Corrective-RAG (CRAG)은 검색된 문서에 대한 self-reflection과 self-grading(스스로 평가)를 포함하는 RAG 전략이다.이 논문에서는 몇 가지 단계를 수행한다.적어도 하나의 문서가 관련성 기준을 초과하면, 생성(generation) 단계로 진행한다.관련성 기준은 검색된 문서가 사용자 질문과 관련있는가 체크 (LLM)생성 전에 지식 정제(knowledge refinement)를 수행한다.관련성 있는 문..

2024. 11. 15. 11:01

카테고리 없음

[번역][langgraph tutorial] Adaptive RAG

langgraph의 공식문서를 번역해 놓은 자료입니다. 예제 일부는 변경하였고, 필요한 경우 부연 설명을 추가하였습니다. 문제가 되면 삭제하겠습니다.https://langchain-ai.github.io/langgraph/tutorials/rag/langgraph_adaptive_rag/Adaptive RAG는 (1) 쿼리 분석과 (2) active/self-corrective RAG를 결합한 RAG를 위한 전략이다.논문에서는 쿼리 분석을 통해 다음과 같이 경로를 설정한다고 보고한다.No RetrievalSingle-shot RAGIterative RAG이것을 LangGraph를 사용하여 발전시켜 보자.아래 구현에서는 다음과 같이 경로를 설정할 것이다.웹 검색(Web search): 최근 사건(event..

2024. 11. 15. 10:59

langchain

[번역][langgraph tutorial] Agentic RAG

langgraph의 공식문서를 번역해 놓은 자료입니다. 예제 일부는 변경하였고, 필요한 경우 부연 설명을 추가하였습니다. 문제가 되면 삭제하겠습니다.https://langchain-ai.github.io/langgraph/tutorials/rag/langgraph_agentic_rag/Retrieval Agent는 인덱스에서 검색할지 여부에 대한 결정을 내리고 싶을 때 유용하다.Retrieval Agent를 구현하려면 LLM에 검색 도구에 대한 접근 권한을 부여하면 된다.이를 LangGraph에 통합할 수 있다.Retriever우선 블로그 포스트를 인덱싱한다.from dotenv import load_dotenvfrom langchain_community.document_loaders import Web..

2024. 11. 15. 10:56

langchain

[langgraph] FastAPI와 LangGraph로 기본 RAG를 Streaming으로 출력하기

FastAPI와 LangGraph를 이용하여 RAG의 응답을 Streaming으로 출력하는 방법을 알아보자.일단 검색 및 생성을 하기 위해서는 RAG pipeline을 구성을 해야 하는데 아주 간단한 방법으로만 할 예정이다. 우선 아래의 방법으로 진행할 예정이다.LangGraph로 RAG를 조회하는 node를 구성 + 생성 node 추가FastAPI로 조회 api 생성/search api로 검색응답값을 SSE 형식으로 스트리밍 출력작업 순서환경설정langgraph 생성Fastapi 생성테스트1. 환경설정.env 설정.env에 OPENAI_API_KEY를 추가한다.OPENAI_API_KEY=sk-xxxx패키지 설치pip install langchain langchainhub langchain-openai ..

2024. 11. 8. 08:34

langchain

reranker 사용 시 GPU가 필요할까?

RAG 품질개선 시 필수적인 요소인 reranker를 적용할 때 GPU가 반드시 필요할까?RAG의 품질개선 기법 중 중요한 요소인 reranker를 적용하고 테스트를 해보았다. reranker는 BAAI/bge-reranker-v2-m3를 사용했다.reranker가 cross-encoder 방식이어서 속도가 엄청 느리다고 하는데, 로컬개발환경에서는 생각보다는 빠르게 실행되어서 사용할만 했다. 하지만 개발서버에서 테스트를 해보니 너무 느렸다. 원인을 확인해보니 GPU 존재여부였다. 로컬환경은 Mac studio m1 max 였고 32코어 GPU가 있는 환경이고 서버환경은 GPU가 없었다. 속도차이가 너무 났다.그래서 관련 자료를 찾아보니 누군가 블로그에 테스트한 결과를 잘 정리한 자료가 있어서 요약해 보았..

2024. 11. 7. 08:45

langchain

[langgraph] Persistence

udemy 강좌 내용[LangGraph- Develop LLM powered AI agents with LangGraph]의 일부를 정리한 내용입니다. 예제의 일부 내용을 수정하였습니다. 문제가 되면 삭제하겠습니다. https://www.udemy.com/course/langgraph/learn/lecture/44431680#overviewLangGraph의 영속성(Persistence)에 대해서 알아보자. 영속성은 운영모드에서는 아주 중요한 기능이다. LangGraph에서의 영속성은 node가 실행된 이후 특정 상태(state)를 저장할 수 있다는 것을 말한다. 저장 후 필요한 시점에 조회하여 사용될 수 있다는 것을 의미한다.이것이 왜 중요할까? 사람이 개입(Human in the loop)하는 워크플..

2024. 11. 7. 07:52

langchain

[langgraph] Adaptive Rag 실습 예제

udemy 강좌 내용[LangGraph- Develop LLM powered AI agents with LangGraph]의 일부를 정리한 내용입니다. 예제의 일부 내용을 수정하였습니다. 문제가 되면 삭제하겠습니다. https://www.udemy.com/course/langgraph/learn/lecture/44086612#overview이번에는 Adative RAG를 구현해보자. Adaptive RAG은 연구 논문 기반이다. Adative RAG는 질문의 내용을 보고 각기 다른 RAG flow로 질문을 라우팅하는 역할을 한다. 아래 그림에서 보는 것과 같이 start부터 두 가지로 나뉜다. 첫 번째는 websearch를 하고 generate를 하는 방식이고 두 번째 방식은 vector store의 R..

2024. 11. 5. 07:57

langchain

[langgraph] Self RAG 실습 예제

udemy 강좌 내용[LangGraph- Develop LLM powered AI agents with LangGraph]의 일부를 정리한 내용입니다. 예제의 일부 내용을 수정하였습니다. 문제가 되면 삭제하겠습니다. https://www.udemy.com/course/langgraph/learn/lecture/43978374#overviewSelf RAG 개념이번에는 Self RAG를 구현해볼 예정이다. Self RAG 논문에서 유래되었고 모델이 생성한 답변을 평가하는 것을 의미한다. generation을 받은 다음 document와 비교를 해서 모델의 hallucination이 있는지를 확인한다. 그리고 답변이 document를 근거로 나타내는지를 체크한다.답변이 사용자의 질문에 대한 대답이라면 사용자..

2024. 11. 5. 07:54

langchain

[langgraph] Corrective Rag 실습 예제

udemy 강좌 내용[LangGraph- Develop LLM powered AI agents with LangGraph]의 일부를 정리한 내용입니다. 예제의 일부 내용을 수정하였습니다. 문제가 되면 삭제하겠습니다. https://www.udemy.com/course/langgraph/learn/lecture/44106660#overviewCorrective Rag은 RAG에서 retrieval을 할 때 보다 답변 품질을 좋게 하는 고급 RAG 기술이다.CRAG의 기본적인 개념은 간단하다. 기존의 RAG(Retrieval-Augmented Generation)와 유사하게 정보를 검색해 응답을 생성하지만, 사용자의 질문 의도를 보다 정확하게 반영하기 위해 "수정" 과정을 추가하는 접근 방식이다. 이를 통해..

2024. 11. 5. 07:51

langchain

[langgraph] ReAct AgentExecutor in LangGraph

udemy 강좌 내용[LangGraph- Develop LLM powered AI agents with LangGraph]의 일부를 정리한 내용입니다. 예제의 일부 내용을 수정하였습니다. 문제가 되면 삭제하겠습니다. https://www.udemy.com/course/langgraph/learn/lecture/43638176#overview예제여기서는 아래와 같이 서울의 날씨를 물어보고 거기에 3배수 하는 Agent를 만들어보자.if __name__ == "__main__": res = app.invoke( input={"input": "현재 서울 기온은 몇도야? 그리고 거기에 곱하기 3을 해줘"} )그래프의 모양은 아래와 같다.환경구성1. 패키지 설치관련 패키지를 설치하자.pip..

2024. 11. 3. 19:29

python

[python] 정적타입 체킹을 위한 pyright 사용법

파이썬은 기본적으로 동적 타입 언어이기 때문에 코드 작성 중에 타입 관련 오류가 쉽게 발생할 수 있다. 코딩은 빠르게 할 수 있지만 코드가 조금만 복잡해져도 생각하지 못한 오류가 Runtime시 발생해서 머리가 아프다. 그래서 Typescript 같은 정적타입 체크 기능이 있으면 좋겠다는 생각이 들어서 찾아봤다.mypy, mypyc, pytype 등이 있었지만 지금 사용하고 있는 Intellij에서 쉽게 사용할 수 있는 pyright가 제일 나은것 같다. 그래서 Pyright에 대한 내용을 정리해보고자 한다.Pyright란?Pyright는 Microsoft에서 개발한 Python 정적 타입 검사기이다. PEP 484의 타입 힌팅(type hinting) 표준을 따르며, 파이썬 코드에서 타입 오류를 빠르게..

2024. 10. 24. 18:13

python

[python] BeautifulSoup 기능 정리

BeautifulSoup는 HTML을 파싱하여 특정 요소를 탐색하고 수정할 수 있는 강력한 도구이다. 사용방법은 어렵지 않으나 매번 필요할 때마다 기능을 찾아서 적용하다 보니 정확한 사용법을 모르고 하는 듯 하여, 공식 문서를 보고 기능을 전체적으로 숙지할 필요가 있을 것 같다. 그래서 자주 사용할만한 기능의 동작방식을 이해하고 정리해 보았다.1. 탐색1) find & find_all특정 태그를 찾는다. find는 첫 번째 매칭되는 태그만, find_all은 모두 찾는다.사용예시from bs4 import BeautifulSouphtml = """ 메시지1 메시지2 """soup = BeautifulSoup(html, "html.parser")print(soup.fi..

2024. 10. 23. 07:36

langchain

[번역][langgraph tutorial] Quick Start - Part 7. 시간 여행(Time Travel)

langgraph의 공식문서를 번역해 놓은 자료입니다. 이해하기 쉽게 예제는 변경하였습니다. 또한 필요한 경우 부연 설명을 추가하였습니다. 문제가 되면 삭제하겠습니다.https://langchain-ai.github.io/langgraph/tutorials/introduction/Part 7: 시간 여행(Time Travel)일반적인 챗봇 워크플로우에서는 사용자가 작업을 완료하기 위해 챗봇과 1회 이상 상호작용한다. 이전 섹션에서는 메모리를 추가하고 사람을 루프에 포함시켜 그래프 상태를 체크포인팅하고 상태를 수동으로 재정의하여 향후 응답을 제어하는 방법을 살펴보았다.하지만 사용자가 이전 응답에서 시작하여 "분기"하여 별도의 결과를 탐색할 수 있도록 하려면 어떻게 해야 할까? 또는 사용자가 실수를 수정하거..

2024. 10. 15. 21:52

langchain

[번역][langgraph tutorial] Quick Start - Part 6. 상태 커스트마이징하기

langgraph의 공식문서를 번역해 놓은 자료입니다. 이해하기 쉽게 예제는 변경하였습니다. 또한 필요한 경우 부연 설명을 추가하였습니다. 문제가 되면 삭제하겠습니다.https://langchain-ai.github.io/langgraph/tutorials/introduction/Part 6: 상태 커스트마이징하기지금까지 우리는 간단한 상태에 의존해 왔다(그것은 단순히 메시지 목록일 뿐이다). 이 간단한 상태로도 많은 것을 할 수 있지만, 메시지 목록에 의존하지 않고 복잡한 동작을 정의하려면 상태에 추가 필드를 추가할 수 있다. 이 섹션에서는 이를 설명하기 위해 우리의 챗봇을 새로운 노드로 확장할 것이다.위의 예에서 우리는 사람을 포함시켰고 그래프는 도구가 호출될 때마다 항상 중단되었다. 만약 우리의 챗..

2024. 10. 15. 21:50

langchain

[번역][langgraph tutorial] Quick Start - Part 5. 상태(state)를 수동으로 업데이트 하기

langgraph의 공식문서를 번역해 놓은 자료입니다. 이해하기 쉽게 예제는 변경하였습니다. 또한 필요한 경우 부연 설명을 추가하였습니다. 문제가 되면 삭제하겠습니다.https://langchain-ai.github.io/langgraph/tutorials/introduction/Part 5: 상태(State)를 수동으로 업데이트 하기이전 섹션에서는 그래프를 중단하여 사람이 그 작업을 확인할 수 있는 방법을 보여주었다. 이를 통해 사람은 상태를 읽을(read) 수 있지만, 에이전트의 경로를 변경하려면 쓰기(write) 권한이 필요하다.다행히도 LangGraph를 사용하면 상태를 수동으로 업데이트할 수 있다. 상태를 업데이트하면 에이전트의 행동을 수정하여 에이전트의 궤적을 제어할 수 있다(심지어 과거를 수..

2024. 10. 15. 21:48

langchain

[번역][langgraph tutorial] Quick Start - Part 4. Human-in-the-loop

langgraph의 공식문서를 번역해 놓은 자료입니다. 이해하기 쉽게 예제는 변경하였습니다. 또한 필요한 경우 부연 설명을 추가하였습니다. 문제가 되면 삭제하겠습니다.https://langchain-ai.github.io/langgraph/tutorials/introduction/#part-4-human-in-the-loopPart 4: Human-in-the-loop에이전트는 신뢰할 수 없을 때가 있으며, 작업을 성공적으로 수행하기 위해 사람의 개입이 필요할 수 있다. 마찬가지로, 일부 작업에 대해서는 실행하기 전에 사람의 승인이 필요할 수 있다. 이것은 모든 것이 의도대로 진행되는지 확인하기 위함이다.LangGraph는 여러 방식으로 사람이 참여하는 워크플로우를 지원한다. 이번 섹션에서는 LangGr..

2024. 10. 15. 21:46

langchain

[번역][langgraph tutorial] Quick Start - Part 3. 챗봇에 메모리 기능 추가하기

langgraph의 공식문서를 번역해 놓은 자료입니다. 이해하기 쉽게 예제는 변경하였습니다. 또한 필요한 경우 부연 설명을 추가하였습니다. 문제가 되면 삭제하겠습니다.https://langchain-ai.github.io/langgraph/tutorials/introduction/#part-3-adding-memory-to-the-chatbotPart 3: 챗봇에 메모리 추가하기챗봇은 이제 도구를 사용하여 사용자 질문에 대답할 수 있지만, 이전 컨텍스트(Context)를 기억하지 못하기 때문에 일관된 멀티 턴 대화를 진행하는 데 한계가 있다.LangGraph는 지속적인 체크포인트(checkpointing)를 통해 이 문제를 해결한다. 그래프를 컴파일할 때 checkpointer를 제공하고, 그래프를 호출..

2024. 10. 15. 21:45

langchain

[번역][langgraph tutorial] Quick Start - Part 2. 도구(Tool)로 챗봇 강화하기

langgraph의 공식문서를 번역해 놓은 자료입니다. 이해하기 쉽게 예제는 변경하였습니다. 또한 필요한 경우 부연 설명을 추가하였습니다. 문제가 되면 삭제하겠습니다.https://langchain-ai.github.io/langgraph/tutorials/introduction/#part-2-enhancing-the-chatbot-with-toolsPart 2: 도구(Tool)로 챗봇 강화하기챗봇이 "memory"로 답변할 수 없는 질문을 처리하기 위해, 웹 검색 도구를 사용할 것이다. 이 도구를 사용하여 챗봇이 관련 정보를 찾고 더 나은 응답을 제공할 수 있도록 할 수 있다.다음 단계는 웹 검색 도구를 챗봇에 추가하는 것이다. 이렇게 하면 사용자가 묻는 질문에 대해 더 풍부하고 정확한 정보를 제공할..

2024. 10. 15. 21:43