langchain

[langchain] fake llm으로 실행시간 테스트

LangChain에서 자주 사용되는 네 가지 메서드인 invoke, ainvoke, stream, astream를 실행할 때의 실제 llm을 호출하지 않고 fake llm을 통해 실행시간 테스트를 해보자.fake llm은 실제 llm을 호출하는 방식이 아닌 사전에 응답을 정의하고 해당 응답을 리턴하는 방식이다. 실제 llm은 호출하지 않는다.기본 코드실행시간을 측정하기 위한 데코레이터 함수를 두 개 만들었다.import timefrom functools import wrapsdef elapsed_time(func): @wraps(func) def wrapper(*args, **kwargs): start_time = time.perf_counter() result = f..

2024. 8. 25. 17:52

langchain

[langchain] llm의 invoke, ainvoke, stream, astream 실행시간 테스트

LangChain에서 자주 사용되는 네 가지 메서드인 invoke, ainvoke, stream, astream를 실행할 때의 실행시간에 얼마나 차이가 있는지 테스트 해보았다.기본 코드실행시간을 측정하기 위한 데코레이터 함수를 두 개 만들었다.import timefrom functools import wrapsdef elapsed_time(func): @wraps(func) def wrapper(*args, **kwargs): start_time = time.perf_counter() result = func(*args, **kwargs) end_time = time.perf_counter() print("Sync execution time:"..

2024. 8. 25. 16:56

langchain

[langchain] Fake LLM 사용하기

LangChain은 다양한 언어 모델과의 상호작용을 간편하게 할 수 있는 프레임워크이다. 이 중에서도 테스트나 데모 목적으로 가짜 응답을 생성할 수 있는 도구로 FakeListLLM과 FakeStreamingListLLM을 제공한다. 이 두 도구는 LLM(대형 언어 모델)의 응답을 시뮬레이션할 수 있으며, 스트리밍 여부에 따라 다르게 동작한다.여기에서는 FakeListLLM과 FakeStreamingListLLM의 차이점, 스트리밍을 사용하는 것과 사용하지 않는 것의 예제, 그리고 sleep을 활용한 스트리밍 응답의 지연 효과를 알아보자.1. FakeListLLM - 기본적인 가짜 응답 생성FakeListLLM은 가짜 응답을 생성하기 위한 기본적인 도구이다. 이 도구는 가짜 응답 리스트를 순서대로 반환하..

2024. 8. 25. 15:26

langchain

[langchain] invoke, ainvoke, stream, astream의 차이점

LangChain에서 자주 사용되는 네 가지 메서드인 invoke, ainvoke, stream, astream의 차이점과 각각의 사용 사례에 대해 알아보자.기본 코드openai를 호출하는 간단한 예제로 테스트를 해보자. 아래는 기본 코드이다.from dotenv import load_dotenvfrom langchain.prompts import PromptTemplatefrom langchain_core.output_parsers import StrOutputParserfrom langchain_openai import ChatOpenAIload_dotenv()llm = ChatOpenAI( temperature=0, model_name="gpt-4o")template = "{countr..

2024. 8. 25. 11:32

langchain

langfuse 설치 (self-hosted)

Langfuse는 애플리케이션의 성능 및 상태를 모니터링하고 분석하는 데 도움을 주는 오픈소스 도구이다. 여기서는 Langfuse를 self-hosted 환경에서 설치하고 구성하는 방법을 단계별로 알아보자.사전 준비1. 서버 환경 준비Langfuse를 설치하기 위해서는 Linux 기반의 서버가 필요하다. 최소 요구 사항은 다음과 같다.CPU: 2개 이상의 vCPURAM: 4GB 이상디스크: 20GB 이상의 여유 공간2. Docker 및 Docker Compose 설치Langfuse는 Docker 컨테이너로 배포할 수 있다. 이를 위해 Docker와 Docker Compose가 설치되어 있어야 한다.여기서는 centos 9에서 설치를 한다.Docker 설치sudo yum install -y yum-uti..

2024. 8. 21. 13:21

langchain

[langchain] 시간 가중 벡터저장소 검색기 (Time-weighted vector store retriever)

시간 가중 벡터 저장소 검색기는 의미론적 유사성과 시간에 따른 가중치 적용을 조합하여 사용한다.스코어링 알고리즘은 아래와 같다.semantic_similarity + (1.0 - decay_rate) ^ hours_passed특히, hours_passed는 객체가 마지막으로 액세스된 이후 경과한 시간을 나타내며, 생성된 이후의 시간이 아니다. 이는 자주 액세스되는 객체가 "신선한" 상태로 유지됨을 의미한다.from datetime import datetime, timedeltaimport faissfrom langchain.retrievers import TimeWeightedVectorStoreRetrieverfrom langchain_community.docstore import InMemoryDoc..

2024. 6. 27. 07:25

langchain

[langchain] 셀프 쿼리 검색기 (Self-querying)

SelfQueryRetriever는 이름에서 알 수 있듯이 자체적으로 질문을 할 능력이 있다. 특히, 자연어 검색어가 있다면, Retriever는 구조화된 쿼리를 작성하기 위해 쿼리를 작성하는 LLM 체인을 사용하고 Vector Store를 검색할 때 적용한다. 저장된 문서를 검색할 때 유사도 검색 뿐만 아니라 사용자 쿼리에서 저장된 문서 metadata에 대한 필터를 수행한다.SelfQueryRetriever를 사용하기 위해서는 lark 패키지를 설치해야 한다.pipenv install larkSelfQueryRetriever 임베딩아래는 jira issue에 대한 샘플데이터를 추가하였다. 그리고 project_name, issue_type, priority, assignee, job_days 5개의 ..

2024. 6. 27. 06:54

langchain

[langchain] 다중 벡터저장소 검색기(MultiVector Retriever)

하나의 문서를 여러 벡터에 저장하는 게 도움이 될 수 있다. 여러 가지 유용한 유스케이스가 있다. 하나의 문서당 여러 가지 벡터를 만드는데는 많이 복잡할 수 있다. MultiVectorRetriever를 통해 여러가지 벡터를 일반적인 방법이다.문서당 여러 개의 벡터를 저장하는 것이 유리한 경우가 있다. 이는 여러 가지 사용 사례에서 유용할 수 있다. LangChain에는 이러한 설정을 쉽게 쿼리할 수 있게 해주는 기본 MultiVectorRetriever가 있다. 문서당 여러 벡터를 생성하는 방법은 아래와 같다작은 청크: 문서를 더 작은 청크로 나누고, 이를 임베딩한다. (ParentDocumentRetriever).요약: 각 문서에 대한 요약을 생성하고, 문서와 함께 (또는 대신) 이를 임베딩한다.가상..

2024. 6. 27. 06:53

langchain

[langchain] 다중 쿼리 검색기(MultiQueryRetriever)

거리 기반 벡터 데이터베이스 검색은 쿼리를 고차원 공간에 임베드(표현)하고, "거리"를 기준으로 유사한 임베드된 문서를 찾는다. 하지만, 검색은 쿼리의 미묘한 표현 변화나 임베딩이 데이터의 의미를 잘 포착하지 못하는 경우 다른 결과를 낼 수 있다. 이러한 문제를 수동으로 해결하기 위해 프롬프트 엔지니어링/튜닝이 때때로 수행되지만, 이는 번거로울 수 있다.MultiQueryRetriever는 사용자 입력 쿼리에 대해 다양한 관점에서 여러 쿼리를 생성하기 위해 LLM을 사용하여 프롬프트 튜닝 과정을 자동화한다. 각 쿼리마다 관련 문서 세트를 검색하고, 모든 쿼리에서 고유한 합집합을 취하여 더 큰 잠재적으로 관련 있는 문서 세트를 얻는다. 동일한 질문에 대해 여러 관점을 생성함으로써, MultiQueryRet..

2024. 6. 27. 06:52

langchain

[langchain] 상위 문서 검색기(Parent Document Retriever)

검색을 위해 문서를 분할할 때 다음과 같이 상충되는 요구사항이 있을 수 있다.문서를 작게 나눠서 의미를 정확하게 반영될 필요가 있다. 너무 길다면 임베딩 결과는 그 의미를 잃어버릴 수 있다.각 청크의 문맥이 포함할 만큼 충분히 길어야 할 필요가 있다.ParentDocumentRetriever는 문서를 분할하고 작게 유지한다. 우선, 작은 청크를 가져와서 부모 문서를 찾는다. 부모 문서는 짜르기 전의 원본 문서를 말한다.ParentDocumentRetriever의 기본 개념은 같은 문서 내용이라도 해당 내용만 포함되는 경우와 다른 내용과 같이 있는 경우 검색의 유사도가 달라질 수 있다. 그래서 필요한 내용이 검색이 잘 되게 하기 위해 문서를 작은 청크로 나누고 실제 검색된 내용의 부모 문서를 찾아서 LLM..

2024. 6. 27. 06:52

langchain

[langchain] 긴문맥 재정렬 (Long-Context Reorder)

모델의 아키텍처에 상관없이, 10개 이상의 검색된 문서를 포함하면 성능이 상당히 저하된다. 요약하자면, 모델이 긴 문맥의 중간에서 관련 정보를 사용해야 할 때 제공된 문서를 무시하는 경향이 있다. 자세한 내용은 여기를 참고이 문제를 피하기 위해, 검색 후 문서의 순서를 재배열하여 성능 저하를 방지할 수 있다.우선 sentence-transformers를 설치한다.pipenv install sentence-transformersembeddings = OpenAIEmbeddings()llm = ChatOpenAI()question = "테슬라와 일론머스크에 대해 알려줄 수 있어?"texts = [ "기계 학습은 많은 산업을 혁신하고 있습니다.", "모나리자는 세계에서 가장 유명한 그림 중 하나입니..

2024. 6. 27. 06:51

langchain

[langchain] 앙상블 검색기 elasticsearch 7에 적용

Elasticsearch에서 사용elasticsearch에서 한국어 형태소 분석기인 nori analyzer와 함께 EnsembleRetriever를 사용해보자.여기서도 동일하게 bm25 검색과 vector store 검색을 동시에 사용하는 EnsembleRetriever를 사용할 것이다.현재 테스트하고 있는 elasticsearch 버전은 7.17.5이다. 최신 버전인 8.x에서는 특별한 문제없이 잘 동작하는 것을 확인했는데, 현재는 7.x에서 사용해야 하는 상황이라 7.x 버전으로 테스트를 해본다.langchain-elasticsearch, elasticsearch 패키지 설치pipenv install langchain-elasticsearch elasticsearchbm25 검색Embedding아래..

2024. 6. 27. 06:51

langchain

[langchain] 앙상블 검색기(Ensemble Retriever)

EnsembleRetriever는 retriever 리스트를 입력으로 받아 이들의 get_relevant_documents() 메서드 결과를 합치고, 상호 순위 융합(Reciprocal Rank Fusion) 알고리즘을 기반으로 결과를 재정렬한다.다양한 알고리즘의 강점을 활용함으로써, EnsembleRetriever는 단일 알고리즘보다 더 나은 성능을 달성할 수 있다.가장 일반적인 패턴은 희소형 검색기(BM25 같은)와 밀집형 검색기(임베딩 유사성 같은)를 결합하는 것이다. 이 두 가지의 강점이 상호 보완적이기 때문이다. 이는 "하이브리드 검색"으로도 알려져 있다. 희소형 검색기는 키워드를 기반으로 관련 문서를 찾는 데 뛰어난 반면, 밀집형 검색기는 의미적 유사성을 기반으로 관련 문서를 찾는 데 뛰어나다..

2024. 6. 27. 06:50

langchain

[langchain] 문맥 압축 검색기(ContextualCompressionRetriever)

검색할 때의 한 가지 문제점은 시스템에 저장되어 있는 내용이 검색하려는 내용과 무관한 텍스트가 포함되어 같이 검색이 된다는 것이다. 이 모든 결과로 LLM으로 요청을 할 때 원하는 결과를 못 얻을 수 있다는 것이다. 이러한 문제를 해결하기 위한 방법이 바로 컨텍스트 압축을 사용하는 것이다. 아이디어는 간단하다. 이전 예제(vector store retriever)처럼 검색된 문서를 즉시 LLM에 보내서 결과를 얻는 대신 쿼리의 컨텍스트를 사용하여 문서를 압축하여 관련정보만 반환하는 것이다. 여기서 '압축'은 개별 문서의 내용을 압축하는 것과 문서 전체를 필터링 하는 것을 모두 의미한다.Vector store 기본검색을 해보자.embeddings = OpenAIEmbeddings()llm = ChatOpe..

2024. 6. 27. 06:49

langchain

[langchain] 벡터저장소 지원 검색기(VectorStore-backed Retriever)

VectorStore-backed Retriever는 문서를 검색하기 위해 벡터 저장소를 사용하는 Retriever를 말한다. Retriever 인터페이스에 대응하는 벡터 저장 클래스의 경량 래퍼 클래스이다. 벡터 저장소에서 구현되는 검색 메소드를 사용한다.아래의 코드 예제를 한번 보자.[main.py]from dotenv import load_dotenvfrom langchain_community.document_loaders import TextLoaderfrom langchain_community.vectorstores import Chromafrom langchain_openai import OpenAIEmbeddingsfrom langchain_text_splitters import Charac..

2024. 6. 27. 06:49