langchain

[langchain] 임베딩 (Embedding)

Embedding은 문서의 내용을 벡터로 표현하는 것을 말한다. 벡터로 표현함으로써 문서 간의 유사도, 감성, 분류, 관련성 등에 활용할 수 있다.쿼리 임베딩from dotenv import load_dotenvfrom langchain_openai import OpenAIEmbeddingsload_dotenv()embeddings = OpenAIEmbeddings()text = "LangChain 임베딩 테스트"query_result = embeddings.embed_query(text)print(query_result[:3])실행결과[-0.008043124940034098, -0.018205062666630877, -0.006530683218275895]embed_query를 통해 주어진 문장을 임베..

2024. 6. 5. 15:08
langchain

[langchain] 텍스트 분할 (Text Splitter)

CharacterTextSplitter기본적으로 \n\n을 기준으로 문자를 분할한다. 청크 크기는 문자수 기준으로 한다.[sample.txt]동해물과 백두산이 마르고 닳도록 하느님이 보우하사 우리나라 만세무궁화삼천리화려 강산대한사람 대한으로 길이 보전하세CharacterTextSplitter를 사용해보자 (chunk_size=8)chunk_size를 8로 하면 어떻게 짤려지는지 알아보자.loader = TextLoader("sample.txt")document = loader.load()text_splitter = CharacterTextSplitter(chunk_size=8, chunk_overlap=0)texts = text_splitter.split_documents(document)for i, t..

2024. 6. 5. 15:07
langchain

[langchain] 메모리 (memory)

ConversationBufferMemoryConversationBufferMemory는 메시지 내용을 변수에 저장하고 나중에 다시 꺼내올 때 사용한다.from langchain.memory import ConversationBufferMemorymemory = ConversationBufferMemory()memory.save_context({"input": "안녕"}, {"output": "안녕하세요!"})variables = memory.load_memory_variables({})print(variables)출력결과{'history': 'Human: 안녕\nAI: 안녕하세요!'}만일 Chat 용도로 message 이력을 가져오고 싶다면 return_message=True를 주면 된다.memory ..

2024. 6. 5. 15:04
langchain

[langchain] 모델 (model)

ChatOpenAIChatOpenAI는 OpenAI 사의 Large Language Model 입니다.기본적인 사용방법은 아래와 같다.from dotenv import load_dotenvfrom langchain.chains import LLMChainfrom langchain.prompts import PromptTemplatefrom langchain_openai import ChatOpenAIload_dotenv()llm = ChatOpenAI()template = "{country}에서 야구선수 중 역사상 가장 뛰어난 사람 1명만 말한다면?"prompt = PromptTemplate.from_template(template=template)chain = LLMChain(prompt=prompt,..

2024. 6. 5. 15:03
langchain

[langchain] 출력 파서 (Output Parser)

LangChain의 OutputParser는 LangChain 프레임워크에서 다양한 종류의 출력 데이터를 파싱하고 처리하기 위한 중요한 컴포넌트이다. 이 프레임워크는 대형 언어 모델을 활용하여 텍스트 기반 애플리케이션을 만들 때 사용된다. OutputParser는 모델의 출력 결과를 적절한 형식으로 변환하고, 이를 애플리케이션의 다음 단계로 전달하는 역할을 한다.출력 데이터를 string, json, List 등 원하는 형태대로 결과를 받아서 이후 데이터 조작하기 쉽게 만들어준다.모든 Output Parser는 get_format_instructions()를 가지고 있고 Runnable이며 체인에 주입할 수 있다. 또한 PromptTemplate를 통해 직접 instructions를 주입할 수도 있다.P..

2024. 6. 5. 15:01
langchain

[langchain] Prompt Template 사용법

PromptTemplate은 언어 모델에 프롬프트를 생성하기 위한 사전 정의된 포맷이다. 템플릿은 작업을 수행하는데 필요한 instructions, few-shot 예제, 특정 컨텍스트와 질문을 포함할 수 있다.LangChain은 PromptTemplate으로 생성 및 작동하는 기능을 제공한다. LangChain은 다양한 언어모델에서 사용할 수 있는 템플릿을 재사용 할 수 있도록 템플릿을 만드는 것을 목표로 하고 있다.일반적으로, 언어 모델은 프롬프트가 string이거나 list 형태여야 한다.PromptTemplate문자열 프롬프트에 대한 템플릿을 만드는데 PromptTemplate를 사용한다.기본적으로 PromptTemplate는 템플릿의 문자열 포맷을 사용한다.from langchain.prompt..

2024. 6. 5. 15:00
langchain

[langchain] LCEL과 Runnable

LCEL은 무엇인가? LCEL은 LangChain Expression Language의 약어인데 기본적인 방식으로 Chain을 사용하도 문제가 없지만 코드를 좀 더 간략하게 사용하고 병렬처리, 비동기, 스트리밍 기능을 제공하기 위해 LCEL을 사용한다.우선 예제를 하나 보자.PromptTemplate을 사용하여 openai를 호출하는 방법은 아래와 같이 사용할 수 있다.기본 방식from dotenv import load_dotenvfrom langchain.prompts import PromptTemplatefrom langchain_openai import ChatOpenAIload_dotenv()template = "{language}로 1부터 10까지 출력하는 함수 만들어줘"prompt_templa..

2024. 6. 5. 15:00
langchain

[langchain] openai 사용법

langchain을 사용하여 기본적인 openai를 사용하는 방법이다.OpenAI API 키 발급OpenAI API를 사용하기 위해서는 우선 API 키를 발급해야 한다. API 키를 발급하는 방법은 테디팀 사이트에 잘 정리되어 있으니 참고하기 바란다.https://teddylee777.github.io/openai/openai-api-key/환경 세팅pipenv 사용python에서는 가상환경을 사용하는 방법은 여러가지가 있는데 여기서는 가상환경을 위해 pipenv를 사용한다.Pipenv 매뉴얼: https://pipenv.pypa.io/en/latest/ pipenv가 설치되지 않았다면 pip install pipenv를 통해 설치를 한다.프로젝트 루트에 Pipfile 파일을 생성한다. (파일명: Pip..

2024. 6. 5. 14:59
langchain

[LangChain] 임베딩(embedding)

ChatGPT and LangChain: The Complete Developer's Masterclass 강좌의 일부를 요약한 내용이다.Pipfile 정의[[source]]url = "https://pypi.org/simple"verify_ssl = truename = "pypi"[packages]langchain = "==0.1.16"openai = "==1.21.2"langchain-openai = "==0.1.3"python-dotenv = "==1.0.0"chromadb = "*"langchain-community = "==0.0.33"[dev-packages][requires]python_version = "3.12"pipenv install로 패키지 설치경제상식.txt 로딩글자를 짜른다임베딩..

2024. 5. 22. 10:05
langchain

[LangChain] 메모리(Memory) 관리

ChatGPT and LangChain: The Complete Developer's Masterclass 강좌의 일부를 요약한 내용이다.LangChain의 메모리 관리를 위해 만들어볼 프로그램은 아래와 같다.사용자가 1+1을 물어보면 2라고 대답할 것이다. 그리고 And 3 more?라고 물어보면 뭐라고 대답할까? 만일 1+1이 2라는 사실을 알고 있다면 5라고 대답하겠지만 그렇지 않으면 정5라고 대답하기 어려울 것이다. ChatGPT prompt에서는 기본적으로 이전 context정보를 알지 못한다. 그래서 And 3 more?라고 물어보면 무엇을 묻는 건지 알수 없을 것이다. 그래서 이를 위해 이전 prompt정보를 저장해두는 메모리가 필요할 것이다. 이를 사용하는 방법을 알아보자.사용자 입력 받기..

2024. 5. 22. 10:03
langchain

[LangChain] 체인(Chain)은 무엇인가?

ChatGPT and LangChain: The Complete Developer's Masterclass 강좌의 일부를 요약한 내용이다.샘플 프로그램만들어볼 프로그램은 아래와 같다.위의 시나리오는 CLI로 task와 language를 input으로 받고 파싱을 한 다음 prompt를 생성한 다음 OpenAI에 요청을 한다. 그리고 우리가 원하는 결과(프로그램)를 받는 것이다. 또한 OpenAI의 응답을 Bard에게 프로그램에 버그가 있는지 확인요청을 다시 하고 그 결과를 받는다.LangChain의 두 가지 목표가 있다.텍스트 생성 파이프라인의 단계를 자동화하는 도구를 제공도구를 연결하기 쉽게 한다OpenAI는 Llama나 Claude로 변경할 수도 있어야 한다. 즉, 다른 LLM으로 쉽게 바꿀 수 있어..

2024. 5. 22. 09:58
langchain

[LangChain] 간단한 프로그램 만들어보기

간단한 LangChain 프로그램을 만들어보자.prompt로 "재미있는 이야기 하나 해줘~"라고 질문하면 응답을 받는 형식이다.여기서 필요한 것은 아래와 같다.Python 3 설치 (python 3.12)OpenAI + LangChain 패키지 설치 (pipenv 사용)OpenAI API key (ChatGPT API 호출을 위해 필요)코드 에디터 + 터미널패키지 설치우선 Pipfile을 생성하고 langchain-openai를 추가한다.[[source]]url = "https://pypi.org/simple"verify_ssl = truename = "pypi"[packages]langchain = "==0.1.16"openai = "==1.21.2"langchain-openai = "==0.1.3"[..

2024. 5. 22. 09:51
langchain

[LangChain] 랭체인은 무엇인가?

ChatGPT and LangChain: The Complete Developer's Masterclass 강좌의 일부를 요약한 내용이다.랭체인(LangChain)은 무엇인가? 이것을 한마디로 설명하기는 어려운 주제이다. LangChain을 이해하기 위해서 pdf.ai 사이트의 동작을 이해하고 LangChain이 어떤 역할을 하는지를 파악하면 보다 이해하는 데 도움이 될 수 있다.아래는 https://pdf.ai 이다. 이 사이트에서 하는 일은 pdf 파일을 업로드 하고 pdf 파일의 내용에 대해 chatgpt에게 물어보면 문서의 내용에 대해 친절하게 대답을 해준다. chatgpt에서 물어보는 것과 동일하게 문서의 내용에 대한 설명을 해준다는 것이다.위의 사이트에서 왼쪽은 사용자가 업로드한 pdf 파일이..

2024. 5. 22. 09:47
langchain

pipenv를 통한 의존성 관리

pipenv는 Python 프로젝트의 의존성 관리를 위한 도구이다. 주로 프로젝트의 가상 환경 관리와 의존성 설치를 단순화하는 데 사용된다.이전에는 보통 pip와 virtualenv를 사용하여 파이썬 프로젝트를 관리했지만, pipenv는 이러한 작업들을 훨씬 더 편리하게 만들어준다.가상 환경 관리: 프로젝트마다 독립적인 가상 환경을 생성하여 각 프로젝트의 의존성을 격리시킨다.의존성 관리: Pipfile과 Pipfile.lock 파일을 사용하여 프로젝트의 의존성을 관리한다. 이를 통해 의존성의 정확한 버전을 추적하고 공유할 수 있다.간편한 설치 및 삭제: pipenv install 명령을 사용하여 프로젝트의 의존성을 설치하고, pipenv uninstall 명령을 사용하여 의존성을 제거할 수 있다.가상 환..

2024. 5. 11. 09:57
반응형