langchain
[langchain] Model Caches 사용하기
LLM을 사용할 때, 동일한 입력에 대해 반복적으로 호출되는 쿼리의 결과를 캐싱하는 것이 효율적이다. 이를 위해 LangChain에서는 다양한 방식으로 캐싱을 지원한다. LangChain에서 캐시를 사용하는 방법을 알아보고, 특히 Memory, SQLite, SQLAlchemy, Elasticsearch에서 어떻게 캐싱하는지 확인해보자.1. Model Caches란?Model Caches는 특정 입력에 대한 모델의 응답을 저장해두었다가, 동일한 입력에 대한 요청이 있을 때 저장된 응답을 반환하는 기능이다. 이를 통해 반복적인 연산을 피하고, 응답 시간을 단축할 수 있다. LangChain은 이 기능을 기본적으로 지원하며, 여러 유형의 저장소를 캐시로 사용할 수 있다.ModelCaches를 사용할 수 있..
2024. 8. 26. 06:38