langchain
[langchain] Fake LLM 사용하기
LangChain은 다양한 언어 모델과의 상호작용을 간편하게 할 수 있는 프레임워크이다. 이 중에서도 테스트나 데모 목적으로 가짜 응답을 생성할 수 있는 도구로 FakeListLLM과 FakeStreamingListLLM을 제공한다. 이 두 도구는 LLM(대형 언어 모델)의 응답을 시뮬레이션할 수 있으며, 스트리밍 여부에 따라 다르게 동작한다.여기에서는 FakeListLLM과 FakeStreamingListLLM의 차이점, 스트리밍을 사용하는 것과 사용하지 않는 것의 예제, 그리고 sleep을 활용한 스트리밍 응답의 지연 효과를 알아보자.1. FakeListLLM - 기본적인 가짜 응답 생성FakeListLLM은 가짜 응답을 생성하기 위한 기본적인 도구이다. 이 도구는 가짜 응답 리스트를 순서대로 반환하..
2024. 8. 25. 15:26