langchain
[langchain] fake llm으로 실행시간 테스트
LangChain에서 자주 사용되는 네 가지 메서드인 invoke, ainvoke, stream, astream를 실행할 때의 실제 llm을 호출하지 않고 fake llm을 통해 실행시간 테스트를 해보자.fake llm은 실제 llm을 호출하는 방식이 아닌 사전에 응답을 정의하고 해당 응답을 리턴하는 방식이다. 실제 llm은 호출하지 않는다.기본 코드실행시간을 측정하기 위한 데코레이터 함수를 두 개 만들었다.import timefrom functools import wrapsdef elapsed_time(func): @wraps(func) def wrapper(*args, **kwargs): start_time = time.perf_counter() result = f..
2024. 8. 25. 17:52
