[루닥스 블로그] 연습만이 살길이다
    • 메뉴 닫기
    • 글작성
    • 방명록
    • 환경설정
      • 분류 전체보기 (495)
        • 도서 요약 (114)
        • 소프트웨어 아키텍처 패턴 (21)
        • java (25)
        • spring (48)
        • elasticsearch (17)
        • kafka (6)
        • 개발도구(Intellij, vscode 등) (14)
        • maven (8)
        • front-end (35)
        • python (41)
        • langchain (55)
        • langgraph (81)
        • LLM, AI 도구 (5)
        • database (4)
        • chrome extension (3)
        • 파워포인트,키노트 (2)
        • 여러가지 (15)
    • 홈
    • 태그
    • 방명록
    langchain

    [langchain] CharacterTextSplitter와 RecursiveCharacterTextSplitter의 차이

    langchain에서 rag를 사용할 때 긴 텍스트를 효율적으로 다루는 것이 매우 중요하다. 특히 언어 모델을 사용할 때는, 한 번에 처리할 수 있는 토큰의 수가 제한적이므로 텍스트를 적절한 크기로 분할하는 것이 필수이다. 이를 위해 Hugging Face의 CharacterTextSplitter와 RecursiveCharacterTextSplitter 같은 도구들이 사용된다. 여기서는 이 개의 차이점을 한번 알아보자.1. CharacterTextSplitter란?CharacterTextSplitter는 텍스트를 일정한 크기로 분할할 수 있는 간단한 도구이다. 이 도구는 주어진 텍스트를 기준으로 정의된 구분자를 사용하여 텍스트를 나눈다. 주로 특정 문자를 기준으로 분할하기 때문에, 문장이나 문단 단위로 ..

    2024. 9. 6. 08:59
    • «
    • 1
    • »
    반응형

    전체 방문자

    오늘
    어제
    전체

    전체 카테고리

    • 분류 전체보기 495
      • 도서 요약 114
      • 소프트웨어 아키텍처 패턴 21
      • java 25
      • spring 48
      • elasticsearch 17
      • kafka 6
      • 개발도구(Intellij, vscode 등) 14
      • maven 8
      • front-end 35
      • python 41
      • langchain 55
      • langgraph 81
      • LLM, AI 도구 5
      • database 4
      • chrome extension 3
      • 파워포인트,키노트 2
      • 여러가지 15
    • 최근 글
    • 최근 댓글

    최근 글

    최근댓글

    블로그 인기글

    728x90
    반응형
    Powered by Privatenote Copyright © [루닥스 블로그] 연습만이 살길이다 All rights reserved. TistoryWhaleSkin3.4

    티스토리툴바

    개인정보

    • 티스토리 홈
    • 포럼
    • 로그인

    단축키

    내 블로그

    내 블로그 - 관리자 홈 전환
    Q
    Q
    새 글 쓰기
    W
    W

    블로그 게시글

    글 수정 (권한 있는 경우)
    E
    E
    댓글 영역으로 이동
    C
    C

    모든 영역

    이 페이지의 URL 복사
    S
    S
    맨 위로 이동
    T
    T
    티스토리 홈 이동
    H
    H
    단축키 안내
    Shift + /
    ⇧ + /

    * 단축키는 한글/영문 대소문자로 이용 가능하며, 티스토리 기본 도메인에서만 동작합니다.