도서 요약

4장. 카프카 상세 개념 설명

"아파치 카프카 애플리케이션 프로그래밍" 도서를 정리한 내용입니다. 4 카프카 상세 개념 설명 4.1 토픽과 파티션 토픽은 카프카의 시작과 끝이다. 카프카를 사용하는 것은 토픽을 만들면서 시작된다. 토픽에 대해 잘 이해하고 설정을 잘하는 것이 카프카를 통한 데이터 활용도를 높이는 길이다. 4.1.1 적정 파티션 개수 토픽 생성 시 파티션 개수 고려사항 3가지 데이터 처리량 메시지키 사용 여부 브로커, 컨슈머 영향도 데이터 처리 속도를 올리는 방법은 2가지다. 컨슈머의 처리량을 늘리는 것 서버의 사양을 올리는 스케일 업 gc 튜닝 컨슈머를 추가해서 병렬처리량을 늘리는 것 데이터 처리량을 늘리는 가장 확실한 방법이다. 프로듀서가 보내는 데이터가 초당 1,000레코드이고 컨슈머가 처리할 수 있는 데이터가 초당..

2022. 12. 22. 20:03

도서 요약

3장. 카프카 기본 개념 설명

"아파치 카프카 애플리케이션 프로그래밍" 도서를 정리한 내용입니다. 3 카프카 기본 개념 설명 3.1 카프카 브로커, 클러스터, 주키퍼 하나의 서버에는 한 개의 카프카 브로커 프로세스가 실행된다. 카프카 브로커 서버 1대로도 기본 기능이 실행되지만 데이터를 안전하게 보관하고 처리하기 위해 3대 애상의 브로커 서버를 1개의 클러스터로 묶어서 운영한다. 카프카 클러스터로 묶인 브로커들은 프로듀서가 보낸 데이터를 안전하게 분산 저장하고 복제하는 역할을 수행한다. 데이터 저장, 전송 $ ls /tmp/kafka-logs # ------------ 1 drwxr-xr-x 6 macbookpro wheel 192 5 13 20:16 hello.kafka-0 drwxr-xr-x 6 macbookpro wheel 19..

2022. 12. 22. 20:02

도서 요약

2장. 카프카 빠르게 시작해보기

"아파치 카프카 애플리케이션 프로그래밍" 도서를 정리한 내용입니다. 2 카프카 빠르게 시작해보기 2.2 카프카 커맨드 라인 툴 2.2.1 kafka-topics.sh 토픽을 생성하는 2가지 방법 카프카 컨슈머 또는 프로듀서가 카프카 브로커에 생성되지 않은 토픽에 대해 데이터를 요청할 때 커맨드 라인 툴로 명시적으로 토픽을 생성하는 것 토픽 생성 $ bin/kafka-topics.sh \ --create \ --bootstrap-server localhost:9092 \ --topic hello.kafka \ 파티션 개수, 복제 개수, 토픽 데이터 유지 기간 옵션들을 지정하여 토픽을 생성하고 싶다면 다음과 같이 하면 된다. $ bin/kafka-topics.sh \ --create \ --bootstrap..

2022. 12. 22. 20:01

도서 요약

1장. 들어가며

"아파치 카프카 애플리케이션 프로그래밍" 도서를 정리한 내용입니다. 1. 들어가며 1.1 카프카의 탄생 링크드인에서는 파편화된 데이터 수집 분배 아키텍처 운영에 어려움 데이터를 생성하는 소스 애플리케이션과 타켓 애플리케이션을 연결해야 한다. 처음에는 어렵지 않았지만 점점 많아지면서 문제가 생김. 파편화된 데이터 파이프라인의 복잡도를 낮추기는 어려웠다. 결국, 신규 시스템을 만들기로 결정했고 그 결과물이 바로 아파치 카프카다. 카프카를 중앙에 배치하여 애플리케이션 사이의 의존도를 최소화하여 커플링을 완화했다. 카프카 도입 이전 아키텍처 카프카가 적용된 이후의 파이프라인 아키텍처 큐에 데이터를 보내느 것이 '프로듀서'이고 큐에서 데이터를 가져가는 것이 '컨슈머'다. 1.2 빅데이터 파이프라인에서 카프카의 역..

2022. 12. 22. 20:01