Kafka 핵심 개념 기술 피드백

내가 이해한 것

카프카란 대용량 이벤트 처리 시스템 디스크에 순차적으로 저장하기 때문에 속도가 빠름 비동기 처리 백에서 작동 직접적으로 클라이언트와 소통하지 않음 이녀석의 역할을 단순히 데이터를 저장하는 역할 jvm에 접근하지 않고 os cache page를 사용하기 때문에 속도가 빠름 실시간성이 강함 메세지 묶음 처리 그러나 용도에 따라 이것을 조정해서 사용가능

보완 및 정리

작성하신 내용에 대해 기술적인 피드백을 드립니다.

"카프카란 대용량 이벤트 처리 시스템": 맞습니다. Kafka는 고처리량(High-throughput)과 낮은 지연 시간(Low-latency)을 가진 분산 스트리밍 플랫폼이자 분산 이벤트 처리 시스템입니다.
"디스크에 순차적으로 저장하기 때문에 속도가 빠름": 이 부분은 정확합니다. Kafka는 모든 메시지를 파일 시스템의 로그 파일에 순차적으로 추가(append-only)합니다. 순차 쓰기는 하드디스크의 헤더 이동이 최소화되어 임의 쓰기(random write)보다 훨씬 빠릅니다. 또한, 메시지는 토픽(Topic)의 파티션(Partition)에 분산되어 저장되므로, 여러 파티션에 걸쳐 병렬적으로 순차 쓰기가 이루어지기 때문에 전체 처리량이 매우 높습니다.
"비동기 처리 백에서 작동 직접적으로 클라이언트와 소통하지 않음": 맞습니다. Kafka는 브로커(Broker)라는 서버 인스턴스로 구성된 클러스터 형태로 작동하며, 프로듀서(Producer)와 컨슈머(Consumer) 같은 클라이언트 애플리케이션은 Kafka 클라이언트 라이브러리를 통해 브로커와 TCP/IP 기반으로 통신합니다. 이 통신은 대부분 비동기적으로 이루어지며, 백엔드에서 데이터 파이프라인의 핵심 구성 요소로 활용됩니다.
"이녀석의 역할을 단순히 데이터를 저장하는 역할": Kafka의 역할을 "단순히 데이터를 저장하는 역할"로 한정하기보다는, 분산된 커밋 로그(Distributed Commit Log)이자 스트리밍 플랫폼으로 이해하는 것이 더 정확합니다. Kafka는 다음과 같은 핵심 역할을 수행합니다.
- 영속적인 메시지 저장: 프로듀서가 보낸 메시지를 특정 기간 동안 영구적으로 저장합니다.
- 메시지 브로커: 프로듀서와 컨슈머 사이에서 메시지를 중개하고, 여러 컨슈머가 동일한 메시지를 독립적으로 소비할 수 있도록 합니다.
- 내결함성 및 고가용성: 메시지를 여러 브로커에 복제하여(Replication) 브로커 장애 시에도 데이터 유실 없이 서비스를 지속할 수 있도록 합니다.
- 확장성: 클러스터에 브로커를 추가하는 방식으로 손쉽게 수평 확장이 가능하여 대량의 데이터를 처리할 수 있습니다.
- 실시간 데이터 파이프라인 및 스트리밍 애플리케이션: 데이터를 실시간으로 수집, 변환, 처리하는 데 필수적인 기반을 제공합니다.
"jvm에 접근하지 않고 os cache page를 사용하기 때문에 속도가 빠름": 이 부분은 기술적으로 오해의 소지가 있습니다. Kafka 브로커는 Java로 개발되었기 때문에 JVM(Java Virtual Machine) 위에서 동작합니다. "JVM에 접근하지 않고"라는 표현보다는, Kafka가 메시지 데이터를 JVM의 힙(Heap) 메모리에 직접 캐싱하는 대신, 운영체제의 페이지 캐시(OS Page Cache)를 적극적으로 활용하여 성능을 최적화한다는 의미로 이해하는 것이 정확합니다. OS 페이지 캐시는 JVM 힙 메모리 관리(예: 가비지 컬렉션)의 오버헤드를 줄이고, 시스템의 전체 메모리를 효율적으로 활용하여 더 많은 데이터를 캐싱할 수 있게 합니다.
"실시간성이 강함": 맞습니다. Kafka는 낮은 지연 시간으로 메시지를 전달하고 처리할 수 있어, 실시간 데이터 분석, 모니터링, 이벤트 처리 등의 시나리오에 매우 적합합니다.
"메세지 묶음 처리 그러나 용도에 따라 이것을 조정해서 사용가능": 맞습니다. 프로듀서는 여러 메시지를 모아서 한 번에 브로커로 전송하는 배치 처리(Batching)를 통해 네트워크 및 디스크 I/O 효율을 높입니다. 이 배치 크기, 배치 전송을 기다리는 시간 등은 프로듀서의 설정(예: batch.size, linger.ms)을 통해 조정할 수 있으며, 이는 처리량과 지연 시간 간의 트레이드오프를 결정하는 중요한 요소입니다.

누락된 주요 기술 개념 추가:

토픽(Topic): Kafka에서 메시지가 발행되는 논리적인 채널 또는 카테고리입니다. 모든 메시지는 특정 토픽에 속하며, 컨슈머는 특정 토픽을 구독하여 메시지를 소비합니다.
파티션(Partition): 토픽은 하나 이상의 파티션으로 나뉩니다. 각 파티션은 순서가 보장되는 변경 불가능한 메시지 시퀀스(로그)이며, Kafka의 병렬 처리와 확장성의 핵심 단위입니다. 서로 다른 파티션에 있는 메시지는 순서가 보장되지 않습니다.
오프셋(Offset): 각 파티션 내에서 메시지의 고유한 순차 ID입니다. 컨슈머는 이 오프셋을 사용하여 특정 파티션에서 어디까지 메시지를 읽었는지 추적합니다.
컨슈머 그룹(Consumer Group): 여러 컨슈머가 하나의 컨슈머 그룹을 구성하여 토픽의 파티션들을 분담하여 소비할 수 있습니다. 이를 통해 컨슈머 측에서도 확장성과 내결함성을 확보합니다. 한 파티션은 특정 시점에 한 컨슈머 그룹 내의 단 하나의 컨슈머에게만 할당됩니다.
리더(Leader)와 팔로워(Follower): 각 파티션에는 하나의 리더 파티션과 여러 팔로워 파티션이 존재합니다. 모든 프로듀서와 컨슈머 요청은 리더 파티션을 통해서만 이루어지며, 팔로워는 리더의 데이터를 복제하여 장애 발생 시 리더 역할을 인계받을 준비를 합니다. 이것이 Kafka의 내결함성을 제공하는 핵심 메커니즘 중 하나입니다.
Zookeeper 또는 KRaft: Kafka 클러스터의 메타데이터(토픽 구성, 파티션 리더 정보, 브로커 목록 등)를 관리하고 브로커들의 상태를 모니터링하는 데 사용되는 분산 코디네이션 서비스입니다. 최신 Kafka 버전에서는 Zookeeper를 대체하는 KRaft(Kafka Raft Metadata mode)가 도입되어 메타데이터 관리 시스템이 Kafka 브로커 자체에 통합되고 있습니다.