[TIL] Kafka란?
·
TIL
Kafka란? 분산 스트리밍 플랫폼으로 주로 실시간 데이터 피드의 빅 데이터 처리를 목적으로 사용된다.대용량 데이터 스트림을 저장하고 실시간으로 분석하거나 처리한다. 기본 구성 요소메시지(Message) - Kafka를 통해 전달되는 데이터 단위프로듀서(Producer) - 메시지를 생성하고 Kafka에 보내는 역할, 특정 토픽에 메시지를 보낸다.토픽(Topic) - 메시지를 저장하는 장소. 메시지는 토픽에 저장되었다가 소비자에게 전달된다.파티션(Partition) - 토픽을 물리적으로 나눈 단위키(Key) - 메시지를 특정 파티션에 할당하는 데 사용되는 값컨슈머(Consumer) - 토픽에서 메시지를 가져와 처리하는 역할브로커(Broker) - Kafka 클러스터의 각 서버를 의미, 메시지를 저장하고 ..