Topic
-
Kafka 기초 - Topic, Partition, SegmentFramework & Library/Kafka 2023. 2. 17. 17:20
Topic, Partition, Segment Kafka의 주요 요소 - Kafka Cluster : Kafka의 Broker들의 모임, Kafka는 확장성과 고가용성을 위하여 Broker들이 Cluster로 구성된다. - Broker : 각각의 Kafka 서버, 동일 노드에 여러 개의 Broker들을 띄울 수 있다. - Topic : Kafka 안에서 메시지가 저장되는 장소의 논리적인 표현 - Zookeeper : Kafka Cluster의 정보 및 분산 처리 관리 등 메타 데이터를 저장, Kafka를 띄우기 위해 반드시 실행되어야 한다. - Producer : 메시지를 생산해서 Kafka의 Topic으로 메시지를 보내는 애플리케이션 - Consumer : Topic의 메시지를 가져와서 소비하는 애플리..
-
Kafka 기초 - Kafka란?Framework & Library/Kafka 2023. 2. 17. 16:14
Kafka란? Kafka(카프카)란? Apache Kafka는 고성능 데이터 파이프라인, 스트리밍 분석, 데이터 통합 및 미션 크리티컬 애플리케이션을 위해 제작된 오픈 소스 분산 이벤트 스트리밍 플랫폼이다. 이벤트 스트리밍이란 인체의 중추 신경계와 같다. 즉, 비즈니스가 더욱 소프트웨어화, 자동화됨에 따라 상시 가동되는 소프트웨어를 사용하는 세상을 위한 기반 기술이다. Kafka의 이벤트 스트리밍은 Fortune 100대 기업의 60% 이상을 포함하여 수많은 산업 및 조직의 다양한 사례에 적용된다. 1. 증권 거래소, 은행 및 보험과 같은 실시간으로 지불 및 금융 거래를 처리 2. 물류 및 자동차 산업과 같이 자동차, 트럭, 차량 및 선적을 실시간으로 추적하고 모니터링 3. 공장 및 풍력 발전 단지와 같..