ksqldb
-
[Kafka 101] KSQL (KSqlDB)개발자 라이프/카프카 2020. 6. 21. 21:07
들어가며 카프카는 브로커를 중심으로 다양한 데이터 파이프라인이 구성될 수 있습니다. 그중 이전 글에서 다루었던 카프카 스트림즈는 토픽 간 Sub/Pub을 통해 브로커 내부 파이프라인을 구축할 수 있도록 합니다. 이번 KSQL 또한 카프카 스트림즈처럼 브로커 내부 파이프라인을 구축하는 데에 특화된 Confluent 솔루션입니다. 이번 글에서는 KSQL 이 무엇인지 살펴보고, 구성과 활용에 대해 간단히 소개하겠습니다. KSQL 카프카는 내부 토픽을 Sub하여 분석하거나, Sub 한 토픽을 정제하여 다시 토픽으로 Pub 할 수 있습니다. 그렇다면 이러한 파이프라인을 구축할 때, 어떤 방법을 고려할 수 있을까요? 카프카에서는 다음 3가지 방법을 고려할 수 있습니다. Kafka Client를 이용한 Consume..