DATAconfluent를 사용해 CDC 기반의 Real-Time 파이프라인을 경험하며 알게된 데이터를 효율적으로 처리하는 방법시작하며 최근들어 streaming 관련 데이터 파이프라인 기술에 흥미가 생길 시점에 마침, 회사에서 Co…NASA15152024-02-10 5 min
DATAApache Kafka Consumer Group과 Consumer Rebalancing에 대해서Consumer Group (Consumer 그룹) Brocker는 Producer가 전송한 Record를…NASA15152022-12-21 9 min
DATAApache Kafka Consumer의 동작 방식에 대해서 [Poll method, Offset, Commit]✔ KAFKA Consumer Kafka Producer가 Record를 생산하고, Brocker의 Top…NASA15152022-12-18 4 min
DATAApache Kafka Pruducer의 동작 방식에 대해서 [Processing method, ack, Idempotence]✔ KAFKA Producer Kafak Client인 Producer의 기본적인 역할은 Source에 있…NASA15152022-12-02 6 min
DATAApache Kafka란 무엇일까? [Kafka의 구조와 기초개념]✔ What is the KAFKA???? 아마 대부분의 데이터 엔지니어라면, Streaming Data …NASA15152022-12-01 3 min
DevelopVisual Studio Code 기반의 WSL 개발 환경 만들기HOW to Install WSL??? Window10 -> 11로 넘어오며 Linux 용 Window 하…NASA15152022-10-18 2 min