kafka 17
- Kafka는 세그먼트 단위로 지우고 키 단위로 압축한다
- Kafka 복제는 브로커 몇 대가 죽을 때까지 버틸까
- Kafka 멱등 프로듀서는 어떤 중복까지 막을까
- CDC·스트리밍·레이크하우스 데이터 플랫폼의 전체 구조
- Flink SQL의 UPDATE는 왜 두 줄로 나올까
- 실시간 테이블과 일별 테이블 중 어느 쪽을 믿을까
- 스트림 옆 Redis로 중복 거르고 윈도 세기
- Flink 잡은 재시작할 때 무엇을 들고 돌아오나
- Kafka Connect의 워커와 태스크가 나눠 맡는 일
- 변경 로그를 키마다 다시 적용하는 CDC 이해하기
- 한 번 늘리면 줄일 수 없는 Kafka 파티션과 순서, 병렬성
- Logstash로 Kafka 로그를 TCP 로그 시스템에 넘기기
- Structured Streaming은 Kafka 오프셋을 어디 둘까
- Avro 스키마 진화는 읽는 쪽이 쓴 쪽의 스키마를 알 때만 동작한다
- Kafka 전달 보장은 오프셋 커밋 순서가 정한다
- Kafka 로그를 Spark Streaming으로 HDFS에 쌓고 Hive 테이블로 다듬기까지
- 로그 수집 API에서 데이터 품질을 먼저 챙겼다