seunggabi

스트림 옆 Redis로 중복 거르고 윈도 세기

같은 클릭이 두 번 들어왔는지, 한 IP가 1분 동안 몇 번 눌렀는지를 스트림 처리기 옆의 Redis에 묻는 구조는 흔하다. 붙이기는 쉽다. 어려운 건 Redis의 키가 만료, 메모리 축출, 장애 세 경로로 사라지고, 사라질 때마다 중복 판정과 카운트가 조용히 바뀐다는 점이다. 이 글에서는 광고 클릭 중복을 거르는 가상의 구조를 예로 든다. 1단계 ...

Flink 잡은 재시작할 때 무엇을 들고 돌아오나

Flink 잡이 죽었다 다시 뜨면 세 가지를 맞춰야 한다. 연산자가 들고 있던 상태, source가 어디까지 읽었는지, sink가 이미 밖으로 내보낸 결과다. 앞의 둘은 체크포인트 하나로 같이 되돌아간다. 세 번째는 sink가 쓰는 방식에 따라 중복이 되기도 하고 그대로 맞기도 한다. 광고 클릭을 세어 MySQL에 차단 후보를 쌓는 잡과 외부 API를...

Spark 조인 전략은 크기 추정과 조인 조건으로 정해진다

같은 조인이 실행 계획에서 BroadcastHashJoin으로 잡히면 큰 테이블은 셔플 없이 지나가고, SortMergeJoin으로 잡히면 양쪽 다 셔플하고 정렬한다. 어느 쪽이 될지는 Spark가 계획 시점에 추정한 크기, 조인 조건이 등호인지, 힌트, 그리고 실행 중에 AQE가 본 실제 크기로 갈린다. 셔플 자체와 AQE의 skew 처리는 셔플과 ...

SCD로 지난 숫자를 지키는 차원 모델링

사용자 하나가 지난달 중순 멤버십을 무료에서 유료로 바꿨다. 사용자 테이블이 현재 값만 들고 있으면, 오늘 다시 뽑은 지난달 멤버십별 재생 수에서 그 사람의 지난달 재생이 전부 유료 쪽으로 옮겨 간다. 원천 로그도 쿼리도 그대로인데 이미 보고한 숫자가 바뀐다. 차원 모델링에서 slowly changing dimension(SCD)이라고 부르는 문제다....

Kafka Connect의 워커와 태스크가 나눠 맡는 일

커넥터 상태는 RUNNING인데 sink 컨슈머 그룹에 멤버가 하나도 없다. Kafka Connect는 커넥터와 태스크의 상태를 따로 기록하고, 예외로 죽은 태스크를 스스로 다시 띄우지 않는다. 그래서 CDC 파이프라인을 진단할 때는 커넥터 상태보다 sink 컨슈머 그룹부터 보는 편이 낫다. 버전은 Apache Kafka 4.4 기준이다. 워커, ...

Iceberg의 행 단위 변경은 쓰기 비용을 읽기로 미룬다

upsert가 계속 들어오는 Iceberg 테이블은 커밋이 쌓일수록 조회가 느려진다. 행 하나를 바꿀 때 데이터 파일을 다시 쓰지 않고 삭제 표시만 따로 남기면, 그 표시를 맞춰 보는 비용은 읽을 때마다 든다. delete 파일이 데이터 파일보다 많아질 만큼 쌓이면, 읽기 계획 단계에서 드라이버 메모리가 모자라 잡이 끝나기도 한다. 메타데이터 트리와...

배치가 채우는 읽기 API 캐시는 언제 버려야 할까

새벽 배치가 지표 테이블을 다시 썼는데 대시보드는 어제 숫자를 보여 준다. 캐시를 둔 읽기 API에서 자주 나오는 장면이다. 캐시를 어디에 둘지는 고르기 쉽지만, 배치가 원천을 통째로 바꾸는 순간 그 캐시를 언제 버릴지는 따로 설계해야 한다. 지표 대시보드 API 글은 서버 캐시 없이 브라우저에서 GET 응답을 캐시했고, 연말 결산 Spark 잡 글...

Pod가 사라졌을 때를 기준으로 쿠버네티스 워크로드 고르기

Pod 하나로 띄운 릴레이는 프로세스가 죽으면 다시 뜨지만, 노드가 죽으면 돌아오지 않는다. Logstash Kafka 릴레이 글의 릴레이가 Deployment 없이 Pod 하나로 돌았고, 그 글은 이 점을 매니페스트를 몇 줄로 끝낸 대가로 적었다. 워크로드 객체마다 무엇이 죽었을 때 무엇을 다시 만들어 주는지가 다르고, 데이터 컴포넌트에 맞는 객체도...