스트림 옆 Redis로 중복 거르고 윈도 세기
같은 클릭이 두 번 들어왔는지, 한 IP가 1분 동안 몇 번 눌렀는지를 스트림 처리기 옆의 Redis에 묻는 구조는 흔하다. 붙이기는 쉽다. 어려운 건 Redis의 키가 만료, 메모리 축출, 장애 세 경로로 사라지고, 사라질 때마다 중복 판정과 카운트가 조용히 바뀐다는 점이다. 이 글에서는 광고 클릭 중복을 거르는 가상의 구조를 예로 든다. 1단계 ...
같은 클릭이 두 번 들어왔는지, 한 IP가 1분 동안 몇 번 눌렀는지를 스트림 처리기 옆의 Redis에 묻는 구조는 흔하다. 붙이기는 쉽다. 어려운 건 Redis의 키가 만료, 메모리 축출, 장애 세 경로로 사라지고, 사라질 때마다 중복 판정과 카운트가 조용히 바뀐다는 점이다. 이 글에서는 광고 클릭 중복을 거르는 가상의 구조를 예로 든다. 1단계 ...
Athena SQL의 기본 요금은 쿼리가 돈 시간이 아니라 S3에서 읽은 바이트로 매겨진다. 그래서 같은 결과를 내는 두 쿼리라도 WHERE 절 모양, 파일 포맷, 테이블 포맷에 따라 청구 금액이 달라진다. LIMIT 10을 붙여도 읽는 양이 줄지 않는 경우가 많다. 예를 들어 분석 데이터가 Glue 카탈로그의 Hive 테이블과 S3 Tables의 ...
Flink 잡이 죽었다 다시 뜨면 세 가지를 맞춰야 한다. 연산자가 들고 있던 상태, source가 어디까지 읽었는지, sink가 이미 밖으로 내보낸 결과다. 앞의 둘은 체크포인트 하나로 같이 되돌아간다. 세 번째는 sink가 쓰는 방식에 따라 중복이 되기도 하고 그대로 맞기도 한다. 광고 클릭을 세어 MySQL에 차단 후보를 쌓는 잡과 외부 API를...
같은 조인이 실행 계획에서 BroadcastHashJoin으로 잡히면 큰 테이블은 셔플 없이 지나가고, SortMergeJoin으로 잡히면 양쪽 다 셔플하고 정렬한다. 어느 쪽이 될지는 Spark가 계획 시점에 추정한 크기, 조인 조건이 등호인지, 힌트, 그리고 실행 중에 AQE가 본 실제 크기로 갈린다. 셔플 자체와 AQE의 skew 처리는 셔플과 ...
사용자 하나가 지난달 중순 멤버십을 무료에서 유료로 바꿨다. 사용자 테이블이 현재 값만 들고 있으면, 오늘 다시 뽑은 지난달 멤버십별 재생 수에서 그 사람의 지난달 재생이 전부 유료 쪽으로 옮겨 간다. 원천 로그도 쿼리도 그대로인데 이미 보고한 숫자가 바뀐다. 차원 모델링에서 slowly changing dimension(SCD)이라고 부르는 문제다....
커넥터 상태는 RUNNING인데 sink 컨슈머 그룹에 멤버가 하나도 없다. Kafka Connect는 커넥터와 태스크의 상태를 따로 기록하고, 예외로 죽은 태스크를 스스로 다시 띄우지 않는다. 그래서 CDC 파이프라인을 진단할 때는 커넥터 상태보다 sink 컨슈머 그룹부터 보는 편이 낫다. 버전은 Apache Kafka 4.4 기준이다. 워커, ...
upsert가 계속 들어오는 Iceberg 테이블은 커밋이 쌓일수록 조회가 느려진다. 행 하나를 바꿀 때 데이터 파일을 다시 쓰지 않고 삭제 표시만 따로 남기면, 그 표시를 맞춰 보는 비용은 읽을 때마다 든다. delete 파일이 데이터 파일보다 많아질 만큼 쌓이면, 읽기 계획 단계에서 드라이버 메모리가 모자라 잡이 끝나기도 한다. 메타데이터 트리와...
WHERE updated_at > :last_run으로 한 시간마다 원천 테이블을 읽어 오는 배치가 있다. 원천에서 지운 주문이 레이크 테이블에는 계속 남아 있고, 한 시간 안에 두 번 바뀐 주문은 마지막 값만 있다. 쿼리로는 지금 상태만 보이기 때문이다. 이 글에서는 MySQL binlog를 Debezium으로 읽어 Kafka를 거쳐 Icebe...
새벽 배치가 지표 테이블을 다시 썼는데 대시보드는 어제 숫자를 보여 준다. 캐시를 둔 읽기 API에서 자주 나오는 장면이다. 캐시를 어디에 둘지는 고르기 쉽지만, 배치가 원천을 통째로 바꾸는 순간 그 캐시를 언제 버릴지는 따로 설계해야 한다. 지표 대시보드 API 글은 서버 캐시 없이 브라우저에서 GET 응답을 캐시했고, 연말 결산 Spark 잡 글...
Pod 하나로 띄운 릴레이는 프로세스가 죽으면 다시 뜨지만, 노드가 죽으면 돌아오지 않는다. Logstash Kafka 릴레이 글의 릴레이가 Deployment 없이 Pod 하나로 돌았고, 그 글은 이 점을 매니페스트를 몇 줄로 끝낸 대가로 적었다. 워크로드 객체마다 무엇이 죽었을 때 무엇을 다시 만들어 주는지가 다르고, 데이터 컴포넌트에 맞는 객체도...