퍼널 전환율은 단계 순서와 시간 창에서 갈린다
상품 보기, 장바구니, 구매 세 단계 퍼널에서 구매한 사용자 수를 상품을 본 사용자 수로 나누면 숫자는 바로 나온다. 그런데 장바구니를 먼저 누르고 상품을 본 사용자, 3주 뒤에 산 사용자, 같은 구매 이벤트가 두 번 들어온 사용자를 어떻게 셀지 정하지 않으면, 같은 로그에서 쿼리마다 다른 전환율이 나온다. 퍼널은 단계 이름보다 순서, 시간 창, 세는...
상품 보기, 장바구니, 구매 세 단계 퍼널에서 구매한 사용자 수를 상품을 본 사용자 수로 나누면 숫자는 바로 나온다. 그런데 장바구니를 먼저 누르고 상품을 본 사용자, 3주 뒤에 산 사용자, 같은 구매 이벤트가 두 번 들어온 사용자를 어떻게 셀지 정하지 않으면, 같은 로그에서 쿼리마다 다른 전환율이 나온다. 퍼널은 단계 이름보다 순서, 시간 창, 세는...
거래를 처리하는 서비스의 운영 DB는 거래를 처리하는 곳이고, 분석 쿼리가 여기에 붙으면 서비스 응답이 같이 느려질 수 있다. 그래서 분석은 운영 DB를 직접 읽지 않고, 변경분과 이벤트를 따로 받아 레이크에 쌓은 뒤 거기서 읽는다. 지금 회사에서 이 플랫폼의 여러 구간을 맡아 왔고, 이 글은 공개된 오픈소스와 AWS 구성 요소 수준에서 전체 모양만 ...
Flink 잡은 레코드를 계속 처리하고 S3에는 Parquet 파일이 쌓이는데, Iceberg 테이블을 조회하면 방금 들어온 행이 없다. Flink Iceberg sink의 writer가 쓴 파일은 체크포인트가 완료된 뒤 committer가 커밋해야 테이블 메타데이터에 들어간다. 그 전까지는 아무 스냅샷도 가리키지 않는 파일일 뿐이다. MySQL C...
MySQL 테이블을 처음 레이크로 옮기는 동안에도 binlog에는 변경이 계속 쌓인다. 읽는 사이 바뀐 행을 어떻게 합칠지, 읽다 죽으면 어디부터 다시 읽을지가 초기 적재의 문제다. Debezium으로 푼다면 태스크 하나로 도는 source에 signal을 넣어 테이블마다 incremental snapshot을 건다. Apache Flink CDC는 ...
Debezium 토픽을 Flink SQL로 읽어 상태별 주문 수를 센다고 하자. 주문 하나가 PAID에서 SHIPPED로 바뀌면 결과가 네 줄 나온다. PAID 개수를 고치는 두 줄과 SHIPPED 개수를 고치는 두 줄이다. 이 결과를 append만 하는 sink에 쓰면 상태마다 행이 계속 쌓이고, 키로 덮어쓰는 sink에 쓰면 상태마다 마지막 숫자만...
컬럼 타입을 정수에서 문자열로 바꾸려면 Iceberg 테이블도 다시 만들어야 한다. Iceberg 테이블에서 컬럼 이름을 바꾸거나 순서를 바꾸는 일은 파일 하나 건드리지 않고 끝난다. 일 단위 파티션을 시간 단위로 바꾸는 일도 메타데이터 커밋 한 번이다. 어떤 변경은 공짜고 어떤 변경은 테이블을 다시 써야 하는지는 스펙의 규칙 몇 개로 갈린다. 버...
Flink가 체크포인트마다 커밋하는 Iceberg 테이블에 Spark compaction이 같은 순간 커밋하면 둘 중 하나는 진다. 진 쪽이 다시 시도하는지, 실패하는지, 남의 커밋을 덮어쓰는지는 카탈로그와 작업 종류가 정한다. Athena가 CATALOG_NOT_FOUND를 내는 일이나, 배치 잡이 충돌하면 처음부터 다시 읽어야 하는 이유도 이 층에...
배치가 잘못된 값으로 Iceberg 테이블을 덮어썼다면 데이터 파일을 복구할 필요는 없다. 테이블이 가리키는 스냅샷을 이전 것으로 옮기면 된다. 다만 그 스냅샷이 아직 만료되지 않았어야 하고, 그 뒤에 다른 writer가 커밋한 스냅샷은 같이 밀려난다. sink가 몇 분마다 커밋하는 테이블에서는 둘 다 운영 문제가 된다. 메타데이터 트리와 기본 시간...
데이터 플랫폼 청구서는 대개 EMR, MSK, S3, Athena, 데이터 전송 다섯 줄로 갈린다. 줄마다 과금 단위가 다르고, 새는 곳도 다르다. EMR은 일이 끝난 뒤에도 켜져 있는 시간에서, MSK는 한 번 늘리면 줄일 수 없는 디스크에서, S3는 작은 파일과 지워지지 않은 버전에서 샌다. 단가를 깎는 것보다 과금되는 양과 시간을 줄이는 쪽이 대...
같은 로그를 실시간 테이블과 일별 테이블에 함께 쌓으면, 같은 날짜의 건수가 두 테이블에서 조금씩 다르게 나온다. 예를 들어 앱 이벤트 로그를 Flink로 실시간 Iceberg 테이블에 넣고, S3 sink를 거쳐 Spark로 일별 테이블도 만든다고 하자. 실시간 테이블은 서버 수신 시각으로, 일별 테이블은 sink가 레코드를 처리한 시각으로 날짜를 ...