seunggabi

퍼널 전환율은 단계 순서와 시간 창에서 갈린다

상품 보기, 장바구니, 구매 세 단계 퍼널에서 구매한 사용자 수를 상품을 본 사용자 수로 나누면 숫자는 바로 나온다. 그런데 장바구니를 먼저 누르고 상품을 본 사용자, 3주 뒤에 산 사용자, 같은 구매 이벤트가 두 번 들어온 사용자를 어떻게 셀지 정하지 않으면, 같은 로그에서 쿼리마다 다른 전환율이 나온다. 퍼널은 단계 이름보다 순서, 시간 창, 세는...

CDC·스트리밍·레이크하우스 데이터 플랫폼의 전체 구조

거래를 처리하는 서비스의 운영 DB는 거래를 처리하는 곳이고, 분석 쿼리가 여기에 붙으면 서비스 응답이 같이 느려질 수 있다. 그래서 분석은 운영 DB를 직접 읽지 않고, 변경분과 이벤트를 따로 받아 레이크에 쌓은 뒤 거기서 읽는다. 지금 회사에서 이 플랫폼의 여러 구간을 맡아 왔고, 이 글은 공개된 오픈소스와 AWS 구성 요소 수준에서 전체 모양만 ...

Flink가 Iceberg에 쓴 파일은 체크포인트가 끝나야 보인다

Flink 잡은 레코드를 계속 처리하고 S3에는 Parquet 파일이 쌓이는데, Iceberg 테이블을 조회하면 방금 들어온 행이 없다. Flink Iceberg sink의 writer가 쓴 파일은 체크포인트가 완료된 뒤 committer가 커밋해야 테이블 메타데이터에 들어간다. 그 전까지는 아무 스냅샷도 가리키지 않는 파일일 뿐이다. MySQL C...

Iceberg 테이블을 다시 쓰지 않고 스키마와 파티션 바꾸기

컬럼 타입을 정수에서 문자열로 바꾸려면 Iceberg 테이블도 다시 만들어야 한다. Iceberg 테이블에서 컬럼 이름을 바꾸거나 순서를 바꾸는 일은 파일 하나 건드리지 않고 끝난다. 일 단위 파티션을 시간 단위로 바꾸는 일도 메타데이터 커밋 한 번이다. 어떤 변경은 공짜고 어떤 변경은 테이블을 다시 써야 하는지는 스펙의 규칙 몇 개로 갈린다. 버...

Iceberg 카탈로그는 포인터 하나로 커밋을 원자적으로 만든다

Flink가 체크포인트마다 커밋하는 Iceberg 테이블에 Spark compaction이 같은 순간 커밋하면 둘 중 하나는 진다. 진 쪽이 다시 시도하는지, 실패하는지, 남의 커밋을 덮어쓰는지는 카탈로그와 작업 종류가 정한다. Athena가 CATALOG_NOT_FOUND를 내는 일이나, 배치 잡이 충돌하면 처음부터 다시 읽어야 하는 이유도 이 층에...

Iceberg 스냅샷 계보로 되돌리고 브랜치로 검증하기

배치가 잘못된 값으로 Iceberg 테이블을 덮어썼다면 데이터 파일을 복구할 필요는 없다. 테이블이 가리키는 스냅샷을 이전 것으로 옮기면 된다. 다만 그 스냅샷이 아직 만료되지 않았어야 하고, 그 뒤에 다른 writer가 커밋한 스냅샷은 같이 밀려난다. sink가 몇 분마다 커밋하는 테이블에서는 둘 다 운영 문제가 된다. 메타데이터 트리와 기본 시간...

AWS 데이터 플랫폼 비용은 어디서 새는가

데이터 플랫폼 청구서는 대개 EMR, MSK, S3, Athena, 데이터 전송 다섯 줄로 갈린다. 줄마다 과금 단위가 다르고, 새는 곳도 다르다. EMR은 일이 끝난 뒤에도 켜져 있는 시간에서, MSK는 한 번 늘리면 줄일 수 없는 디스크에서, S3는 작은 파일과 지워지지 않은 버전에서 샌다. 단가를 깎는 것보다 과금되는 양과 시간을 줄이는 쪽이 대...

실시간 테이블과 일별 테이블 중 어느 쪽을 믿을까

같은 로그를 실시간 테이블과 일별 테이블에 함께 쌓으면, 같은 날짜의 건수가 두 테이블에서 조금씩 다르게 나온다. 예를 들어 앱 이벤트 로그를 Flink로 실시간 Iceberg 테이블에 넣고, S3 sink를 거쳐 Spark로 일별 테이블도 만든다고 하자. 실시간 테이블은 서버 수신 시각으로, 일별 테이블은 sink가 레코드를 처리한 시각으로 날짜를 ...