seunggabi

CDC 없이 바뀐 행만 가져오는 증분 적재와 MERGE

원천 MySQL 테이블에서 한 시간마다 updated_at이 지난 실행보다 큰 행만 읽어 레이크 테이블에 반영하는 배치가 있다. 어느 날 주문 몇 건이 레이크에만 없다. 그 주문들은 긴 트랜잭션 안에서 10시 59분에 쓰였고 11시 2분에 커밋됐다. 11시 배치가 읽은 행 중 가장 늦은 updated_at은 10시 59분 58초였고, 그 값이 다음 실...

배정부터 SRM 검사까지 A/B 테스트 데이터 파이프라인

50:50으로 나눈 실험의 분석 테이블에 대조군 100,000명, 실험군 98,000명이 들어왔다고 하자. 비율로는 50.5% 대 49.5%라 우연처럼 보이지만 카이제곱 검정의 p-value는 0.00001보다 작다. 이 상태에서 실험군 전환율이 올랐다는 숫자는 믿을 수 없다. 빠진 2,000명이 왜 빠졌는지가 결과와 엮여 있을 수 있기 때문이다. A...

실시간 OLAP 엔진은 무엇을 미리 해 두고 빨라지나

대시보드 사용자가 필터를 바꿀 때마다 1초 안에 답해야 하고, 몇 분 전 이벤트까지 숫자에 들어가야 한다고 하자. 레이크하우스 위의 Trino나 Athena는 쿼리마다 테이블 메타데이터를 읽고 S3 객체를 열어 집계하므로, 그 비용을 요청마다 다시 치른다. ClickHouse, Druid, Pinot은 데이터를 자기 저장 형식으로 적재하면서 정렬, 인...

고유 사용자 수를 근사로 세고 스케치로 합치기

일간 고유 사용자 수 7개를 더하면 주간 고유 사용자 수가 되지 않는다. 그래서 주간 값은 원천 로그를 7일치 다시 읽어 COUNT(DISTINCT user_id)로 세는데, 이 집계는 사용자 ID를 전부 모아 중복을 지워야 끝난다. 월간, 분기, 플랫폼별로 축이 늘 때마다 원천을 다시 읽는다. 오차 1~2%를 받아들이면 하루마다 몇 KB짜리 스케치를...

테이블은 언제 나누고 언제 합칠까

주문 상세 테이블의 모든 행에 고객의 도시가 들어 있다고 하자. 고객이 이사하면 그 고객의 주문 행을 전부 고쳐야 하고, 일부만 고치면 같은 고객이 두 도시에 사는 것처럼 보인다. 반대로 도시를 고객 테이블에만 두면 분석 쿼리마다 수억 행짜리 주문과 고객을 조인한다. 어느 쪽을 고를지는 데이터를 얼마나 자주 고치는지, 어떤 모양으로 읽는지에 달려 있다...

dbt 증분 모델은 다시 읽는 범위와 키로 정해진다

매일 도는 dbt 모델을 table로 두면 실행할 때마다 원천 전체를 읽어 테이블을 새로 만든다. incremental로 바꾸면 새 행만 읽는 대신 두 가지를 직접 정해야 한다. 새 행을 어디서부터 읽을지, 읽은 행을 기존 테이블에 어떻게 합칠지다. 앞을 잘못 정하면 늦게 온 행이 빠지고, 뒤를 잘못 정하면 다시 돌릴 때 행이 두 벌이 된다. 둘 다 ...

작은 파일은 쓰는 쪽에서 막고 남은 것만 합친다

일 단위 파티션 테이블에 Spark 배치가 태스크 200개로 한 달치를 쓰면, 태스크마다 30개 날짜에 파일을 하나씩 열어 최대 6,000개 파일이 생긴다. 데이터 양은 같은데, 그 뒤의 모든 쿼리가 파일 목록을 받고 파일을 열고 메타데이터를 읽는 일을 6,000번 한다. 작은 파일의 비용은 바이트보다 파일 수를 따라간다. Spark Streamin...

코호트 리텐션 표는 무엇을 정하고 어떻게 쌓을까

11월 2일 가입 cohort의 D7 리텐션 칸이 0%로 나왔다. 아무도 돌아오지 않은 게 아니라, 데이터가 11월 8일까지만 들어와서 7일째가 아직 오지 않았을 뿐이다. 리텐션 표는 이런 빈칸 하나에도 “0”과 “아직 모름”이 섞인다. 같은 로그로도 cohort를 무엇으로 묶는지, 누구를 활성으로 보는지, N일째를 어떻게 세는지에 따라 숫자가 달라진...