spark 27
- 윈도 함수의 기본 프레임은 동점에서 어긋난다
- CDC 없이 바뀐 행만 가져오는 증분 적재와 MERGE
- 배정부터 SRM 검사까지 A/B 테스트 데이터 파이프라인
- 고유 사용자 수를 근사로 세고 스케치로 합치기
- 테이블은 언제 나누고 언제 합칠까
- dbt 증분 모델은 다시 읽는 범위와 키로 정해진다
- 작은 파일은 쓰는 쪽에서 막고 남은 것만 합친다
- 코호트 리텐션 표는 무엇을 정하고 어떻게 쌓을까
- 같은 Hive 테이블을 엔진마다 다르게 읽는 지점
- Spark OOM은 누가 프로세스를 죽였는지부터 읽는다
- 액션 하나가 Spark에서 task 수백 개가 되기까지
- 퍼널 전환율은 단계 순서와 시간 창에서 갈린다
- Iceberg 테이블을 다시 쓰지 않고 스키마와 파티션 바꾸기
- Iceberg 카탈로그는 포인터 하나로 커밋을 원자적으로 만든다
- Iceberg 스냅샷 계보로 되돌리고 브랜치로 검증하기
- 실시간 테이블과 일별 테이블 중 어느 쪽을 믿을까
- Spark 조인 전략은 크기 추정과 조인 조건으로 정해진다
- SCD로 지난 숫자를 지키는 차원 모델링
- Iceberg의 행 단위 변경은 쓰기 비용을 읽기로 미룬다
- Hive 파티션은 메타스토어와 어긋나면 에러 없이 빈 결과를 낸다
- YARN 컨테이너는 왜 Spark executor 힙보다 크게 잡힐까
- HBase 서빙 테이블은 행 키를 어떻게 읽어야 빠를까
- Spark AQE가 셔플 뒤 실제 크기로 다시 정하는 것들
- 컬럼에 함수를 씌우면 왜 Parquet·ORC가 건너뛰지 못할까
- 연말 결산 화면을 Spark SQL 잡 18개와 HBase 한 행으로 만들었다
- 광고 리포트를 Spark 잡과 Spring Batch로 나눠 집계하기
- Spark 3.4.0에 config(Map)이 들어가기까지