concept 62
- 데이터 레이크의 권한은 어디서 집행되는가
- DataHub로 보는 데이터 카탈로그와 리니지
- 끝나지 않는 스트림끼리 조인하면 상태가 남는다
- CSV, Avro, Parquet, ORC는 파일에 무엇을 남기나
- 범위로 나눌까 해시로 나눌까, 파티셔닝과 샤딩
- 읽기만 해도 원천을 붙잡는 격리 수준과 MVCC
- 네트워크가 끊기면 분산 저장소는 무엇을 내주나
- HDFS와 MapReduce는 데이터 옆에서 계산하려고 만들어졌다
- LSM 트리는 랜덤 쓰기를 어떻게 순차 쓰기로 바꾸나
- 윈도 함수의 기본 프레임은 동점에서 어긋난다
- CDC 없이 바뀐 행만 가져오는 증분 적재와 MERGE
- 배정부터 SRM 검사까지 A/B 테스트 데이터 파이프라인
- 실시간 OLAP 엔진은 무엇을 미리 해 두고 빨라지나
- 고유 사용자 수를 근사로 세고 스케치로 합치기
- 테이블은 언제 나누고 언제 합칠까
- dbt 증분 모델은 다시 읽는 범위와 키로 정해진다
- 작은 파일은 쓰는 쪽에서 막고 남은 것만 합친다
- Trino는 쿼리를 어떻게 쪼개 메모리로 흘려보내는가
- 코호트 리텐션 표는 무엇을 정하고 어떻게 쌓을까
- Airflow 3에서 태스크 하나가 실행되기까지
- 같은 Hive 테이블을 엔진마다 다르게 읽는 지점
- Flink 런타임 구조와 백프레셔 읽는 법
- Kafka는 세그먼트 단위로 지우고 키 단위로 압축한다
- Kafka 복제는 브로커 몇 대가 죽을 때까지 버틸까
- Spark OOM은 누가 프로세스를 죽였는지부터 읽는다
- 액션 하나가 Spark에서 task 수백 개가 되기까지
- Kafka 멱등 프로듀서는 어떤 중복까지 막을까
- HBase의 쓰기와 읽기는 어떤 길을 지나가나
- Iceberg, Delta, Hudi는 커밋을 어디에 적는가
- 퍼널 전환율은 단계 순서와 시간 창에서 갈린다
- Flink가 Iceberg에 쓴 파일은 체크포인트가 끝나야 보인다
- Flink CDC가 잠금 없이 스냅샷과 binlog를 잇는 방법
- Flink SQL의 UPDATE는 왜 두 줄로 나올까
- Iceberg 테이블을 다시 쓰지 않고 스키마와 파티션 바꾸기
- Iceberg 카탈로그는 포인터 하나로 커밋을 원자적으로 만든다
- Iceberg 스냅샷 계보로 되돌리고 브랜치로 검증하기
- AWS 데이터 플랫폼 비용은 어디서 새는가
- 실시간 테이블과 일별 테이블 중 어느 쪽을 믿을까
- 스트림 옆 Redis로 중복 거르고 윈도 세기
- Athena 쿼리 비용은 어디서 정해질까
- Flink 잡은 재시작할 때 무엇을 들고 돌아오나
- Spark 조인 전략은 크기 추정과 조인 조건으로 정해진다
- SCD로 지난 숫자를 지키는 차원 모델링
- Kafka Connect의 워커와 태스크가 나눠 맡는 일
- Iceberg의 행 단위 변경은 쓰기 비용을 읽기로 미룬다
- 변경 로그를 키마다 다시 적용하는 CDC 이해하기
- 배치가 채우는 읽기 API 캐시는 언제 버려야 할까
- Pod가 사라졌을 때를 기준으로 쿠버네티스 워크로드 고르기
- Hive 파티션은 메타스토어와 어긋나면 에러 없이 빈 결과를 낸다
- 한 번 늘리면 줄일 수 없는 Kafka 파티션과 순서, 병렬성
- YARN 컨테이너는 왜 Spark executor 힙보다 크게 잡힐까
- 더하고 다시 돌릴 수 있게 지표 테이블의 한 행 정하기
- 수집, 적재, 적재 후로 나눈 데이터 품질 검사
- Structured Streaming은 Kafka 오프셋을 어디 둘까
- HBase 서빙 테이블은 행 키를 어떻게 읽어야 빠를까
- Avro 스키마 진화는 읽는 쪽이 쓴 쪽의 스키마를 알 때만 동작한다
- Spark AQE가 셔플 뒤 실제 크기로 다시 정하는 것들
- 다시 돌려도 안전한 Airflow DAG의 날짜와 파티션 다루기
- Iceberg가 읽을 파일을 고르는 법과 epoch 파티션 제약
- 컬럼에 함수를 씌우면 왜 Parquet·ORC가 건너뛰지 못할까
- Kafka 전달 보장은 오프셋 커밋 순서가 정한다
- 재시작 뒤 Flink 윈도 결과가 시간 기준마다 달라지는 이유