아카이브
- 21 / 11 데이터 레이크의 권한은 어디서 집행되는가
- 21 / 11 DataHub로 보는 데이터 카탈로그와 리니지
- 21 / 11 끝나지 않는 스트림끼리 조인하면 상태가 남는다
- 21 / 11 CSV, Avro, Parquet, ORC는 파일에 무엇을 남기나
- 21 / 11 범위로 나눌까 해시로 나눌까, 파티셔닝과 샤딩
- 21 / 11 읽기만 해도 원천을 붙잡는 격리 수준과 MVCC
- 21 / 11 네트워크가 끊기면 분산 저장소는 무엇을 내주나
- 21 / 11 HDFS와 MapReduce는 데이터 옆에서 계산하려고 만들어졌다
- 21 / 11 LSM 트리는 랜덤 쓰기를 어떻게 순차 쓰기로 바꾸나
- 21 / 11 윈도 함수의 기본 프레임은 동점에서 어긋난다
- 21 / 11 CDC 없이 바뀐 행만 가져오는 증분 적재와 MERGE
- 21 / 11 배정부터 SRM 검사까지 A/B 테스트 데이터 파이프라인
- 21 / 11 실시간 OLAP 엔진은 무엇을 미리 해 두고 빨라지나
- 21 / 11 고유 사용자 수를 근사로 세고 스케치로 합치기
- 21 / 11 테이블은 언제 나누고 언제 합칠까
- 21 / 11 dbt 증분 모델은 다시 읽는 범위와 키로 정해진다
- 21 / 11 작은 파일은 쓰는 쪽에서 막고 남은 것만 합친다
- 21 / 11 Trino는 쿼리를 어떻게 쪼개 메모리로 흘려보내는가
- 21 / 11 코호트 리텐션 표는 무엇을 정하고 어떻게 쌓을까
- 21 / 11 Airflow 3에서 태스크 하나가 실행되기까지
- 21 / 11 같은 Hive 테이블을 엔진마다 다르게 읽는 지점
- 21 / 11 Flink 런타임 구조와 백프레셔 읽는 법
- 21 / 11 Kafka는 세그먼트 단위로 지우고 키 단위로 압축한다
- 21 / 11 Kafka 복제는 브로커 몇 대가 죽을 때까지 버틸까
- 21 / 11 Spark OOM은 누가 프로세스를 죽였는지부터 읽는다
- 21 / 11 액션 하나가 Spark에서 task 수백 개가 되기까지
- 21 / 11 Kafka 멱등 프로듀서는 어떤 중복까지 막을까
- 21 / 11 HBase의 쓰기와 읽기는 어떤 길을 지나가나
- 21 / 11 Iceberg, Delta, Hudi는 커밋을 어디에 적는가
- 21 / 11 퍼널 전환율은 단계 순서와 시간 창에서 갈린다
- 21 / 11 CDC·스트리밍·레이크하우스 데이터 플랫폼의 전체 구조
- 21 / 11 Flink가 Iceberg에 쓴 파일은 체크포인트가 끝나야 보인다
- 21 / 11 Flink CDC가 잠금 없이 스냅샷과 binlog를 잇는 방법
- 21 / 11 Flink SQL의 UPDATE는 왜 두 줄로 나올까
- 21 / 11 Iceberg 테이블을 다시 쓰지 않고 스키마와 파티션 바꾸기
- 21 / 11 Iceberg 카탈로그는 포인터 하나로 커밋을 원자적으로 만든다
- 21 / 11 Iceberg 스냅샷 계보로 되돌리고 브랜치로 검증하기
- 21 / 11 AWS 데이터 플랫폼 비용은 어디서 새는가
- 21 / 11 실시간 테이블과 일별 테이블 중 어느 쪽을 믿을까
- 21 / 11 스트림 옆 Redis로 중복 거르고 윈도 세기
- 21 / 11 Athena 쿼리 비용은 어디서 정해질까
- 21 / 11 Flink 잡은 재시작할 때 무엇을 들고 돌아오나
- 20 / 11 Spark 조인 전략은 크기 추정과 조인 조건으로 정해진다
- 20 / 11 SCD로 지난 숫자를 지키는 차원 모델링
- 20 / 11 Kafka Connect의 워커와 태스크가 나눠 맡는 일
- 20 / 11 Iceberg의 행 단위 변경은 쓰기 비용을 읽기로 미룬다
- 20 / 11 변경 로그를 키마다 다시 적용하는 CDC 이해하기
- 20 / 11 배치가 채우는 읽기 API 캐시는 언제 버려야 할까
- 20 / 11 Pod가 사라졌을 때를 기준으로 쿠버네티스 워크로드 고르기
- 20 / 11 Hive 파티션은 메타스토어와 어긋나면 에러 없이 빈 결과를 낸다
- 20 / 11 한 번 늘리면 줄일 수 없는 Kafka 파티션과 순서, 병렬성
- 20 / 11 YARN 컨테이너는 왜 Spark executor 힙보다 크게 잡힐까
- 20 / 11 더하고 다시 돌릴 수 있게 지표 테이블의 한 행 정하기
- 20 / 11 지표 테이블 수십 개를 같은 모양의 읽기 전용 API로 열고 Celery로 감시했다
- 20 / 11 Logstash로 Kafka 로그를 TCP 로그 시스템에 넘기기
- 20 / 11 수집, 적재, 적재 후로 나눈 데이터 품질 검사
- 20 / 11 Structured Streaming은 Kafka 오프셋을 어디 둘까
- 20 / 11 HBase 서빙 테이블은 행 키를 어떻게 읽어야 빠를까
- 20 / 11 Avro 스키마 진화는 읽는 쪽이 쓴 쪽의 스키마를 알 때만 동작한다
- 20 / 11 Spark AQE가 셔플 뒤 실제 크기로 다시 정하는 것들
- 20 / 11 다시 돌려도 안전한 Airflow DAG의 날짜와 파티션 다루기
- 20 / 11 Iceberg가 읽을 파일을 고르는 법과 epoch 파티션 제약
- 20 / 11 컬럼에 함수를 씌우면 왜 Parquet·ORC가 건너뛰지 못할까
- 20 / 11 Kafka 전달 보장은 오프셋 커밋 순서가 정한다
- 20 / 11 재시작 뒤 Flink 윈도 결과가 시간 기준마다 달라지는 이유
- 20 / 11 연말 결산 화면을 Spark SQL 잡 18개와 HBase 한 행으로 만들었다
- 20 / 11 한 저장소에서 광고 서비스 아홉 개를 배포하는 모듈과 워크플로
- 20 / 11 광고 리포트를 Spark 잡과 Spring Batch로 나눠 집계하기
- 20 / 11 crontab을 통째로 갈아 끼우는 앱에 백업과 잠금을 뒀다
- 20 / 11 Kafka 로그를 Spark Streaming으로 HDFS에 쌓고 Hive 테이블로 다듬기까지
- 20 / 11 로그 수집 API에서 데이터 품질을 먼저 챙겼다
- 20 / 11 서비스 지표 배치 수십 개를 job, data, query builder로 나눠 관리했다
- 20 / 11 활성 EMR 클러스터를 모두 도는 YARN 기록 수집 PR
- 20 / 11 Spark 3.4.0에 config(Map)이 들어가기까지
- 20 / 11 고를 수 없는 선택지를 보여 주던 Superset API 키 화면
- 20 / 11 Superset에 다운로드 사유를 남기자는 SIP-230 제안
- 20 / 11 Claude Code 세션을 k9s처럼 보는 TUI, claude-dashboard 구조
- 20 / 11 Helm release 이름이 40자를 넘으면 Airflow의 Redis나 PostgreSQL이 안 뜰 수 있다
- 20 / 11 MAP 컬럼이 NULL로 보인 Superset과 PyAthena 문제
- 20 / 11 블로그를 열며
- 20 / 11 Airflow TableauOperator에 template_fields 넣기
- 20 / 11 Iceberg Kafka Connect가 대소문자 섞인 테이블에서 NPE로 죽던 문제
- 20 / 11 Superset 시간 필터가 마이크로초 컬럼에서 깨져서 epoch_us를 넣었다