블로그를 열며
데이터 엔지니어로 일하면서 장애를 따라가고, 원인을 찾고, 가끔은 오픈소스에 고쳐서 올린 기록을 한곳에 모으려고 이 블로그를 열었다. 첫날 글이 많은 이유 블로그는 2026년 11월에 열었다. 그동안 커머스 광고 플랫폼과 음악·오디오 서비스에서 한 일과 오픈소스 PR을 정리해 둔 것을 첫날 한꺼번에 올렸다. 그래서 초기 글의 날짜가 모두 같다. 이...
데이터 엔지니어로 일하면서 장애를 따라가고, 원인을 찾고, 가끔은 오픈소스에 고쳐서 올린 기록을 한곳에 모으려고 이 블로그를 열었다. 첫날 글이 많은 이유 블로그는 2026년 11월에 열었다. 그동안 커머스 광고 플랫폼과 음악·오디오 서비스에서 한 일과 오픈소스 PR을 정리해 둔 것을 첫날 한꺼번에 올렸다. 그래서 초기 글의 날짜가 모두 같다. 이...
Athena에서 분석가에게 주민번호 컬럼을 숨겼는데, 같은 분석가의 IAM 역할에 그 버킷의 s3:GetObject가 남아 있다면 숨긴 의미가 없다. Parquet 파일을 받아 열면 컬럼이 다 있다. 고객이 삭제를 요청해 DELETE를 돌린 행도 시간 여행 쿼리로는 여전히 보인다. 레이크의 접근 제어와 개인정보 처리는 규칙을 어디에 적느냐보다 누가 그...
컬럼 타입 하나를 바꾸기 전에 어느 테이블과 대시보드가 그 컬럼을 읽는지, 이 테이블의 주인이 누구인지 물으면 쿼리 엔진은 답하지 못한다. 엔진이 보는 메타스토어에는 위치, 스키마, 파티션만 있다. 누가 쓰는지, 무엇에서 만들어졌는지, 무슨 뜻인지는 다른 곳에 따로 모아야 하고, 그 일을 하는 것이 데이터 카탈로그와 리니지다. 실무에서 DataHub ...
광고 노출 스트림과 클릭 스트림을 광고 ID로 조인한다고 하자. 배치라면 두 테이블을 끝까지 읽고 한 번 맞추면 끝난다. 스트림에는 끝이 없어서, 지금 들어온 클릭이 한 시간 전 노출과 맞을 수도 있고 내일 올 노출과 맞을 수도 있다. 엔진은 조건이 막아 주지 않는 한 양쪽에서 본 모든 행을 들고 있어야 한다. 스트림 조인의 종류는 결국 이 상태를 언...
gzip으로 묶은 CSV 파일 하나는 몇 GB든 Spark 태스크 하나가 처음부터 끝까지 푼다. 같은 데이터를 snappy Avro로 두면 여러 태스크가 나눠 읽고, Parquet으로 두면 필요한 컬럼만 읽는다. 차이는 포맷이 파일 안에 무엇을 남기느냐에서 온다. 레코드 경계 표시, 스키마, 컬럼별 통계와 인덱스가 각각 어느 포맷에 들어 있는지가 분할...
연말 결산 Spark 잡 글의 잡들에는 “파티션”이 다섯 가지 뜻으로 나온다. Hive 중간 테이블의 type, dt 파티션, RANK() OVER (PARTITION BY user_id ...), DISTRIBUTE BY user_id, mapPartitions, 그리고 사용자 ID를 행 키로 쓰는 HBase 테이블의 리전이다. 나누는 대상도, 나누...
원천 MySQL에서 큰 테이블을 한 트랜잭션으로 몇 시간 동안 읽는 추출 잡이 있다. 잡은 SELECT만 하는데 그동안 원천의 History list length가 계속 오르고, 같은 테이블을 읽는 서비스 쿼리가 느려진다. MVCC에서는 읽기만 하는 트랜잭션도 옛 버전을 붙잡고 있기 때문이다. 추출 쿼리가 어느 시점을 보는지, 원천에 무엇을 남기는지가...
Cassandra에 CONSISTENCY ONE으로 쓰고 곧바로 ONE으로 읽으면, 읽기가 다른 복제본에 닿았을 때 옛 값이 나올 수 있다. 기본 설정의 HBase에서는 같은 일이 생기지 않는다. 둘 다 정상 동작이다. 차이는 저장소가 약속한 일관성 모델과, 복제본 몇 개가 응답해야 성공으로 치는지에서 나온다. CAP은 이 질문 중 네트워크가 끊긴 동...
HDFS에서 파일 하나를 더 만들 때 드는 비용은 디스크보다 NameNode 메모리에 먼저 붙는다. 데이터 블록은 DataNode 수백 대에 흩어지지만, 그 파일과 블록이 어디 있는지는 NameNode 한 프로세스의 메모리에 다 올라가기 때문이다. HDFS의 장점과 한계는 거의 다 이 구조에서 나온다. Spark Streaming으로 HDFS에 쌓은...
B-tree에 행 하나를 넣으면 그 키가 들어갈 리프 페이지를 찾아 그 자리에서 고친다. 키가 고르게 흩어져 들어오면 디스크 곳곳의 페이지를 하나씩 다시 쓰게 된다. LSM 트리는 쓰기를 메모리에 모았다가 정렬된 파일로 한꺼번에 내리고, 파일은 다시 고치지 않는다. 그 대가로 읽기는 파일 여러 개를 뒤져야 하고, 쌓인 파일을 합치는 compaction...