<feed xmlns="http://www.w3.org/2005/Atom"> <id>https://seunggabi.github.io/</id><title>seunggabi</title><subtitle>데이터 파이프라인, 스트리밍, 레이크하우스를 공부하고 기록하는 데이터 엔지니어 블로그.</subtitle> <updated>2026-11-21T06:31:28+09:00</updated> <author> <name>seunggabi</name> <uri>https://seunggabi.github.io/</uri> </author><link rel="self" type="application/atom+xml" href="https://seunggabi.github.io/feed.xml"/><link rel="alternate" type="text/html" hreflang="ko-KR" href="https://seunggabi.github.io/"/> <generator uri="https://jekyllrb.com/" version="4.4.1">Jekyll</generator> <rights> © 2026 seunggabi </rights> <icon>/assets/img/favicons/favicon.ico</icon> <logo>/assets/img/favicons/favicon-96x96.png</logo> <entry><title>데이터 레이크의 권한은 어디서 집행되는가</title><link href="https://seunggabi.github.io/posts/data-access-control-and-pii/" rel="alternate" type="text/html" title="데이터 레이크의 권한은 어디서 집행되는가" /><published>2026-11-21T06:08:00+09:00</published> <updated>2026-11-21T06:08:00+09:00</updated> <id>https://seunggabi.github.io/posts/data-access-control-and-pii/</id> <content type="text/html" src="https://seunggabi.github.io/posts/data-access-control-and-pii/" /> <author> <name>seunggabi</name> </author> <category term="Data Quality" /> <category term="Governance" /> <summary>Athena에서 분석가에게 주민번호 컬럼을 숨겼는데, 같은 분석가의 IAM 역할에 그 버킷의 s3:GetObject가 남아 있다면 숨긴 의미가 없다. Parquet 파일을 받아 열면 컬럼이 다 있다. 고객이 삭제를 요청해 DELETE를 돌린 행도 시간 여행 쿼리로는 여전히 보인다. 레이크의 접근 제어와 개인정보 처리는 규칙을 어디에 적느냐보다 누가 그 규칙을 집행하고, 어떤 경로가 그 집행을 건너뛰느냐로 갈린다. REST 카탈로그와 credential vending의 기본 흐름은 Iceberg 카탈로그 글에 적었다. 여기서는 그 위에 권한, 개인정보, 감사 기록을 얹는다. 버전은 Trino 484, Iceberg 1.12.0(같은 태그의 REST 카탈로그 스펙), Athena 엔진 버전 3, 202...</summary> </entry> <entry><title>DataHub로 보는 데이터 카탈로그와 리니지</title><link href="https://seunggabi.github.io/posts/data-catalog-and-lineage/" rel="alternate" type="text/html" title="DataHub로 보는 데이터 카탈로그와 리니지" /><published>2026-11-21T06:07:00+09:00</published> <updated>2026-11-21T06:07:00+09:00</updated> <id>https://seunggabi.github.io/posts/data-catalog-and-lineage/</id> <content type="text/html" src="https://seunggabi.github.io/posts/data-catalog-and-lineage/" /> <author> <name>seunggabi</name> </author> <category term="Data Quality" /> <category term="Data Catalog" /> <summary>컬럼 타입 하나를 바꾸기 전에 어느 테이블과 대시보드가 그 컬럼을 읽는지, 이 테이블의 주인이 누구인지 물으면 쿼리 엔진은 답하지 못한다. 엔진이 보는 메타스토어에는 위치, 스키마, 파티션만 있다. 누가 쓰는지, 무엇에서 만들어졌는지, 무슨 뜻인지는 다른 곳에 따로 모아야 하고, 그 일을 하는 것이 데이터 카탈로그와 리니지다. 실무에서 DataHub 카탈로그를 도입한 적이 있다. 메타스토어와 파티션이 어긋나는 문제는 Hive 파티션 글에, Iceberg 카탈로그의 커밋 경로는 Iceberg 카탈로그 글에 있다. 버전은 DataHub 1.9.1, OpenLineage 1.55.0(이벤트 스펙 2-0-2), apache-airflow-providers-openlineage 2.21.0 기준이다. 핵심 ...</summary> </entry> <entry><title>끝나지 않는 스트림끼리 조인하면 상태가 남는다</title><link href="https://seunggabi.github.io/posts/streaming-joins/" rel="alternate" type="text/html" title="끝나지 않는 스트림끼리 조인하면 상태가 남는다" /><published>2026-11-21T06:06:00+09:00</published> <updated>2026-11-21T06:06:00+09:00</updated> <id>https://seunggabi.github.io/posts/streaming-joins/</id> <content type="text/html" src="https://seunggabi.github.io/posts/streaming-joins/" /> <author> <name>seunggabi</name> </author> <category term="Streaming" /> <category term="Flink" /> <summary>광고 노출 스트림과 클릭 스트림을 광고 ID로 조인한다고 하자. 배치라면 두 테이블을 끝까지 읽고 한 번 맞추면 끝난다. 스트림에는 끝이 없어서, 지금 들어온 클릭이 한 시간 전 노출과 맞을 수도 있고 내일 올 노출과 맞을 수도 있다. 엔진은 조건이 막아 주지 않는 한 양쪽에서 본 모든 행을 들고 있어야 한다. 스트림 조인의 종류는 결국 이 상태를 언제 지울 수 있는지, 그리고 이미 낸 결과를 고쳐야 하는지로 갈린다. 배치 쪽에서 Spark가 물리 조인을 고르는 방식은 Spark 조인 전략 글에 있다. 버전은 Flink 2.3, Spark 4.3, Kafka 4.4 기준이다. 핵심 키워드 키워드 한 줄 뜻 regular ...</summary> </entry> <entry><title>CSV, Avro, Parquet, ORC는 파일에 무엇을 남기나</title><link href="https://seunggabi.github.io/posts/file-formats-compared/" rel="alternate" type="text/html" title="CSV, Avro, Parquet, ORC는 파일에 무엇을 남기나" /><published>2026-11-21T06:05:00+09:00</published> <updated>2026-11-21T06:05:00+09:00</updated> <id>https://seunggabi.github.io/posts/file-formats-compared/</id> <content type="text/html" src="https://seunggabi.github.io/posts/file-formats-compared/" /> <author> <name>seunggabi</name> </author> <category term="Lakehouse &amp; Storage" /> <category term="Parquet" /> <summary>gzip으로 묶은 CSV 파일 하나는 몇 GB든 Spark 태스크 하나가 처음부터 끝까지 푼다. 같은 데이터를 snappy Avro로 두면 여러 태스크가 나눠 읽고, Parquet으로 두면 필요한 컬럼만 읽는다. 차이는 포맷이 파일 안에 무엇을 남기느냐에서 온다. 레코드 경계 표시, 스키마, 컬럼별 통계와 인덱스가 각각 어느 포맷에 들어 있는지가 분할, 건너뛰기, 스키마 변경을 정한다. Spark Streaming 글의 로그도 JSON 텍스트로 HDFS에 쌓인 뒤 ORC로 바꾸는 잡을 따로 거쳤다. 들어오는 쪽은 행 단위로 쓰기 쉬운 포맷, 쌓아 두고 조회하는 쪽은 컬럼 포맷이라는 분담이다. 버전은 Avro 1.12 스펙(최신 릴리스 1.12.2), Parquet format 2.14.0, ORC ...</summary> </entry> <entry><title>범위로 나눌까 해시로 나눌까, 파티셔닝과 샤딩</title><link href="https://seunggabi.github.io/posts/partitioning-and-sharding/" rel="alternate" type="text/html" title="범위로 나눌까 해시로 나눌까, 파티셔닝과 샤딩" /><published>2026-11-21T06:04:00+09:00</published> <updated>2026-11-21T06:04:00+09:00</updated> <id>https://seunggabi.github.io/posts/partitioning-and-sharding/</id> <content type="text/html" src="https://seunggabi.github.io/posts/partitioning-and-sharding/" /> <author> <name>seunggabi</name> </author> <category term="Platform &amp; Infra" /> <category term="Distributed Systems" /> <summary>연말 결산 Spark 잡 글의 잡들에는 “파티션”이 다섯 가지 뜻으로 나온다. Hive 중간 테이블의 type, dt 파티션, RANK() OVER (PARTITION BY user_id ...), DISTRIBUTE BY user_id, mapPartitions, 그리고 사용자 ID를 행 키로 쓰는 HBase 테이블의 리전이다. 나누는 대상도, 나누는 주체도, 수를 바꾸는 비용도 서로 다르다. 공통점은 키를 보고 조각을 고르는 함수가 있다는 것이다. 그 함수가 범위인지 해시인지, 노드가 늘 때 키가 얼마나 옮겨 가는지, 한 키에 몰리는 부하와 보조 인덱스를 어떻게 다루는지에서 시스템들이 갈린다. 버전은 Cassandra 5.0, HBase 2.6, Kafka 4.4, Spark 4.3, Icebe...</summary> </entry> </feed>
