seunggabi

Airflow 3에서 태스크 하나가 실행되기까지

Airflow에서 태스크가 몇 시간째 scheduled에 머물러 있다면 원인은 태스크 코드가 아니다. 풀 슬롯이나 동시성 한도가 막고 있거나, 센서가 워커 슬롯을 다 잡고 있을 가능성이 크다. 새 DAG가 UI에 늦게 뜨거나 스케줄러가 느려지는 것도 대개 실행이 아니라 파싱 쪽 문제다. 어느 컴포넌트가 무엇을 맡는지 알면 상태 이름만 보고 원인을 좁힐...

같은 Hive 테이블을 엔진마다 다르게 읽는 지점

외부 테이블인 줄 알고 DROP TABLE을 돌렸는데 데이터 디렉터리까지 사라진다. Spark로 버킷 테이블을 만들었는데 Hive와 Trino는 그 버킷을 쓰지 못한다. Hive에서 UPDATE한 테이블을 Spark로 읽을 방법이 마땅치 않다. 세 문제는 같은 곳에서 나온다. 메타스토어의 테이블 항목에는 컬럼과 파티션 말고도 테이블 종류, SerDe와...

Flink 런타임 구조와 백프레셔 읽는 법

Kafka lag이 계속 늘어서 Flink Web UI를 열면 source 태스크가 검은색으로 칠해져 있다. 이때 source 병렬도를 올리면 대개 아무것도 나아지지 않는다. 백프레셔는 느린 태스크에서 위쪽으로 번지기 때문에, 검게 보이는 태스크는 원인이 아니라 정체의 맨 뒤다. 어디가 진짜 병목인지 읽으려면 잡이 어떤 태스크로 묶이고, 어느 슬롯에 ...

Kafka는 세그먼트 단위로 지우고 키 단위로 압축한다

트래픽이 적은 토픽의 retention.ms를 1일로 줄였다. 그런데 사흘 전에 들어온 레코드가 컨슈머에서 아직 읽힌다. 설정이 늦게 먹은 것이 아니다. Kafka는 레코드 하나하나에 만료를 걸지 않고, 파티션을 이루는 세그먼트 파일을 통째로 지운다. 세그먼트 안의 가장 새 레코드가 보존 기간을 넘겨야 그 파일이 지워진다. compaction도 같은...

Kafka 멱등 프로듀서는 어떤 중복까지 막을까

enable.idempotence=true인 프로듀서로 보냈는데 토픽에 같은 주문 이벤트가 두 번 들어 있다. 설정이 꺼진 것도, 브로커가 잘못한 것도 아니다. 멱등 프로듀서는 한 프로듀서 세션이 같은 배치를 재시도할 때만 중복을 지우고, 프로세스가 재시작했거나 애플리케이션이 send()를 두 번 부른 경우는 처음부터 다른 레코드로 본다. 중복을 막...

Iceberg, Delta, Hudi는 커밋을 어디에 적는가

CDC upsert가 계속 들어오는 테이블을 Iceberg, Delta Lake, Hudi 중 무엇으로 만들어도 ACID 커밋과 시간 여행은 된다. 세 포맷이 갈리는 지점은 “지금 이 테이블을 이루는 파일은 무엇인가”를 어디에 적는지, 그리고 두 커밋이 부딪힐 때 누가 판정하는지다. 행 단위 변경 비용, 파티션을 바꾸는 방법, 붙일 수 있는 엔진이 모...