Airflow 3에서 태스크 하나가 실행되기까지
Airflow에서 태스크가 몇 시간째 scheduled에 머물러 있다면 원인은 태스크 코드가 아니다. 풀 슬롯이나 동시성 한도가 막고 있거나, 센서가 워커 슬롯을 다 잡고 있을 가능성이 크다. 새 DAG가 UI에 늦게 뜨거나 스케줄러가 느려지는 것도 대개 실행이 아니라 파싱 쪽 문제다. 어느 컴포넌트가 무엇을 맡는지 알면 상태 이름만 보고 원인을 좁힐...
Airflow에서 태스크가 몇 시간째 scheduled에 머물러 있다면 원인은 태스크 코드가 아니다. 풀 슬롯이나 동시성 한도가 막고 있거나, 센서가 워커 슬롯을 다 잡고 있을 가능성이 크다. 새 DAG가 UI에 늦게 뜨거나 스케줄러가 느려지는 것도 대개 실행이 아니라 파싱 쪽 문제다. 어느 컴포넌트가 무엇을 맡는지 알면 상태 이름만 보고 원인을 좁힐...
외부 테이블인 줄 알고 DROP TABLE을 돌렸는데 데이터 디렉터리까지 사라진다. Spark로 버킷 테이블을 만들었는데 Hive와 Trino는 그 버킷을 쓰지 못한다. Hive에서 UPDATE한 테이블을 Spark로 읽을 방법이 마땅치 않다. 세 문제는 같은 곳에서 나온다. 메타스토어의 테이블 항목에는 컬럼과 파티션 말고도 테이블 종류, SerDe와...
Kafka lag이 계속 늘어서 Flink Web UI를 열면 source 태스크가 검은색으로 칠해져 있다. 이때 source 병렬도를 올리면 대개 아무것도 나아지지 않는다. 백프레셔는 느린 태스크에서 위쪽으로 번지기 때문에, 검게 보이는 태스크는 원인이 아니라 정체의 맨 뒤다. 어디가 진짜 병목인지 읽으려면 잡이 어떤 태스크로 묶이고, 어느 슬롯에 ...
트래픽이 적은 토픽의 retention.ms를 1일로 줄였다. 그런데 사흘 전에 들어온 레코드가 컨슈머에서 아직 읽힌다. 설정이 늦게 먹은 것이 아니다. Kafka는 레코드 하나하나에 만료를 걸지 않고, 파티션을 이루는 세그먼트 파일을 통째로 지운다. 세그먼트 안의 가장 새 레코드가 보존 기간을 넘겨야 그 파일이 지워진다. compaction도 같은...
replication.factor=3, min.insync.replicas=2인 토픽에서 브로커 두 대를 연달아 재시작했다. acks=all 프로듀서는 이런 에러를 내며 재시도하는데, 같은 파티션을 읽는 컨슈머는 멀쩡히 돈다. org.apache.kafka.common.errors.NotEnoughReplicasException: ... 설정이 ...
Spark 잡이 메모리 때문에 죽었다는 로그는 크게 두 갈래다. 하나는 JVM이 힙을 못 구해 java.lang.OutOfMemoryError를 던진 경우이고, 다른 하나는 JVM은 멀쩡한데 YARN이나 Kubernetes가 컨테이너 한도를 넘었다고 프로세스를 죽인 경우다. 두 경우는 고칠 설정이 다르다. 힙을 늘려야 할 때 overhead를 늘리거나...
df.filter(...).groupBy(...).agg(...)까지 써도 클러스터에서는 아무 일도 일어나지 않는다. count()나 write를 부르는 순간 드라이버가 계획을 세우고, 셔플 지점에서 계획을 stage로 자르고, stage마다 파티션 수만큼 task를 만들어 executor에 보낸다. Spark UI의 job, stage, task 숫...
enable.idempotence=true인 프로듀서로 보냈는데 토픽에 같은 주문 이벤트가 두 번 들어 있다. 설정이 꺼진 것도, 브로커가 잘못한 것도 아니다. 멱등 프로듀서는 한 프로듀서 세션이 같은 배치를 재시도할 때만 중복을 지우고, 프로세스가 재시작했거나 애플리케이션이 send()를 두 번 부른 경우는 처음부터 다른 레코드로 본다. 중복을 막...
HBase에 Put을 보내고 성공 응답을 받은 순간, 그 데이터는 아직 HFile에 없다. WAL과 메모리에만 있다. 이 상태에서 RegionServer가 죽으면 무엇이 데이터를 되살리는지, 읽기는 왜 메모리와 파일 여러 개를 함께 봐야 하는지 설명할 수 있으면 HMaster, 리전, compaction 질문도 같이 풀린다. 나는 음악 서비스에서 H...
CDC upsert가 계속 들어오는 테이블을 Iceberg, Delta Lake, Hudi 중 무엇으로 만들어도 ACID 커밋과 시간 여행은 된다. 세 포맷이 갈리는 지점은 “지금 이 테이블을 이루는 파일은 무엇인가”를 어디에 적는지, 그리고 두 커밋이 부딪힐 때 누가 판정하는지다. 행 단위 변경 비용, 파티션을 바꾸는 방법, 붙일 수 있는 엔진이 모...