Hive 파티션은 메타스토어와 어긋나면 에러 없이 빈 결과를 낸다
S3에 dt=2026-11-19/ 폴더가 생겼고 파일도 들어 있는데, Athena에서 그날을 조회하면 0건이 나온다. 에러는 없다. Hive 스타일 테이블의 파티션은 저장소의 디렉터리와 메타스토어의 파티션 항목, 두 곳에 따로 있고, 쿼리 엔진은 메타스토어에 등록된 파티션만 읽는다. 두 곳을 맞추는 일은 쓰는 쪽이 따로 해야 한다. 광고 리포트 배치...
S3에 dt=2026-11-19/ 폴더가 생겼고 파일도 들어 있는데, Athena에서 그날을 조회하면 0건이 나온다. 에러는 없다. Hive 스타일 테이블의 파티션은 저장소의 디렉터리와 메타스토어의 파티션 항목, 두 곳에 따로 있고, 쿼리 엔진은 메타스토어에 등록된 파티션만 읽는다. 두 곳을 맞추는 일은 쓰는 쪽이 따로 해야 한다. 광고 리포트 배치...
컨슈머를 여섯 개에서 열두 개로 늘렸는데 처리량이 그대로다. kafka-consumer-groups.sh --describe --members를 보면 새로 띄운 컨슈머 여섯 개의 #PARTITIONS가 0이다. 토픽 파티션이 여섯 개라서 생기는 일이다. 버전은 Kafka 4.4 기준이다. 파티셔너는 키가 있을 때와 없을 때 다르게 고른다 프로듀서...
--executor-memory 4g로 띄운 잡인데 ResourceManager 화면에서는 executor 컨테이너 하나가 5GB로 잡혀 있다. 같은 잡이 어떤 날은 Container killed by YARN for exceeding physical memory limits로 executor를 잃는다. 둘 다 Spark가 YARN에 컨테이너를 어떤 ...
일간 활성 사용자 테이블에서 월요일부터 일요일까지 7행을 더하면 주간 활성 사용자와 같거나 큰 숫자가 나오고, 이틀 이상 들어온 사용자가 한 명이라도 있으면 커진다. 월요일과 화요일에 모두 들어온 사람이 두 번 세어지기 때문이다. 쿼리는 에러 없이 돌고, 숫자만 틀린다. 지표 테이블에서 생기는 이런 실수는 대부분 한 행이 무엇을 뜻하는지, 그 행의 값...
지표 배치가 MySQL에 넣는 테이블은 지표마다 하나씩이라 수십 개였다. 대시보드는 이 테이블들을 날짜 범위, 서비스, 플랫폼 구분으로 잘라서 보여 줘야 했고, API가 느려지거나 응답 모양이 바뀌면 누군가 화면을 열기 전에 알아야 했다. 이전 회사에서 음악·오디오 서비스의 데이터 쪽을 맡으며 만든 대시보드의 백엔드(Django REST Framewo...
Kafka에 쌓인 행동 로그를 사내의 다른 로그 시스템에도 보내야 했다. 그쪽은 TCP로 정해진 형식의 한 줄씩 받는 시스템이라, Kafka 메시지를 그대로 넘길 수 없었다. 그래서 가운데에 Logstash를 두고 Kafka 메시지를 읽어 JSON을 풀고, 이벤트 하나를 한 줄 문자열로 바꿔 보냈다. 이전 회사에서 음악·오디오 서비스의 데이터 쪽을 맡...
로그 수집 API는 Kafka로 보내기 전에 로그 한 건마다 스키마 버전, 이벤트 시각, 재생 시간 숫자를 확인했다. 그 로그가 Hive에 쌓인 뒤에는 Spark Streaming으로 Hive에 쌓은 글의 점검 배치가 지난 14일의 행 수를 날짜와 시간별로 셌다. 둘 다 품질 검사지만, 앞은 한 건을 보고 뒤는 쌓인 테이블을 본다. 검사 위치는 셋으로...
Spark에는 스트리밍 API가 두 개 있다. RDD 위에서 도는 Spark Streaming(DStream)과 DataFrame 위에서 도는 Structured Streaming이다. 둘 다 마이크로배치로 돌지만, Kafka를 어디까지 읽었는지 기억하는 곳과 출력이 몇 번 쓰이는지가 다르다. Spark Streaming으로 Hive에 쌓는 글의 DS...
사용자가 화면을 열 때마다 1년 치 로그를 집계하면 응답이 너무 늦다. 그래서 배치가 결과를 미리 계산해 두고, API는 키 하나로 결과를 꺼내기만 하는 구조를 쓴다. 이때 저장소가 빠른지 느린지는 클러스터 크기보다 행 키를 어떻게 만들었고 어떻게 읽느냐에 달려 있다. 연말 결산 Spark 잡 글이 이 구조였고, 이 글은 그 설계를 예로 HBase 데...
프로듀서가 이벤트에 필드 하나를 더했는데, 배포 순서를 잘못 맞추면 컨슈머가 역직렬화에서 멈춘다. Avro 바이너리에는 필드 이름도 타입도 들어 있지 않아서, 읽는 쪽은 쓴 쪽의 스키마를 모르면 바이트를 해석할 수 없다. 이 차이를 다루는 방식은 크게 둘이다. Avro와 스키마 레지스트리로 읽는 쪽에 라이터 스키마를 찾아 주는 방식이 있고, 로그 수집...