hive 8
- 작은 파일은 쓰는 쪽에서 막고 남은 것만 합친다
- 같은 Hive 테이블을 엔진마다 다르게 읽는 지점
- Iceberg, Delta, Hudi는 커밋을 어디에 적는가
- Iceberg 테이블을 다시 쓰지 않고 스키마와 파티션 바꾸기
- Hive 파티션은 메타스토어와 어긋나면 에러 없이 빈 결과를 낸다
- 연말 결산 화면을 Spark SQL 잡 18개와 HBase 한 행으로 만들었다
- Kafka 로그를 Spark Streaming으로 HDFS에 쌓고 Hive 테이블로 다듬기까지
- 서비스 지표 배치 수십 개를 job, data, query builder로 나눠 관리했다