Kafka 로그를 Spark Streaming으로 HDFS에 쌓고 Hive 테이블로 다듬기까지
로그 수집 API가 Kafka로 보낸 로그는 Spark Streaming 잡이 받아 HDFS에 텍스트 파일로 쌓았다. 그 위에서 매일 도는 배치 몇 개가 중복을 지우고, Hive 테이블에 올리고, 작은 파일을 합치고, 테이블이 정상인지 확인했다. 음악·오디오 서비스에서 맡았던 일이고, 회사 내부 이름과 경로는 뺐다. flowchart LR K["...





