seunggabi

Kafka 로그를 Spark Streaming으로 HDFS에 쌓고 Hive 테이블로 다듬기까지

로그 수집 API가 Kafka로 보낸 로그는 Spark Streaming 잡이 받아 HDFS에 텍스트 파일로 쌓았다. 그 위에서 매일 도는 배치 몇 개가 중복을 지우고, Hive 테이블에 올리고, 작은 파일을 합치고, 테이블이 정상인지 확인했다. 음악·오디오 서비스에서 맡았던 일이고, 회사 내부 이름과 경로는 뺐다. flowchart LR K["...

로그 수집 API에서 데이터 품질을 먼저 챙겼다

음악·오디오 서비스의 앱과 웹이 보내는 행동 로그를 받는 API를 맡았다. Spring Boot로 만든 HTTP API가 로그를 받아 몇 가지를 확인하고 덧붙인 뒤 Kafka로 보낸다. 지표 배치는 이 로그가 Hive에 쌓인 것을 읽는다. 그래서 이 API는 받은 로그를 그냥 넘기지 않고, 몇 가지를 확인하고 고친 뒤에 넘겼다. 회사 내부 이름과 토...

서비스 지표 배치 수십 개를 job, data, query builder로 나눠 관리했다

이전 회사에서 음악·오디오 서비스의 데이터 쪽을 맡았다. 로그를 받아 Kafka로 보내는 수집 API, Hive에 쌓인 로그로 지표를 만드는 Spark 배치, 그 지표를 보여 주는 대시보드, 배포와 알림을 돕는 도구까지였다. 이 글은 그중 지표 배치를 어떻게 나눠 관리했는지 적는다. 회사 내부 이름과 테이블은 뺐다. flowchart LR APP...

apache/superset SIP-230 이슈 화면

Superset에 다운로드 사유를 남기자는 SIP-230 제안

개인정보가 들어 있는 테이블을 Superset으로 보고 있다면 매달 비슷한 일이 생긴다. 분석가가 12일에 고객 세그먼트 차트를 CSV로 내려받는다. 다음 달 1일, 보안 담당자가 Action Log를 점검하다 그 다운로드를 본다. 무엇 때문에 받았는지는 어디에도 없다. 보안 담당자가 분석가에게 묻는다. “12일에 고객 테이블 3만 건 ...

claude-dashboard 실행 화면

Claude Code 세션을 k9s처럼 보는 TUI, claude-dashboard 구조

데모 녹화에서는 claude 대신 스텁 프로그램이 돈다 Claude Code를 tmux 세션 여러 개에 띄워 두면 어느 세션이 일하는 중이고 어느 세션이 내 대답을 기다리는지 한눈에 안 보인다. 세션마다 들어가서 확인해야 한다. claude-dashboard는 이걸 k9s처럼 표 하나로 보여 주는 터미널 UI다. Go로 썼고, 2월에 처음 올린 뒤...