seunggabi

재시작 뒤 Flink 윈도 결과가 시간 기준마다 달라지는 이유

광고 클릭을 IP별로 세어 짧은 시간에 클릭이 몰린 키를 차단 후보로 쌓는 Flink 잡을 예로 든다. 이런 잡은 워터마크 없이 슬라이딩 처리 시간 윈도로 시작하기 쉽다. 설정이 단순한 대신 재시작 때 백로그가 현재 윈도에 몰린다. 이 선택이 무엇을 얻고 무엇을 내주는지 Flink의 시간 개념으로 풀어 본다. 버전은 Flink 2.3 기준이다. 처...

연말 결산 화면을 Spark SQL 잡 18개와 HBase 한 행으로 만들었다

연말 결산 화면은 사용자 한 명에게 “올해 가장 많이 들은 앨범, 계절별로 많이 들은 곡, 가장 많이 들은 날, 장르 비율” 같은 것을 한꺼번에 보여 준다. 화면을 열 때마다 1년 치 재생 로그를 사용자별로 집계하면 응답이 너무 늦다. 이 잡들은 항목을 전부 미리 계산해 HBase에 넣어 두고, API는 사용자 한 명의 결과를 한 번에 읽기만 한다. ...

한 저장소에서 광고 서비스 아홉 개를 배포하는 모듈과 워크플로

이전 회사의 커머스 광고 플랫폼에서 서비스 아홉 개를 한 저장소에서 빌드하고 배포하는 구조를 맡았다. Spring Boot 서비스, Flink 잡, Python 배치, React 관리 화면, 메신저 봇이 한 저장소에 같이 있었고, 환경은 dev, stage, prod 세 개였다. 공통 모듈 하나를 고치면 그걸 쓰는 서비스가 전부 다시 배포돼야 했다. ...

광고 리포트를 Spark 잡과 Spring Batch로 나눠 집계하기

이전 회사의 커머스 광고 플랫폼에서 광고 리포트 배치를 맡았다. 광고주별 하루 사용 내역을 DB에 쌓는 잡은 Spring Batch로 만들었고, 쿼리 결과를 메일과 다른 서비스 API로 보내거나 외부 파트너의 리포트 파일을 옮기는 잡은 EMR에 Spark 스텝으로 올리는 Kotlin 잡으로 만들었다. Spring Batch 쪽은 실행 기록을 DB에 남...

Kafka 로그를 Spark Streaming으로 HDFS에 쌓고 Hive 테이블로 다듬기까지

로그 수집 API가 Kafka로 보낸 로그는 Spark Streaming 잡이 받아 HDFS에 텍스트 파일로 쌓았다. 그 위에서 매일 도는 배치 몇 개가 중복을 지우고, Hive 테이블에 올리고, 작은 파일을 합치고, 테이블이 정상인지 확인했다. 음악·오디오 서비스에서 맡았던 일이고, 회사 내부 이름과 경로는 뺐다. flowchart LR K["...

로그 수집 API에서 데이터 품질을 먼저 챙겼다

음악·오디오 서비스의 앱과 웹이 보내는 행동 로그를 받는 API를 맡았다. Spring Boot로 만든 HTTP API가 로그를 받아 몇 가지를 확인하고 덧붙인 뒤 Kafka로 보낸다. 지표 배치는 이 로그가 Hive에 쌓인 것을 읽는다. 그래서 이 API는 받은 로그를 그냥 넘기지 않고, 몇 가지를 확인하고 고친 뒤에 넘겼다. 회사 내부 이름과 토...

서비스 지표 배치 수십 개를 job, data, query builder로 나눠 관리했다

이전 회사에서 음악·오디오 서비스의 데이터 쪽을 맡았다. 로그를 받아 Kafka로 보내는 수집 API, Hive에 쌓인 로그로 지표를 만드는 Spark 배치, 그 지표를 보여 주는 대시보드, 배포와 알림을 돕는 도구까지였다. 이 글은 그중 지표 배치를 어떻게 나눠 관리했는지 적는다. 회사 내부 이름과 테이블은 뺐다. flowchart LR APP...