재시작 뒤 Flink 윈도 결과가 시간 기준마다 달라지는 이유
광고 클릭을 IP별로 세어 짧은 시간에 클릭이 몰린 키를 차단 후보로 쌓는 Flink 잡을 예로 든다. 이런 잡은 워터마크 없이 슬라이딩 처리 시간 윈도로 시작하기 쉽다. 설정이 단순한 대신 재시작 때 백로그가 현재 윈도에 몰린다. 이 선택이 무엇을 얻고 무엇을 내주는지 Flink의 시간 개념으로 풀어 본다. 버전은 Flink 2.3 기준이다. 처...
광고 클릭을 IP별로 세어 짧은 시간에 클릭이 몰린 키를 차단 후보로 쌓는 Flink 잡을 예로 든다. 이런 잡은 워터마크 없이 슬라이딩 처리 시간 윈도로 시작하기 쉽다. 설정이 단순한 대신 재시작 때 백로그가 현재 윈도에 몰린다. 이 선택이 무엇을 얻고 무엇을 내주는지 Flink의 시간 개념으로 풀어 본다. 버전은 Flink 2.3 기준이다. 처...
연말 결산 화면은 사용자 한 명에게 “올해 가장 많이 들은 앨범, 계절별로 많이 들은 곡, 가장 많이 들은 날, 장르 비율” 같은 것을 한꺼번에 보여 준다. 화면을 열 때마다 1년 치 재생 로그를 사용자별로 집계하면 응답이 너무 늦다. 이 잡들은 항목을 전부 미리 계산해 HBase에 넣어 두고, API는 사용자 한 명의 결과를 한 번에 읽기만 한다. ...
이전 회사의 커머스 광고 플랫폼에서 서비스 아홉 개를 한 저장소에서 빌드하고 배포하는 구조를 맡았다. Spring Boot 서비스, Flink 잡, Python 배치, React 관리 화면, 메신저 봇이 한 저장소에 같이 있었고, 환경은 dev, stage, prod 세 개였다. 공통 모듈 하나를 고치면 그걸 쓰는 서비스가 전부 다시 배포돼야 했다. ...
이전 회사의 커머스 광고 플랫폼에서 광고 리포트 배치를 맡았다. 광고주별 하루 사용 내역을 DB에 쌓는 잡은 Spring Batch로 만들었고, 쿼리 결과를 메일과 다른 서비스 API로 보내거나 외부 파트너의 리포트 파일을 옮기는 잡은 EMR에 Spark 스텝으로 올리는 Kotlin 잡으로 만들었다. Spring Batch 쪽은 실행 기록을 DB에 남...

crontab은 사용자마다 파일 한 장이다. 고치는 방법은 crontab -e로 편집기를 열거나 crontab <파일>로 새 내용을 통째로 설치하는 것뿐이고, 이전 내용은 어디에도 남지 않는다. 작업 이름, 설명, 로그 경로를 적어 둘 자리도 따로 없다. cron-manager는 이 파일을 GUI로 다루는 Electron 데스크톱 앱이다....
로그 수집 API가 Kafka로 보낸 로그는 Spark Streaming 잡이 받아 HDFS에 텍스트 파일로 쌓았다. 그 위에서 매일 도는 배치 몇 개가 중복을 지우고, Hive 테이블에 올리고, 작은 파일을 합치고, 테이블이 정상인지 확인했다. 음악·오디오 서비스에서 맡았던 일이고, 회사 내부 이름과 경로는 뺐다. flowchart LR K["...
음악·오디오 서비스의 앱과 웹이 보내는 행동 로그를 받는 API를 맡았다. Spring Boot로 만든 HTTP API가 로그를 받아 몇 가지를 확인하고 덧붙인 뒤 Kafka로 보낸다. 지표 배치는 이 로그가 Hive에 쌓인 것을 읽는다. 그래서 이 API는 받은 로그를 그냥 넘기지 않고, 몇 가지를 확인하고 고친 뒤에 넘겼다. 회사 내부 이름과 토...
이전 회사에서 음악·오디오 서비스의 데이터 쪽을 맡았다. 로그를 받아 Kafka로 보내는 수집 API, Hive에 쌓인 로그로 지표를 만드는 Spark 배치, 그 지표를 보여 주는 대시보드, 배포와 알림을 돕는 도구까지였다. 이 글은 그중 지표 배치를 어떻게 나눠 관리했는지 적는다. 회사 내부 이름과 테이블은 뺐다. flowchart LR APP...
온프레미스 Hadoop을 Amazon EMR로 옮기려면 비용부터 따져야 한다. 지금 클러스터에서 어떤 작업이 얼마나 자원을 쓰는지 알아야 EMR에서 몇 대를 어떤 인스턴스로 띄울지 계산할 수 있다. AWS가 공개한 migration-hadoop-to-emr-tco-simulator는 이걸 세 단계로 나눈다. YARN 작업 기록을 모으고(yarn-lo...

Spark 설정을 YAML 파일에 모아 두고 Kotlin으로 SparkSession을 만들던 코드가 있었다. 파일에서 읽은 맵을 빌더에 넣으려면 값의 타입마다 분기를 해야 했다. map.keys.forEach { val v = map[it] b = when (v) { is Long -> b.config(it, v) ...