Portfolio

Portfolio

데이터 엔지니어입니다. Kafka, Flink, Iceberg, Athena, Superset으로 이어지는 파이프라인에서 생긴 문제를 끝까지 따라가 원인을 찾고, 원인이 오픈소스에 있으면 그 프로젝트에 직접 고쳐서 올립니다.

실무에서 한 일

분야한 일기술글
결제 서비스 데이터 플랫폼 (현재)MySQL CDC를 Iceberg 레이크하우스로 적재·운영, Kafka·Flink 스트리밍, Airflow·EMR Spark 배치, Superset·DataHub 운영Debezium, Kafka Connect, Amazon MSK, Iceberg, Flink, Spark, Airflow, Athena, Superset, DataHub, Terraform-
모빌리티 서비스 데이터 배치모노 레포와 공용 core 모듈 도입, Airflow DAG 버전 관리 개선, Hive·DynamoDB·S3를 오가는 Kotlin 배치 잡Kotlin, Airflow, Hive, DynamoDB, S3, Athena-
커머스 광고 데이터광고 리포트 배치(Spark 잡과 Spring Batch), 서비스 아홉 개의 빌드·배포 구조Kotlin, Spring Boot, Spring Batch, Spark on EMR, MySQL, GitHub Actions, Gradle리포트 배치, 빌드·배포 구조
음악·오디오 서비스 데이터로그 수집 API부터 Hive·Spark 지표 배치, 연말 결산, 대시보드까지Spring Boot, Kafka, Logstash, Spark Streaming, Spark SQL, PySpark, Hive, ORC, HBase, MySQL, Django, Vue, Celery, Zeppelin수집 API, 스트리밍 적재, Logstash 중계, 지표 배치, 연말 결산, 대시보드 API

오픈소스 기여

2018년부터 47개 저장소에 PR 78개를 보냈고 33개가 머지됐습니다. 그중 데이터 도구 쪽 기여만 추렸습니다.

프로젝트기여결과글
Apache SparkSparkSession.builder.config(Map) 추가. Spark 3.4.0에 포함, PySpark도 같은 API를 따라 추가2022-08 커밋글
Apache Superset데이터셋 시간 포맷에 마이크로초 epoch(epoch_us) 지원 추가. 엔진별 SQL, 필터, 검증까지 21개 파일2026-09 머지글
Apache SupersetMCP API 키 화면이 발급 가능한 범위만 보여 주도록 수정, 500을 400으로2026-11 머지글
Apache Supersetmaster CI를 깨뜨린 import 누락과 번역 템플릿 수정2026-09 머지글
PyAthenaAthena 복합 타입(MAP, ARRAY, STRUCT) 값이 NULL로 사라지던 문제 수정. 리뷰를 거쳐 “완전히 파싱하거나 원본 그대로” 규칙으로 정리2026-09 머지글
Apache AirflowTableauOperator에 템플릿 필드 추가. Tableau provider 4.1.0에 포함2023-02 머지글
Airflow Helm 차트release 이름 길이 제한을 43자에서 40자로 낮춰 StatefulSet 파드 생성 실패를 막음. 차트 8.6.1에 포함2022-06 머지글
Iceberg Kafka Connect대소문자 섞인 이름에서 싱크 태스크가 NPE로 죽던 문제 분석과 수정안저장소 이관으로 닫음글

진행 중인 제안도 있습니다.

프로젝트내용상태글
Apache Superset다운로드 사유 기록 기능 제안(SIP-230), dev@ 논의와 투표 진행투표 중글
Apache IcebergKafka Connect id-columns 조회에 대소문자 무시 옵션 적용, 에러 메시지 보강리뷰 대기#19042
AWS EMR TCO 시뮬레이터YARN 작업 기록 수집 스크립트가 활성 EMR 클러스터를 모두 돌도록리뷰 대기글

사이드 프로젝트

프로젝트내용기술
claude-dashboardClaude Code 세션을 k9s처럼 한 화면에서 보고 관리하는 터미널 UI. Homebrew로 배포, v0.15.0Go, Bubble Tea, tmux (글)
cron-managercrontab을 GUI로 다루는 Electron 앱. 쓰기 전 백업, 실행 잠금TypeScript, Electron (글)

다루는 기술

분야기술
수집·스트리밍Kafka, Kafka Connect, Debezium, Amazon MSK, Flink, Spark Streaming, Avro
저장·쿼리Spark, Hive, Iceberg, S3 Tables, Parquet, ORC, HDFS, Athena, Trino, MySQL, Redis
오케스트레이션·카탈로그Airflow, DataHub
시각화Superset, Tableau, Zeppelin
인프라Kubernetes, Helm, Terraform, AWS (EMR, MSK, S3, Athena, Lambda, Lake Formation), GitHub Actions, Datadog
언어Python, Java, Scala, Kotlin, Go, TypeScript, SQL

기술 개념 정리

실무 글과 오픈소스 기여에서 다룬 개념을 공식 문서 기준으로 다시 정리했습니다.