Resume

Resume

김승갑 (Seunggab Kim) · Data Engineer
seunggabi@gmail.com · LinkedIn · GitHub · Blog · English

10년 차 개발자이고, 그중 8년 넘게 데이터 엔지니어링을 했습니다. CDC, 스트리밍, 레이크하우스로 이어지는 데이터 플랫폼을 만들고 운영합니다. 문제의 원인이 오픈소스에 있으면 업스트림에 직접 고쳐서 올리고, Apache Spark·Superset·Airflow에 머지됐습니다.

경력

오렌지스퀘어 (WOWPASS) · Data Engineer · 2023.10 – 현재

  • 운영 MySQL의 변경분을 Debezium과 MSK Connect로 받아 Iceberg 레이크하우스(S3 Tables)에 적재하는 CDC 파이프라인을 설계·운영해, 분석 쿼리를 운영 DB에서 분리
  • Kafka·Flink 스트리밍과 Avro·Schema Registry 기반 앱 이벤트 로그 파이프라인 구축
  • Airflow와 EMR Spark 배치 운영, 데이터 인프라 알람을 Terraform 코드로 관리
  • DataHub 카탈로그 도입, 사내 KPI 대시보드 개발, Athena 위 Superset 운영 참여
  • 외부 결제·교통카드 연동 서버 API 개발, GitHub Actions로 개발 프로세스 자동화

티맵모빌리티 · Data Engineer · 2022.10 – 2023.10

  • 모노 레포와 공용 core 모듈 도입을 제안하고 적용, Airflow DAG를 저장소 기반으로 버전 관리
  • Kotlin 배치 잡: Hive→DynamoDB 적재, JSON→Hive 적재, 쿼리 결과 S3 추출, S3 버전 복구, SQL 결과 Slack 알림

버킷플레이스 (오늘의집) · Data Engineer · 2022.04 – 2022.10

  • 광고 리포트 배치를 Spark 잡과 Spring Batch로 나눠 집계 (글), Kotlin·Spring Boot 서비스의 빌드·배포 구조 (글)
  • OLAP 데이터 동기화를 API 호출에서 Kafka 비동기 방식으로 전환, 모노 레포와 Spring Config Server, 글로벌 로그 스키마 설계 참여

NAVER · 2016.12 – 2022.04

  • Data Engineering TL (2021.04 – 2022.04): 글로벌 로그 시스템과 대시보드 과제 리드, NAVER TV 개인화 API
  • Data Engineer (Back End 포함, 2018.10 – 2021.04): 음악 서비스(VIBE·LINE MUSIC·NOW) 글로벌 로그 시스템을 KR·JP·NOW로 확장 (글), Spark Streaming으로 HDFS 적재 (글), Spark·Hive 지표 배치 (글)
  • 같은 기간 HBase 개인화 API와 Django 대시보드를 만들고, 노래방·내돈내듣 차트 신설과 LINE MUSIC 비디오 추천 개인화에 참여
  • Front End Developer (2016.12 – 2018.09): 블로그·포스트 스마트에디터 컴포넌트(React·MobX)

오픈소스

  • Apache Superset (머지 3건): 데이터셋 시간 포맷 epoch_us (글), MCP API 키 발급 범위 제한 (글), CI 수정. 다운로드 사유 기록 제안 SIP-230 (글)
  • Apache Spark: SparkSession.builder.config(Map) 추가, 3.4.0 포함 (글)
  • Apache Airflow: TableauOperator 템플릿 필드 (글), Helm 차트 release 이름 길이 수정 (글)
  • PyAthena: Athena 복합 타입 파싱 수정 (글) · Apache Iceberg: Kafka Connect 개선 PR 리뷰 중

기술

분야기술
수집·스트리밍Kafka, Kafka Connect, Debezium, Amazon MSK, Flink, Spark Streaming, Avro
저장·쿼리Iceberg, S3 Tables, Hive, Spark SQL, Athena, Presto·Trino, MySQL, HBase, Redis
배치·오케스트레이션Spark, Airflow, EMR, Spring Batch
서빙·거버넌스Superset, DataHub, Spring Boot, Django
언어·인프라Kotlin, Java, Python, SQL · AWS, Terraform, Kubernetes(Helm), GitHub Actions

학력·자격

명지대학교 컴퓨터공학 학사 (학점 4.18/4.5) · 정보처리기사, OCP 11g Administration, 리눅스마스터 2급