데이터 플랫폼 엔지니어 (3년차~PL) Spark · Airflow · K8s

주요업무

• k8s 인프라 환경에서 spark를 활용한 실시간 데이터 스트리밍 파이프 라인 설계 및 구축 • 오브젝트 스토리지(MinIO)로의 데이터 적재 및 관리,마이그레이션 • Airflow 기반 워크플로우 자동화 및 운영 • 서비스 어플리케이션 및 클러스터 트러블 슈팅 • 기술 문서(컨플루언스)

자격요건

• 빅데이터 서비스,플랫폼 구축 개발 경력이 있으신 분 • spark 경험 3년이상 경력을 보유하신 분 • spark 와 같은 인메모리 엔진을 활용한 대규모 데이터 처리 프로젝트 수행 경험이 있으신 분 • 대용량 분산 클러스터 환경에 대한 이해도와 경험이 있으신 분 • 시스템 성능 튜닝 및 성능 테스트 경험 있으신 분

우대사항

• hadoop 환경에서 데이터 파이프 라인 구축 경험이 있으신 분 • k8s 환경에서 시스템 운영 또는 개발 경험이 있으신 분 • 기술 컨설팅 제안이 가능하신 분 * 프로젝트 PM, PL 수행 가능 하신 분 우대

기술스택

Airflow, Spark, Kubernetes

채용절차

• 서류 전형 • 비대면 기술 면접 • 최종 대면 임원 면접