[바비톡] Senior Data Engineer

주요업무

•데이터 아키텍처 설계 및 고도화: AWS 기반 대용량 데이터 수집/처리/저장/분석 파이프라인의 전체 아키텍처 설계 및 리딩을 합니다. · Data Lakehouse 전략 수립: Apache Iceberg 기반 레이크하우스 환경의 성능 최적화, 스토리지 전략 수립 및 관리 체계 구축을 합니다. •실시간 처리 인프라 확장: AWS Kinesis을 활용한 실시간 데이터 스트리밍 인프라 설계 및 장애 대응 체계 고도화를 합니다. •데이터 거버넌스 및 품질 관리: DBT 등을 활용하여 전사 데이터 품질(Data Quality) 모니터링 체계 구축, 데이터 카탈로그 관리 및 보안 정책 수 립을 합니다. ·플랫폼 엔지니어링: EKS 기반 Airflow, CI/CD(ArgoCD) 환경의 확장성 확보 및 인프라 운영 효율화 리딩합니다. •기술 리딩 및 멘토링: 주니어 엔지니어의 코드 리뷰, 기술적 문제 해결 지원 및 팀 내 엔지니어링 문화 선도를 합니다. [업무 환경] • Apache Iceberg 기반 Data Lakehouse 환경을 활용하여 데이터 관리 및 분석 수행 합니다. · Kubernetes(EKS) 기반 Apache Airflow 환경에서 데이터 파이프라인 운영 합니다. · AWS EMR Serverless 및 Scala Spark를 활용한 대규모 데이터 처리 환경을 구축하고 운영 합니다. • AWS Kinesis 기반 실시간 데이터 스트리밍 및 처리 인프라를 설계 및 고도화 합니다. · GitHub Actions · ArgoCD 기반 CI/CD 자동화 파이프라인 운영 합니다.

자격요건

· 7년 이상의 데이터 엔지니어링 또는 그에 준하는 경험을 보유하신 분이 필요해요. · Scala, Python, SQL에 능숙하며, 객체 지향 및 함수형 프로그래밍에 대한 깊은 이해가 있으신 분이 필요해요. • Spark(Scala)를 이용한 대규모 분산 데이터 처리 및 성능 튜닝 경험이 풍부하신 분이 필요해요. · Apache Iceberg 등 최신 테이블 포맷을 활용한 데이터 레이크하우스 구축 및 운영 경험이 있으신 분이 필요해요. · Kubernetes(EKS) 환경에서 데이터 애플리케이션을 배포하고 운영해 본 경험이 있으신 분이 필요해요. • 복잡한 비즈니스 요구사항을 데이터 모델링으로 풀어낼 수 있는 논리적 사고 능력을 갖춘 분이 필요해요. · 데이터 분석가/사이언티스트와 원활하게 소통하며 플랫폼의 방향성을 제시할 수 있는 분이 필요해요.

우대사항

• dbt(data build tool) 기반 데이터 모델링: dbt를 활용하여 분석용 데이터 마트(Data Mart)를 설계하고, 복잡한 비즈니스 로직을 SQL 기반의 모듈화된 데이터 모델로 변환해 본 경험이 있으신 분이면 좋아요. · 비용 및 성능 최적화: 클라우드 인프라(AWS) 및 쿼리 엔진의 비용 최적화 및 성능 개선 성공 경험이 있으신 분이면 좋아요. · Al 기반 데이터 품질 모니터링: AI/ML 모델을 활용하여 데이터 이상 탐지(Anomaly Detection)나 데이터 품질 모니터링 시스템을 구축해 본 경험이 있으신 분이면 좋아요. • Al 개발 생산성 도구 활용: GitHub Copilot, Cursor 등 AI 코딩 어시스턴트를 활용해 개발 생산성을 극대화하고, 팀 내에 AI 도입 경험을 전파할 수 있는 분이면 좋아요. · MLOps 인프라 구축: 데이터 파이프라인과 머신러닝 모델 서빙(Serving) 인프라를 통합해 본 경험이 있으신 분이면 좋아요. · 데이터 보안/컴플라이언스: ISMS 등 보안 인증에 대응하는 데이터 권한 관리 및 비식별화 처리 경험이 있으신 분이면 좋아요.

기술스택

Python, Scala, Apache, AWS-Kinesis, Airflow, Spark, Argo-CD, Docker, Github, Github-Action, Kubernetes, AWS, SQL, AWS-EKS, dbt, Apache Iceberg, Snowflake, Cursor, Assistants API

채용절차

• 서류 전형 -＞ 폰스크리닝(HR) -＞ 실시간 코딩 테스트&1차 인터뷰 -＞2차 인터뷰 - > 처우 협의 -＞ 입사 • 특정 포지션에 한해 추가 인터뷰가 진행될 수 있습니다. • 해당 포지션은 3개월 수습기간이 적용됩니다. • 단, 수습기간 동안에도 급여는 100% 지급됩니다.