Databricks Engg - Systems Integration Specialist

담당업무

• Azure Databricks, PySpark, Delta Lake와 bronze/silver/gold 구조를 이용한 데이터 파이프라인 설계·구축·유지보수

• Oracle, Netezza, Mongo DB, SQL Server, Synapse, Azure Data Lake, API, 파일 피드 등 다양한 소스 데이터 수집 및 증분 적재, CDC, 스키마 변경, 지연 데이터 처리

• ADF와 Databricks Workflows를 활용한 데이터 수집·변환 자동화

• 재사용 가능한 설정 기반 데이터 수집·변환·품질 프레임워크와 라이브러리 구축

• 단위·통합 테스트, 소스-타깃 대사, 결측·고유성·최신성·행 수 기준의 데이터 품질 검증 및 오류 알림 구현

• Azure DevOps/Git, Databricks Asset Bundles, 인프라 코드 기반 CI/CD 및 개발·UAT·프로덕션 환경 배포

• 데이터 처리 성능과 비용 최적화, skew·shuffle·small-file 문제 진단, Delta 테이블 및 클러스터 설정 최적화

• SLA 모니터링, 장애 근본 원인 분석, 프로덕션 지원 및 재발 방지를 위한 운영 개선

• 소스 프로파일링, 논리·물리·차원 모델 작성, 데이터 분석 및 솔루션 아키텍처 기여

• AI 모델 개발·학습을 지원하는 데이터 제품 구축과 거버넌스·컴플라이언스 기준 준수

• 코드 리뷰와 보안 코딩, Unity Catalog 접근 제어, PII 마스킹, 감사 요건 준수

• 설계 문서·데이터 사전·데이터 계보·운영 지침서 작성, 파이프라인 시연, UAT 지원 및 프로덕션 배포

• 사용자 보고 또는 처리 과정에서 발견된 데이터 품질 문제 수정 및 데이터 백필

• 온사이트·오프쇼어 팀과 협업해 시스템 개선 개발 및 지원 조율

자격요건

• 데이터 관리, 데이터 분류·처리 및 데이터 거버넌스 표준·실무 경험

• Azure Databricks와 PySpark 및 관련 데이터 도구 활용 역량

• 테스트, 자동화, 코드 리뷰 실무 경험

• GitHub Copilot 등 AI 개발 도구를 활용한 ETL 개발·데이터 파이프라인 엔지니어링·코드 생성·문제 해결 경험

• 여러 데이터 소스와 테이블을 연계한 통합 테스트 데이터 생성 경험

업무 기준 및 협업

• 엔터프라이즈 엔지니어링 표준과 컴플라이언스 요건 준수

• 글로벌 팀과 협업하고 위험 및 장애 요소를 명확히 공유

마감기한

상시채용