Senior Data Engineer (10년 이상) | 시니어 데이터 플랫폼 엔지니어

주요업무

데이터 플랫폼과 전체 파이프라인의 아키텍처 설계·개선 Lakehouse 기반 데이터 파이프라인 현대화 및 안정적인 전환 주도 여러 데이터 소스에 재사용할 수 있는 공통 수집·정규화 기반 구축 대규모 배치·실시간 파이프라인의 성능, 비용 및 운영 안정성 개선 Vector DB·Graph DB 등 AI 활용 데이터 구조와 적재 파이프라인 설계 모니터링·알람·재처리·장애 대응을 포함한 신뢰성 체계 개선 기술 표준 수립, 설계·코드 리뷰 및 엔지니어 멘토링

자격요건

대규모 데이터 플랫폼 또는 파이프라인을 설계·구축·운영한 경험 Spark 기반 데이터 처리와 Python·SQL에 대한 깊은 이해 AWS 등 클라우드 환경에서 데이터 시스템을 운영한 경험 기존 시스템을 분석하고 점진적으로 전환·현대화한 경험 성능·비용·장애 문제를 분석하고 근본 원인을 해결한 경험 기술적 의사결정을 문서화하고 리뷰·멘토링을 통해 확산한 경험 아키텍처 설계와 핵심 구현을 함께 수행할 수 있는 역량

우대사항

Databricks 기반 Lakehouse 또는 Medallion Architecture 운영 경험 Self-service Data Platform 설계·구축 또는 운영 경험 Kafka·NiFi 등 배치·실시간 수집 시스템 구축 경험 API·파일·대규모 XML/JSON 등 다양한 외부 데이터 통합 경험 ScyllaDB·Cassandra 등 분산 NoSQL의 이전·성능 개선 경험 데이터 품질, 관측성, SLO 및 온콜 체계 구축 경험 데이터 파이프라인 CI/CD와 테스트 자동화 경험 Vector DB·Graph DB·Knowledge Graph 관련 경험 백엔드 서비스 개발 및 운영 경험 특허 등 복잡한 기술 관련 데이터 경험

기술스택

Python, Airflow, Kafka, Spark, Docker, Kubernetes, AWS, SQL, Databricks, VectorDB, GraphRAG

채용절차

서류 전형 ＞ 1차 직무역량 인터뷰 ＞ 2차 컬처핏 인터뷰 ＞ 처우 협의 ＞ 최종 입사 ※ 채용 절차는 필요에 의해 추가되거나, 생략될 수 있습니다. ※ 당사의 모든 입사자는 3개월의 시용(수습)기간이 적용되며, 시용(수습) 기간 급여는 100% 지급됩니다.