데이터 파이프라인 엔지니어(Data Pipeline Engineer) 3y+

한국딥러닝

182

마감

3월 31일 게시

경력

3~10년차

근무지역

기타

학력

학력 무관

근무형태

정규직

직군

데이터 엔지니어

<div style="font-family: sans-serif; line-height: 1.6; padding: 20px;"><div style="margin-bottom: 40px;"><h2 style="font-size: 22px; margin-bottom: 16px; font-weight: bold; color: #333;">주요업무</h2><div style="color: #333;"><p>온프레미스 및 클라우드 기반 대규모 비정형/정형 데이터 파이프라인 설계 및 구현</p><p>•다양한 형태의 ETL/ELT 워크플로우 정의 및 자동화 도구를 활용한 파이프라인 구축</p><p>•컨테이너 기반 환경(Docker, Kubernetes)에서 안정적이고 확장 가능한 데이터 처리 환경 마련</p><p>•메타데이터 관리, 데이터 카탈로그/디스커버리 도입 등을 통한 데이터 접근성 및 품질 개선</p><p>•데이터 파이프라인 성능 모니터링 및 최적화, 장애 대응 및 성능 개선 전략 수립</p><p>•REST API 등 표준화된 인터페이스를 활용한 상위 서비스 및 모델 팀과의 연동</p><p>•AI 엔지니어 등 다양한 이해관계자와 협업하여 요구사항 분석, 기술 스택 선정, 아키텍처 개선</p></div></div><div style="margin-bottom: 40px;"><h2 style="font-size: 22px; margin-bottom: 16px; font-weight: bold; color: #333;">자격요건</h2><div style="color: #333;"><p>CS 기본 지식(Data Structure, Algorithm, OS 등)에 대한 탄탄한 이해</p><p>•데이터 처리 및 자동화 경험</p><p>•대규모 데이터셋 전처리, 정규화, 데이터셋 버저닝, 품질 관리 경험</p><p>•다양한 데이터 인프라(RDB, NoSQL, 검색/인덱싱 엔진 등)에 대한 이해 및 운영 경험</p><p>•CI/CD, DevOps 문화 및 컨테이너 기반 환경(Docker, Kubernetes)에 대한 이해</p><p>•다른 팀(모델개발, 서비스개발, 비즈니스)과 협업하여 요구사항을 파악하고 솔루션을 도출하는 커뮤니케이션 능력</p></div></div><div style="margin-bottom: 40px;"><h2 style="font-size: 22px; margin-bottom: 16px; font-weight: bold; color: #333;">우대사항</h2><div style="color: #333;"><p>Airflow, Prefect, Luigi 등 워크플로우 오케스트레이션 도구 활용 경험</p><p>•스트리밍/배치 처리 파이프라인 구축 경험 (예: Kafka, Spark, Flink 등)</p><p>•클라우드 환경(AWS, GCP, Azure)에서의 데이터 파이프라인 설계 및 운영 경험</p><p>•메타데이터 관리 도구(DataHub, Amundsen 등) 활용 경험</p><p>•MLOps, MLflow, Weights & Biases 등 모델 학습/추론 파이프라인 연계 경험</p></div></div><div style="margin-bottom: 40px;"><h2 style="font-size: 22px; margin-bottom: 16px; font-weight: bold; color: #333;">채용절차</h2><div style="color: #333;"><p>서류전형-1차 면접(직무 적합성)-2차 면접(조직 적합성)-처우협의&입사일 조정</p></div></div></div>