데이터 파이프라인 엔지니어

한국딥러닝

상시채용

5월 20일 게시

경력

3~10년차

근무지역

기타

학력

학력 무관

근무형태

정규직

직군

데이터 엔지니어

<div style="font-family: sans-serif; line-height: 1.6; padding: 20px;"><div style="margin-bottom: 40px;"><h2 style="font-size: 22px; margin-bottom: 16px; font-weight: bold; color: #333;">주요업무</h2><div style="color: #333;"><p><span style="color: rgb(23, 23, 25);">• 온프레미스 및 클라우드 기반 대규모 비정형/정형 데이터 파이프라인 설계 및 구현</span></p><p><span style="color: rgb(23, 23, 25);">• 다양한 형태의 ETL/ELT 워크플로우 정의 및 자동화 도구를 활용한 파이프라인 구축</span></p><p><span style="color: rgb(23, 23, 25);">• 컨테이너 기반 환경(Docker, Kubernetes)에서 안정적이고 확장 가능한 데이터 처리 환경 마련</span></p><p><span style="color: rgb(23, 23, 25);">• 메타데이터 관리, 데이터 카탈로그/디스커버리 도입 등을 통한 데이터 접근성 및 품질 개선</span></p><p><span style="color: rgb(23, 23, 25);">• 데이터 파이프라인 성능 모니터링 및 최적화, 장애 대응 및 성능 개선 전략 수립</span></p><p><span style="color: rgb(23, 23, 25);">• REST API 등 표준화된 인터페이스를 활용한 상위 서비스 및 모델 팀과의 연동</span></p><p><span style="color: rgb(23, 23, 25);">• AI 엔지니어 등 다양한 이해관계자와 협업하여 요구사항 분석, 기술 스택 선정, 아키텍처 개선</span></p></div></div><div style="margin-bottom: 40px;"><h2 style="font-size: 22px; margin-bottom: 16px; font-weight: bold; color: #333;">자격요건</h2><div style="color: #333;"><p><span style="color: rgb(23, 23, 25);">• CS 기본 지식(Data Structure, Algorithm, OS 등)에 대한 탄탄한 이해</span></p><p><span style="color: rgb(23, 23, 25);">• 데이터 처리 및 자동화 경험</span></p><p><span style="color: rgb(23, 23, 25);">• 대규모 데이터셋 전처리, 정규화, 데이터셋 버저닝, 품질 관리 경험</span></p><p><span style="color: rgb(23, 23, 25);">• 다양한 데이터 인프라(RDB, NoSQL, 검색/인덱싱 엔진 등)에 대한 이해 및 운영 경험</span></p><p><span style="color: rgb(23, 23, 25);">• CI/CD, DevOps 문화 및 컨테이너 기반 환경(Docker, Kubernetes)에 대한 이해</span></p><p><span style="color: rgb(23, 23, 25);">• 다른 팀(모델개발, 서비스개발, 비즈니스)과 협업하여 요구사항을 파악하고 솔루션을 도출하는 커뮤니케이션 능력</span></p></div></div><div style="margin-bottom: 40px;"><h2 style="font-size: 22px; margin-bottom: 16px; font-weight: bold; color: #333;">우대사항</h2><div style="color: #333;"><p><span style="color: rgb(23, 23, 25);">• Airflow, Prefect, Luigi 등 워크플로우 오케스트레이션 도구 활용 경험</span></p><p><span style="color: rgb(23, 23, 25);">• 스트리밍/배치 처리 파이프라인 구축 경험 (예: Kafka, Spark, Flink 등)</span></p><p><span style="color: rgb(23, 23, 25);">• 클라우드 환경(AWS, GCP, Azure)에서의 데이터 파이프라인 설계 및 운영 경험</span></p><p><span style="color: rgb(23, 23, 25);">• 메타데이터 관리 도구(DataHub, Amundsen 등) 활용 경험</span></p><p><span style="color: rgb(23, 23, 25);">• MLOps, MLflow, Weights & Biases 등 모델 학습/추론 파이프라인 연계 경험</span></p></div></div><div style="margin-bottom: 40px;"><h2 style="font-size: 22px; margin-bottom: 16px; font-weight: bold; color: #333;">채용절차</h2><div style="color: #333;"><p>서류전형-1차 면접(직무 적합성)-2차 면접(조직 적합성)-처우협의&입사일 조정</p></div></div></div>