데이터 엔지니어 인턴

소개

어떤 문제를 풀고 있나요? 비즈니스 특성을 고려한 멀티테넌트 데이터 카탈로그 구축 일반적인 인하우스 데이터 엔지니어링과 달리, 사용자마다의 요구사항을 적용한 데이터 카탈로그를 구축해야하기 때문에 멀티테넌시를 고려하여 진행합니다. ETL > ELT구조 변경 및 고도화 Cigro는 비즈니스 특성상 파이프라인의 빠른 대응이 중요합니다. 기존의 ETL 형태의 데이터 처리 프로세스를 ELT형태로 개선합니다. 기존 파이프라인의 Layer 분리 및 리팩토링 파이프라인의 Layer들을 정의하고 각 Layer에서 어떤 행동, 작업이 이루어져야하는지 약속합니다. 역할에 알맞은 작업들로 분리하는 리팩토링 작업을 합니다. 데이터 Materialization을 통한 성능 최적화 DBT, DW 등을 사용하여 최적화된 성능을 위한 Materialization을 구축합니다. 파이프라인 인프라 최적화를 통한 비용 절감 엔지니어링 과정에 필요한 클라우드 리소스 관리에 드는 비용을 절감하고자합니다. 클라우드 서비스 활용 개선 혹은 변경을 통해 비용을 절감하는 플랜을 계획합니다.

담당업무

어떤 일을 함께 하게 되나요? 지속적인 파이프라인 관리 및 모니터링 발전하는 데이터 거버넌스를 위한 시스템 추가 및 리팩토링 다양한 데이터 모델링 기법을 적용한 모델 설계 (Metric/Semantic Layering, Dimesion Modeling) API 및 크롤러를 이용한 데이터 수집 시스템 구축 Kubernetes(K8s) 기반 애플리케이션 배포 및 자원 관리 데이터 검수 및 정합성 관리

자격요건

이런 분과 함께 하고 싶습니다. 새로운 문제를 빠르게 분석하고 학습하는 분 데이터 엔지니어링 전반에 대한 지식이 있는 분 파이프라인 구축 및 관리를 해보신 분 웹 크롤러 개발 및 리팩토링 경험이 있는 분

우대사항

이런 경험이 있다면 더 좋겠습니다. 이커머스 도메인 지식 보유자 데이터 검수 및 정확성 관리 경험 복잡하고 어려운 크롤링 문제를 경험 Python에 익숙하고, FAST API 사용 경험 인프라(k8s 등) 관리 경험 데이터 형태 변경 감지 및 대응 경험

혜택 및 복지

🧬 컬처 수평적이고 원만한 평어 소통으로 빠른 의사결정을 추구하고 있습니다. (강요하지는 않아요) 아이디어에 대해 빠른 실행을 해보는 애자일 문화, 실패와 재도전을 장려하는 문화를 추구합니다. 팀원 간의 신뢰와 협력을 기반으로 한 조직 문화를 추구합니다. 다양한 팀워크 활동과 열린 소통을 통해 강력한 유대감을 형성하며, 공동의 목표를 향해 함께 나아가는 문화를 만들어갑니다.(2024년 전사 베트남 워크샵 진행) 💼 커리어 해외팀(베트남 법인)과 일할 수 있는 글로벌 업무 환경을 제공합니다. 직무관련 세미나 참석 및 교육비를 지원합니다. 도서 구입비용을 지원합니다. 자기계발 코칭 서비스를 지원합니다. 💻 자율적이고 몰입을 위한 근무 환경 유연출근제 : (출근) 8:00 ~ 10:30 / (퇴근) : 17:00 ~ 19:30 자유로운 반차, 반반차, 시간차 사용 가능 (1분 단위 휴가를 사용할 수 있어 연차 활용도가 높아요) 근무 중 개인 용무에 따른 휴게시간 활용이 가능합니다. (관공서, 병원, 은행 방문 등) 최신 고사양 업무 장비 및 필요한 각종 장비를 지원합니다. 1시간만 초과근무해도 야근 식대를 지원해드립니다. (개인 법인카드 지급) 쾌적한 오피스 라운지와 휴게 공간 오피스 휴게 공간 2층 침대 구비 자유 복장, 강제 회식 없음 ⚽ 문화 생활 매월 우수사원 선정 및 상여 증정을 통해 임직원을 독려하고 사기를 높입니다. 매년 봄 벚꽃 피크닉 런치 행사, 전사 워크샵을 통해 팀 유대감을 형성합니다. 분기별 Whisky & Game Night을 진행합니다. 사내 동호회 활동비를 지원합니다. 풍성한 설과 추석 명절 선물을 지급합니다.

기술스택

Kubernetes, Python

기타

.