데이터 플랫폼 엔지니어

주요업무

포지션 개요 현재 운영 중인 Trino 기반 데이터 분석 환경을 StarRocks로 전환하여 실시간 데이터 처리 및 분석 역량을 강화할 데이터 플랫폼 엔지니어를 모집합니다. StarRocks의 MPP 아키텍처를 활용하여 대용량 데이터의 실시간 수집, 저장, 분석 파이프라인을 설계하고 구현할 전문가를 찾고 있습니다. 주요 업무 기존 Trino 워크로드 분석 및 StarRocks로의 마이그레이션 전략 수립 StarRocks 클러스터 설계, 구축 및 운영 (FE/BE 노드 구성, 스토리지 전략) 실시간 데이터 수집 파이프라인 구축 (Kafka, Flink 등과의 연동) Primary Key 테이블, Aggregate 테이블 등 StarRocks 테이블 모델 설계 및 최적화 Materialized View를 활용한 쿼리 성능 최적화 데이터 적재 성능 튜닝 (Stream Load, Broker Load, Routine Load 등) 쿼리 성능 모니터링 및 튜닝 (파티셔닝, 버킷팅, 인덱싱 전략) 기존 BI 도구 및 데이터 소비 애플리케이션과의 통합 기술 스택 분석 엔진: StarRocks, Trino 스트리밍: Kafka, Flink 오케스트레이션: Airflow, Kubernetes 모니터링: Prometheus, Grafana 스토리지: HDFS, MinIO 등 주요 과제 Trino 워크로드 평가: 현재 Trino에서 실행 중인 쿼리 패턴 분석 및 StarRocks 적합성 평가 실시간 처리 아키텍처: StarRocks 실시간 적재 파이프라인 구축 성능 최적화: StarRocks의 Colocate Join, Bucket Shuffle Join 등을 활용한 쿼리 최적화 하이브리드 운영: 단계적 전환을 위한 Trino-StarRocks 하이브리드 아키텍처 설계

자격요건

3년 이상의 대용량 데이터 처리 경험 MPP 데이터베이스(Trino, Presto, ClickHouse, Greenplum 등) 운영 경험 SQL 및 데이터 모델링에 대한 깊은 이해 분산 시스템 아키텍처에 대한 이해 실시간 데이터 파이프라인 구축 경험

우대사항

StarRocks 또는 Apache Doris 운영 경험 Trino에서 타 분석 엔진으로의 마이그레이션 경험 Kafka, Flink 등 스트리밍 플랫폼 활용 경험 Kubernetes 환경에서의 데이터 플랫폼 운영 경험 컬럼나 스토리지 및 벡터화 실행 엔진에 대한 이해 Python, Java 등을 활용한 데이터 파이프라인 개발 경험 쿠버네티스 데이터 플랫폼 구축 경험

기술스택

Java, Python, Kafka, Kubernetes, SQL

채용절차

1. 서류 전형 2. 1차 실무 면접 (기술 역량 및 직무 적합성 평가) 3. 2차 임원 면접 (인성 및 글로벌 적응력 평가) 4. 최종 합격 지원 및 혜택 (Benefits & Support) • 체계적인 교육: 파견 전 업무 및 현지 환경 적응을 위한 3~6개월의 심도 있는 기술 교육 제공 • 본사 지원: 현지 이슈 발생 시 본사 전문가 조직의 즉각적인 기술 서포트 및 가이드 제공 • 근무 조건: * 기본 급여 외 파견 수당(상주 비용 등) 별도 지급 • 숙소 지원 및 현지 생활 관련 편의 제공 (세부 사항 협의)