Data Engineer (Data Platform)
공고 요약
담당업무
Databricks Delta Lake·Unity Catalog 기반 레이크하우스 스토리지·컴퓨트·카탈로그 구조 설계 및 운영
Confluent Kafka 클러스터, 브로커, Schema Registry, Kafka Connect 구축·운영
EKS 클러스터와 RDS 인스턴스의 버전·노드·용량·백업·복구·보안 패치·비용 관리
배치·스트리밍 파이프라인 실행 환경의 컴퓨트·스케줄러·오케스트레이션·관측 운영
재처리·백필 운영 도구 및 절차 제공
데이터 품질 게이트, 카탈로그·리니지 수집 기반, 권한 자동화 운영
Terraform 등 IaC와 CI/CD를 활용한 인프라·워크스페이스·권한·네트워크 구성 코드화
모니터링·알림·런북 정비 및 공통 플랫폼·인프라 장애 온콜 참여
데이터 소비 서비스·분석·AI/ML 팀을 위한 플랫폼 인터페이스·가용성·전송 지연 기준·운영 가이드 제공
자격요건
Python, Java, Kotlin 중 하나 이상 프로그래밍 언어 숙련
Apache Spark 또는 Databricks 프로덕션 운영 경험
대용량 데이터 처리 및 분산 시스템 이해
배치·스트리밍 파이프라인 실행 환경 운영 및 장애 시 재처리·백필 지원 경험
AWS 등 퍼블릭 클라우드에서 데이터 인프라 구축·운영 경험
EKS 등 Kubernetes 클러스터 또는 RDS 등 관리형 RDBMS 프로덕션 운영 경험
Terraform 등 IaC와 CI/CD 기반 인프라 코드화 경험
모니터링·알림·온콜 등 프로덕션 운영 경험
복리후생
건강검진 지원
자기계발 지원
보너스
근무환경
재택근무
마감기한
상시채용
넥스트증권 지원하기 전 이력서 Check
시간이 없다면 AI와 한번에 수정해보세요
공고 원문
소개
직무 Summary 넥스트증권 AI데이터플랫폼팀과 함께 금융 데이터 플랫폼의 기반 인프라(Databricks·Kafka·EKS·RDS)를 운영할 Data Engineer (Data Platform, 경력)를 모집합니다. Databricks 레이크하우스(Delta Lake·Unity Catalog), Confluent Kafka 클러스터, 데이터 서비스·API·배치 워커를 실행하는 EKS 클러스터, 서비스 데이터를 저장하는 RDS를 직접 운영합니다. 환경 분리·권한·비용·용량·백업·복구를 관리하고 이 구성을 Terraform과 CI/CD로 코드화합니다. 운영 중인 Kafka·Databricks·EKS·RDS 워크로드의 안정성 기준과 장애 복구·멀티 환경 확장 절차를 팀 표준으로 정립하는 자리입니다.
주요업무
• 레이크하우스 플랫폼 설계·운영: Databricks Delta Lake·Unity Catalog 기반 레이크하우스의 스토리지·컴퓨트·카탈로그 구조를 설계하고 환경 분리·권한·비용·성능을 관리합니다. • Kafka 플랫폼 운영: Confluent Kafka 클러스터(브로커·Schema Registry·Kafka Connect 클러스터)를 구축·운영합니다. 토픽·ACL·쿼터·보존 정책과 멀티 환경 구성을 관리하고 처리량·지연·장애 복구·버전 업그레이드를 책임집니다. • 서비스 인프라 운영(EKS·RDS): 데이터 서비스·API·배치 워커가 동작하는 EKS 클러스터와 RDS 인스턴스를 운영합니다. 버전 업그레이드·노드와 용량 관리·백업·복구·보안 패치·비용을 책임지고 장애에 대응합니다. • 파이프라인 실행 플랫폼: Financial Data DE·DAE가 개발한 배치·스트리밍 파이프라인이 동작하는 실행 환경(컴퓨트·스케줄러·오케스트레이션·관측)을 운영하고 재처리·백필을 수행할 수 있는 운영 도구와 절차를 제공합니다. • 데이터 품질·거버넌스 플랫폼: 데이터 담당자가 정의한 품질 규칙을 파이프라인에 적용하고 결과를 모니터링할 수 있도록 공통 품질 게이트와 운영 도구를 제공합니다. 카탈로그·리니지 수집 기반과 권한 적용 자동화를 운영하고 데이터별 계약·메타데이터·접근 요건은 데이터 담당자와 협의해 반영합니다. • IaC·환경 자동화: Terraform 등 IaC와 CI/CD로 데이터 인프라·워크스페이스·권한·네트워크 구성을 코드화하고 환경 복제·확장을 자동화합니다. • 플랫폼 안정성·온콜: 모니터링·알림·런북을 정비하고 공통 플랫폼·인프라 장애의 온콜 rotation에 참여합니다. 개별 파이프라인의 처리 로직·데이터 품질 장애는 해당 데이터 담당자와 협업해 복구하고 사후 개선을 주도합니다. • 다운스트림 플랫폼 지원: 데이터를 사용하는 서비스·분석·AI/ML 팀이 안정적으로 데이터를 소비하도록 플랫폼 인터페이스·가용성과 전송 지연 기준·운영 가이드를 제공합니다.
자격요건
• 5년 이상의 데이터 엔지니어 또는 데이터 플랫폼 엔지니어 경력 • Python, Java, Kotlin 중 하나 이상의 프로그래밍 언어에 능숙하신 분 • Apache Spark 또는 Databricks 등 대용량 처리 플랫폼을 프로덕션에서 운영해보신 분 • 대용량 데이터 처리와 분산 시스템을 이해하고 계신 분 • 배치·스트리밍 파이프라인의 실행 환경(스케줄러·오케스트레이션·관측)을 운영하고 장애 시 재처리·백필을 지원해보신 분 • AWS 등 퍼블릭 클라우드에서 데이터 인프라를 구축·운영해보신 분 • 다음 중 1개 이상을 프로덕션에서 직접 운영해보신 분 - EKS 등 Kubernetes 클러스터(배포·업그레이드·노드 관리·모니터링·장애 대응) - RDS 등 관리형 RDBMS(PostgreSQL, MySQL 등)(백업·복구·성능 튜닝·보안 설정) • Terraform 등 IaC로 인프라를 코드화하고 CI/CD와 함께 운영해보신 분 • 모니터링·알림·온콜 등 프로덕션 운영 경험이 있으신 분
우대사항
• Kafka 클러스터(Schema Registry·Kafka Connect·ksqlDB 등)를 프로덕션에서 설계·운영하고 처리량·지연·장애 복구·업그레이드를 직접 다뤄보신 분 • 배치·스트리밍 파이프라인을 직접 설계·운영하고 재처리·백필·멱등성을 확보해보신 분 • Databricks(Delta Lake, Unity Catalog, DLT) 또는 유사 레이크하우스 플랫폼을 멀티 환경으로 운영해보신 분 • Helm·Argo CD 등 GitOps 기반 Kubernetes 배포 자동화 경험이 있으신 분 • RDS·Aurora PostgreSQL에서 Multi-AZ 구성·읽기 복제본 운영·PITR 복구를 설계하고 운영해보신 분 • 멀티 클러스터·미러링·환경 복제 등 플랫폼 확장을 설계해보신 분 • 데이터 계약·리니지·카탈로그·품질 도구(dbt, OpenLineage, Great Expectations 등)를 플랫폼에 연동해보신 분 • 증권·은행·카드사 등 금융·규제 환경에서 데이터 플랫폼을 운영해보신 분 • 전자금융감독규정, ISMS-P 등 금융 규제·보안 요구사항을 인프라 설계에 반영해보신 분 • 데이터를 사용하는 서비스·분석·AI/ML 팀과 플랫폼 SLA를 합의하고 운영해보신 분 • AI 코딩 에이전트(Claude Code, Codex, Cursor 등)를 활용한 Agentic Engineering 경험 또는 관심이 있으신 분
혜택 및 복지
- 복지카드 : 연 150만원 지원 ㄴ복지카드 형태로 지급되며 사용처 제한 없이 사용 가능 (단, 유흥업 및 택시 이용은 제외됩니다) ㄴ중도 입사 시 입사 3개월 이후부터 연말까지 월할 계산 적용 - 상해보험 : 본인 및 가족(배우자/자녀)실손 의료비 지원 - 건강검진 : 매년 종합건강검진 지원 - 특별상여 : 연 110만원 지원 ㄴ설/추석 귀성비, 가정의 달 효도비, 연말 지원비 ㄴ중도 입사 시, 입사 시점부터 적용 - 특별휴가 : 1년 이상 재직 시 매년 3일 특별 휴가 제공 - 장기근속 : 10년/20년 근속 시 장려금(400만원) 지급 - 자기개발 : 업무 관련 교육 지원 ▶ 대표부터 인턴사원까지 전 구성원이 ‘님’ 호칭을 사용하는 수평적인 조직문화를 지향합니다. ▶ 근무 형태 : 비포괄임금제 (초과근로수당 별도 지급) ▶ 근무 시간 : 유연 출퇴근제 - 오전 7시 ~ 10시 사이 자율 출근 ▶ 재택근무 : 주 1회 가능
