Data Engineer (Streaming)

소개

[합류하게 될 팀에 대해 알려드려요] • 토스플레이스의 Data Engineer는 Data Platform Team에 속해 있어요. • Data Platform Team은 Data Engineer와 Data Analytics Engineer로 구성되어 있으며, 서비스와 분석에 필요한 데이터 플랫폼과 데이터 파이프라인을 구축하고 운영해요. • 토스플레이스의 제품과 서비스가 확장되면서 서비스에서 데이터를 실시간으로 활용하기 위한 요구도 빠르게 증가하고 있어요. • 새로운 데이터 요구가 생길 때마다 파이프라인을 별도로 개발하는 방식에서 나아가, 다양한 서비스가 일관된 방식으로 데이터를 활용할 수 있는 공통 스트리밍 플랫폼을 만들어가고 있어요.

주요업무

• Flink와 Kafka를 기반으로 서비스에 필요한 실시간 데이터 파이프라인을 설계하고 구축해요. • 기존 데이터 인프라를 기반으로 서비스에 필요한 스트리밍 파이프라인의 구조와 운영 기준을 직접 설계하고 만들어갈 수 있어요. • 서비스에서 발생한 데이터를 필요한 형태로 가공하고 다른 서비스에서 안정적으로 활용할 수 있도록 전달해요. • 데이터의 생성부터 적재·배포·모니터링·변경까지 전체 과정을 안정적으로 운영해요. • 반복되는 데이터 파이프라인 구축 과정을 표준화하고 플랫폼으로 만들어요. • 새로운 요구가 생길 때마다 파이프라인을 별도로 개발하지 않아도 되도록 공통 구조를 설계해요. • 설정이나 SQL, 템플릿을 통해 데이터 파이프라인을 쉽게 생성하고 운영할 수 있는 환경을 만들어요. • 서비스 개발자와 직접 협업하며 데이터를 실시간으로 활용할 기회를 먼저 발굴하고, 파이프라인의 설계부터 개발까지 주도해요.

자격요건

• Kafka 기반 환경에서 Flink, Kafka Streams, Spark Streaming 등으로 실시간 데이터 처리 파이프라인을 구축하고 운영해 본 분과 함께하고 싶어요. • 요구사항을 이해하는 것부터 설계·개발·배포·모니터링까지 데이터 파이프라인의 전체 과정을 주도적으로 경험한 분과 함께하고 싶어요. • 반복되는 데이터 처리 요구를 발견하고 재사용할 수 있는 구조로 표준화해 본 경험이 있는 분을 찾고 있어요.

우대사항

• Kubernetes 환경에서 Flink 또는 Kafka Streams와 Kafka Ecosystem(Kafka Connect, Schema Registry 등)을 활용해 실시간 데이터 파이프라인을 구축하고 운영해 본 경험이 있다면 더 좋아요. • 장애나 재시작 상황에서도 데이터가 유실되거나 중복되지 않도록 Exactly-once 또는 멱등성을 보장해 본 경험 • 로직 변경이나 장애 발생 이후 과거 데이터를 재처리(Backfill, Replay)할 수 있는 구조를 설계해 본 경험 • CQRS, CDC 등을 기반으로 서비스 DB의 변경 데이터를 실시간으로 수집하고, 다른 서비스에서 조회할 수 있는 저장소로 전달·동기화하는 구조를 설계해 본 경험이 있다면 더 좋아요. • 결제, 커머스 등 데이터 정합성이 중요한 서비스에서 실시간 데이터 파이프라인을 운영한 경험이 있다면 더 좋아요. • Apache Iceberg, StarRocks 등 데이터 저장 및 분석 환경과 스트리밍 파이프라인을 연계해 본 경험이 있다면 더 좋아요.

혜택 및 복지

[이렇게 일해요] • 자율과 책임의 문화: 토스는 Manager가 아닌 Maker들로 구성된 조직으로, 투명한 정보 공유와 수평적인 문화 속에서 구성원 업무에 대한 위임과 신뢰를 바탕으로 세상을 변화 시켜 나가고자 합니다. • 효율적인 업무방식: 가장 중요하고, 큰 영향을 미칠 수 있는 일에 집중합니다. 획일적인 업무 프로세스보다는 데이터 기반의 사고로 적극적으로 토론하며, 가장 효율적인 문제 해결을 위해 협업하고 실행합니다. • 훌륭한 팀과 동료: 각 분야 최고 수준의 역량을 갖춘 인재들이 자율과 책임의 원칙 아래 뛰어난 역량을 발휘하고 있습니다. [이런 지원을 받아요] 토스커뮤니티 복지 자세히 보기: https://toss.im/career/culture