Data Platform Engineer

소개

2018년 9월에 설립된 S2W는 세계경제포럼(WEF)이 ‘100대 기술 선도기업’으로 선정한 ‘빅데이터 분석 AI 기업’입니다. △공공ㆍ정부기관용 사이버안보 빅데이터 플랫폼 ‘자비스(XARVIS)’ △기업용 인텔리전스 플랫폼 ‘퀘이사(QUAXAR)’ △산업용 생성형 AI 플랫폼 ‘SAIP(S2W AI Platform)’ 등 ‘데이터 교차분석 기술’이 적용된 AI 기반 솔루션을 제공합니다. 이를 통해 국내외 다양한 산업군 및 정부기관 고객들에게 최적의 의사결정을 지원하는 고도의 데이터 인사이트를 제공하고 있습니다. 대표적으로 ‘인터폴(INTERPOL)’의 파트너사로서 국제안보 강화를 위해 공조하고 마이크로소프트(MS)의 ‘시큐리티 코파일럿(Copilot for Security)’과 협업하는 등, 차별화된 AI 및 데이터 기술력을 바탕으로 글로벌 시장의 주목을 받고 있습니다. ■ 합류하실 팀을 소개합니다. • S2W의 AI 데이터 플랫폼 ​팀은 ​사내 데이터를 ​통합하고, 사람과 AI ​모두가 데이터에 ​자유롭게 ​접근·활용할 수 ​있는 ​플랫폼을 ​설계·구축·운영 합니다. • 수집·처리부터 운영, ​비용 ​최적화, 모니터링까지 데이터 ​전 ​생애주기를 ​담당하며, DevOps·LLMOps 관점의 ​자동화와 유연성을 ​핵심 ​가치로 삼습니다.

주요업무

• 데이터 수집·적재 파이프라인 설계 및 운영: 내부 서비스, 외부 API, 로그 등 다양한 출처의 정형·비정형 데이터를 안정적으로 수집하고 적재합니다. • AI 친화적 데이터 플랫폼 구축: 사람과 AI 에이전트가 데이터에 쉽게 접근할 수 있도록 가시성과 접근성을 극대화하는 플랫폼을 설계합니다. • 대용량 데이터 처리 성능 및 비용 최적화: 처리 워크로드의 병목을 분석하고 효율과 비용을 지속적으로 개선합니다. • 플랫폼 모니터링 및 장애 대응: 데이터 처리 이상·병목을 실시간으로 감지·추적하는 관측 체계를 구축하고 운영합니다. • LLMOps 관점의 자동화 구현: LLM 서비스 및 AI 워크플로우와 유연하게 연동되는 자동화 구조를 설계하고 발전시킵니다.

자격요건

• 오픈 테이블 포맷 기반 레이크하우스 아키텍처 이해: 파티셔닝, 스냅샷 관리, 스키마 진화 등 핵심 개념을 토대로 성능·기능 제약을 빠르게 판단하고 요구사항에 맞는 플랫폼을 설계·구축할 수 있는 역량 (예: Apache Iceberg, Delta Lake) • 데이터 파이프라인 설계 및 개발 경험: 언어에 무관하게 견고한 파이프라인을 설계할 수 있는 역량 (예: Python, Scala, Java) • 대용량 데이터 배치·스트림 처리 경험 (예: Apache Spark, Flink) • 실시간 데이터 스트리밍 파이프라인 구축 경험 (예: Apache Kafka, Kinesis) • 워크플로우 오케스트레이션 툴을 활용한 파이프라인 스케줄링·관리 경험 (예: Apache Airflow, Prefect) • 컨테이너 기반 환경에서의 서비스 배포 및 운영 경험 (예: Kubernetes, Docker)

우대사항

• 대규모 데이터 레이크하우스 구축·운영 경험 (예: Apache Iceberg, Delta Lake) • SQL 기반 데이터 조회·분석 및 데이터 모델링 경험 (예: 스타 스키마, 데이터 마트 설계) • 데이터 카탈로그 플랫폼 구축·운영 경험: 데이터 디스커버리, 리니지 추적, 품질 관리 등 (예: DataHub, OpenMetadata) • LLMOps 파이프라인 또는 AI 서비스 플랫폼 구축 경험 • AI/LLM 에이전트의 데이터 접근성을 고려한 플랫폼 설계 경험 • 클라우드 환경에서의 데이터 인프라 운영 경험 (예: AWS, GCP, Azure) • 데이터 플랫폼 비용 거버넌스 및 최적화 경험

혜택 및 복지

■ 현직자의 한마디 : 저희와 함께 하시면 이런 점들이 좋습니다! • S2W의 AI 데이터 플랫폼 팀은 단순히 데이터를 옮기는 팀이 아닙니다. 사람과 AI 모두가 데이터를 자유롭게 활용할 수 있는 환경을 만드는 팀입니다. AI가 데이터를 스스로 탐색하고 활용하는 구조처럼, 아직 정답이 없는 문제들을 함께 고민하고 설계해 나가는 과정이 가장 큰 매력입니다. 기술을 깊이 파고드는 것을 즐기고, 내가 만든 플랫폼이 조직 전체의 생산성과 AI의 가능성을 바꾸는 경험을 원하신다면 지원을 환영합니다. ■ 저희 팀에서 사용하는 기술스택과 툴은 아래와 같습니다. • 데이터 수집/스트리밍: Apache Kafka, Apache Flink, Kinesis 등 • 데이터 처리: Apache Spark 등 • 데이터 저장/포맷: Apache Iceberg, Delta Lake 등 • 워크플로우 오케스트레이션: Apache Airflow, Prefect 등 • 컨테이너/인프라: Kubernetes, Docker • 메타데이터 관리: DataHub, OpenMetadata 등 ■ 구성원들이 일에만 오롯이 집중할 수 있도록 이런 노력을 하고 있습니다. • 일하는 장소와 시간을 언제든 자율적으로 선택할 수 있습니다. (완전 자율출근제 + 재택근무) • 업무용 장비는 예산 내에서 원하시는 것을 지원하고, 3년 후 교체해 드립니다. • 판교역에서 도보 5분 거리의 넓은 신식 오피스, 180cm 책상 등 쾌적한 업무 환경을 지원합니다. • 업무 관련 교육과 서적 구매를 지원합니다. 내부 스터디와 세미나도 활발히 이뤄지고 있어요! • 먹는 데 돈 쓰지 마세요! 점심-저녁식사와 간식, 커피를 회사가 지원합니다. • 공부, 취미, 어학 등에 필요한 자기개발 비용을 매년 240만원 지원합니다. • 건강이 최우선! 지정 병원에서 매년 종합 건강검진을 지원합니다. • 모든 구성원의 내일채움공제 가입을 지원합니다. • 재직 1년 이상 구성원에게 1,000만원 한도의 무이자 사내 대출을 지원합니다.