<h2>직무</h2><p>Data Engineer (비웹수집 파이프라인)</p><h2>포지션 상세</h2><p>2018년 9월에 설립된 S2W는 세계경제포럼(WEF)이 ‘100대 기술 선도기업’으로 선정한 ‘빅데이터 분석 AI 기업’입니다.<br>△공공ㆍ정부기관용 사이버안보 빅데이터 플랫폼 ‘자비스(XARVIS)’<br>△기업용 인텔리전스 플랫폼 ‘퀘이사(QUAXAR)’<br>△산업용 생성형 AI 플랫폼 ‘SAIP(S2W AI Platform)’ 등 ‘데이터 교차분석 기술’이 적용된 AI 기반 솔루션을 제공합니다.<br>이를 통해 국내외 다양한 산업군 및 정부기관 고객들에게 최적의 의사결정을 지원하는 고도의 데이터 인사이트를 제공하고 있습니다.<br>대표적으로 ‘인터폴(INTERPOL)’의 파트너사로서 국제안보 강화를 위해 공조하고 마이크로소프트(MS)의 ‘시큐리티 코파일럿(Copilot for Security)’과 협업하는 등, 차별화된 AI 및 데이터 기술력을 바탕으로 글로벌 시장의 주목을 받고 있습니다.<br><br><br><br>■ 합류하실 팀을 소개합니다.<br><br>• S2W의 Data 팀은 서피스 웹, 딥 웹, 다크 웹, SNS 및 자산 스캔 결과를 수집하여 데이터 레이크에 저장하고, 이를 처리하는 고도화된 데이터 분석기를 개발 및 운영하는 조직입니다. 웹 파트, 비웹 파트, 시스템 운영 및 자동화 파트로 구성되어 있으며, 2~13년 이상의 경력을 가진 열정적인 개발자들이 협업하고 있습니다. <br>• 팀은 지난 5년 간 데이터 수집, 분석, 파이프라인을 고도화 해왔으며, 수집된 데이터는 양적·질적으로 업계 최고 수준입니다. 또한 운영 효율성을 극대화하기 위해 자동화 및 프레임워크화를 지속적으로 추진하고 있습니다.<br>• 웹 파트는 대규모 데이터를 안정적이고 빠르게 탐색 및 저장할 수 있는 수집기를 개발·운영하며, 봇 탐지 및 차단 우회 기술을 연구하고 적용합니다. 또한, 수집된 데이터의 품질을 보장하기 위한 QA 시스템과 의미 있는 데이터를 추출하는 분석기를 개발·운영합니다. <br>• 비웹 파트는 SNS, 파일 형태의 데이터, 고객사 자산 분석 결과 등을 수집하며, 이를 기반으로 인사이트를 도출하는 분석기를 개발·운영합니다. 필요 시 사내·외 데이터 제공 요청을 자동화하는 파이프라인 연구도 수행합니다. <br>• 시스템 운영 및 자동화 파트는 팀 내 쿠버네티스 환경, CI/CD, 제품 파이프라인 관리·자동화를 담당하며, 효율적인 시스템 운영을 위한 연구를 진행합니다.</p><h2>주요업무</h2><p>• 민감성 유출 정보 제품화 파이프라인 개발<br>• 민감성 유출 정보 수집기 개발<br>• 민감성 유출 정보 정형화 시스템 개발<br>• 데이터 제공 API 개발 및 제품 데이터 모니터링</p><h2>자격요건</h2><p>• Java, Python 프로그래밍 스킬<br>• 빅데이터 시스템을 이용한 데이터 분석 경험<br>• 빅데이터 프로파일링 경험<br>• 데이터 파이프라인에 대한 이해 <br>• DBMS(RDB 또는 NoSQL)활용 개발 경험 <br>• 다양한 종류의 파일 처리 경험</p><h2>우대사항</h2><p>• 컴퓨터공학 전공 또는 이에 준하는 지식 보유<br>• Linux, Unix 기반 상용 시스템 개발 및 운영 경험<br>• 메시지 큐(Kafka, RabbitMQ) 및 분산 시스템 개발 경험<br>• 컨테이너 기반 가상화 개발 경험(Docker, Kubernetes)<br>• 오픈소스를 이용한 서비스 개발/운영 경험<br>• 신규 기술에 대한 관심과 흥미가 있으신 분<br>• 데이터 파이프라인 설계 및 구축에 대한 깊은 이해<br>• 데이터베이스를 활용한 애플리케이션 앱 데이터 설계 경험<br>• 비정형 데이터(텍스트, 로그, 이미지 등)를 정형 데이터로 변환 및 최적화한 경험<br>• 데이터 모델링 및 스키마 설계 경험<br>• 데이터 파이프라인 성능 최적화 및 운영 자동화 경험<br>• MinIO 및 분산 저장 시스템 활용 경험</p><h2>혜택 및 복지</h2><p>■ 현직자의 한마디 : 저희와 함께 하시면 이런 점이 좋습니다!<br><br>• 회사는 판교역과 매우 가까운 위치에 있으며, 최고 사양의 장비를 제공 받아 장소와 시간에 구애 받지 않는 유연한 근무 환경에서 몰입하여 일 할 수 있습니다.<br>• 사내 개발직 구성원 분들은 새로운 기술 스택에 대한 관심이 높으며, 연구 결과를 공유하는 자리를 종종 마련하고 있습니다. 따라서, 이곳에서 근무하시면 최신 기술을 접하고 실무에 적용할 기회가 많습니다.<br>• 저희 팀은 다양한 소스로부터 대량의 데이터를 수집하고 가공하는 파이프라인 업무를 주로 하는 팀이며, 지원자께서는 그중 민감성 유출 데이터 수집 및 분석 업무를 주로 수행하게 될 것입니다.<br>• 최적의 업무 환경에서 함께 성장할 인재분들의 많은 관심과 지원을 기다립니다.<br><br><br><br>■ 구성원들이 일에만 오롯이 집중할 수 있도록 이런 노력을 하고 있습니다.<br><br>• 일하는 장소와 시간을 언제든 자율적으로 선택할 수 있습니다. (완전 자율출근제 + 재택근무)<br>• 업무용 장비는 예산 내에서 원하시는 것을 지원하고, 3년 후 교체해 드립니다. <br>• 판교역에서 도보 5분 거리의 넓은 신식 오피스, 180cm 책상 등 쾌적한 업무 환경을 지원합니다.<br>• 업무 관련 교육과 서적 구매를 지원합니다. 내부 스터디와 세미나도 활발히 이뤄지고 있어요!<br>• 먹는 데 돈 쓰지 마세요! 점심-저녁식사와 간식, 커피를 회사가 지원합니다.<br>• 공부, 취미, 어학 등에 필요한 자기개발 비용을 매년 200만원 지원합니다.<br>• 건강이 최우선! 지정 병원에서 매년 종합 건강검진을 지원합니다.<br>• 모든 구성원의 내일채움공제 가입을 지원합니다.<br>• 재직 1년 이상 구성원에게 1,000만원 한도의 무이자 사내 대출을 지원합니다.<br><br><br><br>■ 저희 팀에서 사용하고 있는 기술 스택과 업무 툴은 아래와 같습니다.<br><br>• Bash, Python, Java, RESTful API<br>• Git, ArgoCD, Argo Workflows, Docker, Kubernetes<br>• Kafka, RabbitMQ<br>• Maven, Gradle<br>• HBase, EFK(ELK), MinIO, MongoDB, Nexus, Apache Iceberg, Spark</p>
