Data engineer

주요업무

외부 채널(뉴스, 공시, 오프라인 데이터)를 통한 기업정보 수집 파이프라인 설계 및 운영 수집된 데이터를 정제하고 내부 데이터베이스에 적재하는 ETL 파이프라인 구축 Elastic search, Vector DB, Graph DB 등을 활용한 고속 검색 인프라 구축 기업 정보 수정 로직 및 이력 관리 구조 설계 백엔드/프론트엔드 개발자와 협업하여 데이터 연동 API 및 관리툴 고도화

자격요건

Python 등 스크립팅 언어를 활용한 데이터 수집 및 처리 경험 SQL, NoSQL등 다양한 데이터 저장소 경험 Elasticsearch 혹은 유사 검색엔진 구축 경험 ETL 파이프라인 구축 경험(Airflow, Prefect 등) Git 기반 협업 및 CI/CD 환경에 익숙하신 분 AI 및 최신 기술을 활용한 개발 생산성 향상에 관심이 있는 분 배움에 열려 있으며 새로운 기술을 빠르게 습득하고 적용하는 데에 즐거움을 느끼는 분 기본적으로 자기 일을 즐겁게 몰입하며 사랑하는 분

우대사항

공공데이터, DART 등 기업 정보 수집 경험 GraphDB (예: Neo4j) 또는 Vector DB 사용 경험 데이터 변경 이력 관리 및 정보 수정 구조 설계 경험

기술스택

Python, ElasticSearch, MongoDB, MySQL, Neo4j, Airflow, Kafka, Github, AWS, NoSQL

채용절차

서류 전형 1차 인터뷰 (비대면) 2차 인터뷰 (대면) 최종 합격 통보