파이썬 자동화 및 크롤링 엔지니어

주요업무

데이터 크롤링 및 파이프라인 구축: 다양한 웹사이트 및 서비스로부터 대규모 데이터를 수집하고 이를 정형화하여 DB에 적재하는 파이프라인을 구축합니다. 업무 프로세스 자동화: 반복적인 사내 업무나 수동 작업을 파이썬 스크립트를 활용해 자동화하여 운영 효율을 극대화합니다. 봇 차단 우회 및 안정화: 캡차(CAPTCHA), IP 차단 등 수집 방해 요소를 분석하고 이를 우회하여 안정적인 수집 환경을 유지합니다. 데이터 정제 및 품질 관리: 수집된 원천 데이터의 무결성을 확인하고, 서비스에 즉시 활용 가능한 형태로 가공(ETL)합니다.

자격요건

Python 숙련도: Python 언어에 대한 깊은 이해와 비동기 프로그래밍(asyncio) 경험이 있으신 분. 크롤링 프레임워크 경험: BeautifulSoup, Selenium, Scrapy, Playwright 중 하나 이상의 도구를 능숙하게 다루시는 분. DOM 구조 이해: HTML/CSS 구조를 정확히 파악하고, 동적 페이지(JavaScript Rendering) 처리에 능숙하신 분. API 설계 및 활용: REST API 통신 및 데이터 연동 경험이 있으신 분.

우대사항

대규모 트래픽 처리: 수만 건 이상의 데이터를 멀티 프로세싱이나 분산 환경에서 처리해 본 경험. 클라우드 환경 활용: AWS(Lambda, EC2), Docker 등을 이용한 자동화 스크립트 배포 및 운영 경험. 우회 기술 역량: Proxy 관리, Headless Browser 최적화, 유저 에이전트 로테이션 등에 능숙하신 분. 데이터베이스 역량: MySQL, PostgreSQL 등 RDBMS나 MongoDB 같은 NoSQL 사용 경험.

기술스택

JavaScript, Python, MongoDB, MySQL, HTML/CSS

채용절차

1차 서류 전형 > 2차 기술 면접 > 3차 최종 면접 (필요시)