Model Evaluation & Data Quality Lead

담당업무

• 비디오-언어 데이터 준비 및 모델 평가 전반 주도

• 연구 및 제품 팀과 협의하여 데이터셋 요구사항 정의

• 데이터 파이프라인 설계 및 구축

• 사후 학습 모델 평가 전략 추진

• 파트너십, 어노테이션, 품질 평가 프로세스 자동화

• 견고한 모델 평가 프레임워크 설계 및 구축

• 제품 수직 계열 전반의 리소스 할당 및 타임라인 관리

• 외부 벤더 및 아웃소싱 파트너와의 협업을 통한 데이터 품질 향상

• 레이블링 가이드라인 수립 및 데이터 운영 프레임워크 개선

• 엔지니어링 및 AI 모델 팀과 협업하여 분석 보고서 및 대시보드 설계

자격요건

• AI 중심 데이터 운영 조직에서의 5년 이상 경력

• 대규모 데이터 수집, 레이블링 및 후처리 프로젝트 설계 및 실행 경험

• 복잡한 데이터를 분석하여 어노테이션 가이드라인 및 모델 품질 보고서 도출 능력

• Python, LLM 또는 기타 자동화 도구 활용 능력

• 우수한 커뮤니케이션 및 프로젝트 관리 능력

• LLM, VLM 및 멀티모달 AI에 대한 기초적 이해와 관심

• 데이터가 AI 모델 성능의 핵심이라는 확고한 신념

우대사항

• 멀티모달 언어 모델을 위한 데이터 수집 및 레이블링 경험

• 레드팀 구성, 현지화 테스트 등 평가 중심 분야 경험

• 연구원 및 엔지니어와의 협업 경험

• 스포츠, 광고, 콘텐츠 제작 등 비디오 중심 도메인에 대한 전문성 또는 관심

기술스택

• 개발 및 분석: Python (Pandas, Jupyter 등)

• 데이터 관리 및 시각화: Amazon S3 및 다양한 시각화 도구

• 협업 도구: Linear, Notion

보상

• 기본 연봉 15만 달러 - 16만 달러

• 지분(Equity) 제공

• 경력 및 역량에 따른 차등 적용

복리후생

• 개방적이고 포용적인 업무 환경

• 미션 중심의 협력적인 팀 문화

• 의료, 치과, 시력 보험 전액 지원

• 유연한 유급 휴가(PTO) 및 육아 휴직 제도

• 크리스마스 및 연말 주간 오피스 클로징

마감기한

상시채용