AI Evaluation Program Manager

담당업무

• 비디오-언어 데이터 준비 및 모델 평가 전과정 주도

• 연구 및 제품 팀과 협의하여 데이터셋 요구사항 정의

• 데이터 파이프라인 설계 및 구축

• 사후 학습 모델 평가 전략 추진

• 파트너십, 어노테이션, 품질 평가 작업의 자동화

• 리소스 할당 및 타임라인 관리

• 외부 벤더 및 아웃소싱 파트너와의 협업을 통한 데이터 품질 향상

• 라벨링 가이드라인 수립 및 데이터 운영 프레임워크 구축

• 엔지니어링 및 AI 모델 팀과 협력하여 분석 보고서 및 대시보드 설계

자격요건

• AI 중심 데이터 운영 조직에서의 5년 이상 경력

• 대규모 데이터 수집, 라벨링 및 후처리 프로젝트 설계 및 실행 경험

• 복잡한 데이터를 분석하여 어노테이션 가이드라인 및 모델 품질 보고서 추출 능력

• Python, LLM 및 자동화 도구 활용 능력

• 우수한 커뮤니케이션 및 프로젝트 관리 능력

• LLM, VLM 및 멀티모달 AI에 대한 기초적 이해와 관심

• 데이터 중심의 AI 모델 성능 개선에 대한 확신

우대사항

• 멀티모달 언어 모델을 위한 데이터 수집 및 라벨링 경험

• 레드팀 테스트, 현지화 테스트 등 평가 중심 분야 경험

• 연구원 및 엔지니어와의 협업 경험

• 스포츠, 광고, 콘텐츠 제작 등 비디오 중심 도메인에 대한 전문성 또는 관심

기술스택

• 개발 및 분석: Python (Pandas, Jupyter 등)

• 데이터 관리 및 시각화: Amazon S3 및 다양한 시각화 도구

• 프로젝트 관리: Linear, Notion

복리후생

• 개방적이고 포용적인 조직 문화

• 미션 중심의 협력적인 팀 환경

• 건강, 치과, 시력 보험 지원

• 유연한 유급 휴가(PTO) 및 육아 휴직 제도

• 크리스마스 및 연말 주간 오피스 클로징

보상안내

• 기본 연봉: $150K – $160K

• 주식 보상(Equity) 제공

• 경력, 자격 및 면접 결과에 따른 최종 보상 결정

마감기한

상시채용