Principal Applied Scientist - Copilot Quality

담당업무

• Copilot의 실제 고객 과업을 반영하는 품질 지표, 평가 데이터셋, 사람 및 AI 지원 라벨링 방식과 벤치마크 구축

• 품질 측정의 통계적 타당성, 의미 있는 변화에 대한 민감도, 고객 성과 예측력 검증

• 데이터, 평가 결과와 고객 피드백을 활용한 주요 실패 유형 및 근본 원인 파악

• post-training, retrieval 및 ranking, prompting, orchestration, 제품 변경 등을 통한 품질 개선

• 오프라인 결과와 고객 체감 개선을 구분하는 실험 설계

• A/B 실험, 품질 게이트, 회귀 방지 및 출시 기준 수립

• 만족도, 과업 성공, 참여도, 유지율, 지연시간, 안정성, 안전성 및 비용을 고려한 출시 품질 관리

• 품질 간 상충관계, 의존성, 출시 위험을 신속히 해결하는 운영 체계 구축

필요 역량

• 통계, 예측 분석 또는 연구 등 관련 분야 경험

• 품질 지표와 실험 결과를 기술 및 제품 의사결정에 활용하는 역량

우대사항

• 관련 기술 분야의 석사 또는 박사 학위

• 대규모 언어 모델, AI 비서, 에이전트 또는 대규모 AI 제품 개선 경험

• 빠르게 진행되는 연구 중심 환경에서 높은 기술 기준을 유지한 경험

• 인간 중심 AI와 최신 모델 학습 기술에 대한 관심

• 포용적 리더십, 인재 육성 및 팀의 성장을 이끈 경험

• 운영 환경의 ML 또는 AI 시스템 구축, 평가 또는 개선 경험

• 대규모 모델 평가, 딥러닝, post-training, reward modeling, reinforcement learning, retrieval 또는 ranking 중 한 분야의 전문성

보상

• 미국 기본급 연봉 USD 165,600~296,400

• 일부 지역 기본급 연봉 USD 220,800~331,200

• 일부 직무에 추가 복리후생 및 보상 적용 가능

마감기한

채용시 마감